Как лучше писать: argmax или arg max? А если их много, то с большой буквы?
С пробелом, конечно. arg — это как бы модифицирующий семантику конструкции оператор. А вот если их много, то лучше посмотреть использование в других книгах. Скорее всего вне контекста ТФКП большие буквы только введут людей в заблуждение — «многозначность» в ТФКП это не любая многозначность, а довольно хорошая. И никогда не прогадаешь, если написать явно в самом начале «у нас это множество:

вот так!».
UPD. Определение было поправлено.Комментарии к конкретно этому определению: если наибольшего элемента в

нет, получится пустое множество автоматически; если нам нужно использовать старый arg max, мы можем просто написать

— мы утверждаем сразу, что наибольший элемент

на

достигает только на одноэлементном множестве

.
-- Сб мар 06, 2021 18:02:13 --На tex.SE один отвечающий предложил, что ставить пробел в arg max — вопрос вкусов, типа того что в lim sup он есть, а в arcsin нету. Я бы считал, что lim sup намного аналогичнее arg max, а arcsin это просто название функции целиком. По-моему никто не воспринимает arc или Ar как что-то, имеющее смысл «обратная функция от», и уж тем более они не употребляются ни с чем кроме соответствующих функций. arg можно поставить в принципе куда угодно — если какая-то штука

даёт какое-то особенное значение

, то логично иметь и

, выдающий аргумент(ы), при которых это особенное значение достигается. То есть это намного более универсальная и самодостаточная вещь, чем arc. Но это лично моё мнение, его можно не слушать
себе на зло.