В порядке неформального объяснения (и даже не объяснения, а пояснения).
Найти среднее арифметическое можно безотносительно к виду распределения случайной величины, выборку из которой мы рассматриваем. Вопрос лишь в том - будет ли оно с ростом объёма выборки куда-то сходиться. Мы надеемся, что, хотя при росте объёма выбоки n в ней будут встречаться всё более экстремальные значения, очень большие или очень малые, но влияние их на числитель дроби благодаря росту знаменателя n окажется всё меньшим и меньшим (ожидание матожидания...). Но что получается с распределением Коши?
Способ генерировать величины с заданным распределением

, имея генератор равномерного распределения

довольно прост концептуально:

(вот в реализации иногда сложности, нужная функция может не выражаться аналитически и вообще неудобна для вычисления). Но для Коши функция, обратная к функции распределения, проста, это тангенс

(кстати, это означает, что существует физический прибор, выдающий величину с распределением Коши - зеркальный гальванометр, координата зайчика от которого при повороте зеркальца равномерно в пределах

будет иметь это распределение). И вот эти экстремальные значения аргумента, максимальное и минимальное, будут близки к

, и тем ближе, чем больше n. Заменив тангенс для этих значений на котангенс дополнительного угла и вспомнив что в выражении для котангенса

первое слагаемое растёт пропорционально n - с ужасом обнаруживаем, что с ростом объёма выборки n знаменатель в выражении для среднего арифметического-то растёт, зато в числителе всё большие слагаемые появляются, растущие пропорционально n, а поскольку они случайны, то и среднее арифметические ни к чему не сходится, а скачет
(Оффтоп)
кто сказал "Майдан"?! "Кто не скачет, тот нормаль Гаусс"
И в результате матожидания у распределения Коши не ожидается.