один гражданин заявил, что построить можно только в случае асимптотики, что и так очевидно из-за ЗБЧ.
Один гражданин имел в виду, что выборочное среднее -- это некоторая статистика, распределение которой, разумеется, зависит от распределения генеральной совокупности. Соответственно, и доверительного интервала не получить, не зная этого распределения. И только в пределе можно найти приближённое распределение (и, соответственно, приближённый доверительный интервал), и можно именно согласно ЦПТ, но отнюдь не ЗБЧ, который к делу вообще не относится.