В какие разделы смотреть
Оценки параметров распределения.
как оценить погрешность среднего в такой ситуации
Если о вашем источнике вообще ничего неизвестно, то, наверное, никак. Тогда и оценку среднего-то получить нельзя. Но хоть какая-то информация наверняка есть. Например, обычно известен диапазон чисел, генерируемых источником. Тогда дисперсия конечна, и её легко оценить сверху.