Рассчитать количество тестов

[Tixerok]

В общем есть алгоритм шифрования и есть файл который он будет шифровать. Нужно узнать сколько раз зашифровать файл(т.е. протестировать программу), чтобы сказать, что средняя скорость шифрования файла составляет n времени (время мы получим во время теста) с вероятностью 95-99%. Как это рассчитать?

Есть ли какие-то специальные статистические формулы?

И верно ли я предполагаю, как нужно тестировать?

[svv]

А почему однократное измерение времени операции (вроде, детерминированной) ещё не даёт достоверный результат?

На соревнованиях по бегу спортсменам ведь не говорят: пробеги дистанцию ещё пять раз, для достоверности измерений.

[Dmitriy40]

Причин полно, начиная от многозадачности ОС и до промахов кэша процессора. Их можно большинство или даже все исключить, то тогда время работы алгоритма будет "сферическим в вакууме" (больше на пару порядков), без всякой практической пользы (на какую намекают условия задачи). Т.е. вопрос чисто на статистику и допустимый разброс.

[Tixerok]

Я так понял мне нужно использовать формулу доверительного интервала, для нее вычислить Сигму и среднюю скорость на этом сайте http://math.semestr.ru/group/interval.php или я не правильно понял?

[provincialka]

Можно и не на этом сайте ... Это и Ecxel умеет:
=ДОВЕРИТ.СТЬЮДЕНТ(0,05;СТАНДОТКЛОН.В(A:A);50)

Обычно требуется, чтобы распределение исследуемой случайной величины (т.е. "времени шифровки" в вашем случае) было распределено нормально.

[arseniiv]

Не совсем по теме, но когда в архиваторе 7zip запускаешь бенчмарк, он, кажется, непрерывно архивирует/распаковывает, уточняя результаты со временем. Может, и с шифрованием стоит делать так же? Если можно только подавать файлы, стоит сделать несколько файлов разного размера: маленькие — потому что они встречаются у пользователей и данные по ним тоже интересны, большие — потому что куски алгоритма временно́й сложности $O(1)$ будут меньше влиять на результат, и он будет чище. Видимо.