(2 Sonic86.)
Пытался думать на эту тему. По-моему, бессмысленно. Например, сколько информации в аксиоматике Пеано? Если учесть, что из нее можно получить бесконечно много теорем, то информации в ней бесконечно много?
Можно попытаться найти наименьшую по какому-то признаку (если есть естественный) эквивалентную (чтобы множество теорем было тем же). Но я тоже смысла не вижу. Вообще, информация отдельно от распределения вероятностей разве бывает?
P. S. С понятием можно похоже — т. к. определение понятия — формула, надо найти наименьшую по какому-то признаку эквивалентную ей во всех моделях формулу. Но всё-таки no way. По-моему, нет естественного признака. Никакие функции от длины формул не обоснованы.
P. P. S. С другой стороны, есть кажущаяся осмысленной связь между длиной кратчайшей из своего класса эквивалентности формулы исчисления высказываний и связками, которые в ней допустимы. Но даже если она и есть, вряд ли она распространяема дальше.