Указанные выше работы слишком абстрактные, "алгебраические" что ли.
В интернете есть давняя статья
Р.Л.Добрушина Математические методы в лингвистике, где упоминается о применении теории вероятностей и статистики в лингвистике (подсчет слов, избыточность и пр.). Есть ли более подробные работы на этот счёт, не обязательно математиков?