Самое близкое к этому что я видел -
соревнование по предсказанию следующего числа для последовательностей из OEIS и
статья про нахождение алгоритма, сгенерировавшего последовательность.
Вполне можно без всякого обучения нагенерировать большое количество первых членов для последовательностей из OEIS и дальше пытаться давать описания вида "пересечение такой и такой последовательностей", "применение одной последовательности к другой" и т.д.
Что-то более честное имеющимися методами вряд ли получится.
Были ли попытки сосздать ИИ, решающий олимпиадные задачи по математике?
Выглядит как ИИ-полная задача, так что вряд ли.