Мне кажется, что проблема всё-таки в неспособности ИИ визуально представить себе тот или иной объект.
Верно. Я попросил ChatGPT дать мне совет, как поднять свой уровень игры в одной настольной игре с фишками. ChatGPT написал разумные советы и предложил проиллюстрировать их примерами. Я согласился, и тут оказалось, что все примеры глупые / бессмысленные / некорректные. Дело в том, что рисовать фишки он может (например нуликами или звёздочками), но он их не видит и поэтому ошибается везде, где нужно что-то визуально оценить. Впрочем, после нескольких указаний на очевидные ошибки он начинает писать код на питоне, и тут всё преображается. Говорить предметно о позиции на доске он по-прежнему не может, но может написать программу, которая уже сможет содержательно оценить позицию.
У ИИ нет глаз, но вместо глаз у него питон. Потенциально это вполне неплохая замена, хотя пока что у ИИ нет хорошего понимания границ, о чём он может судить сам, а для чего нужно запускать какую-нибудь симуляцию.