Вопрос не в том описывают ли тексты все известные человечеству закономерности нашего мира - скорее всего описывают. И рано или поздно, подозреваю, уровень AGI, в смысле интеллекта среднего человека, будет достигнут. Но что действительно загадка - это научатся ли LLM извлекать из текстов новые закономерности, доселе человечеству неизвестные. А точнее научатся ли они это делать не хуже ученых и изобретателей.
1. Описание не равно тем реальным явлениям, которые описываются. Мы описываем природу, социум, наши чувства и так далее - и все эти тексты описываемым явлениям более или менее не равны, в той или иной степени не адекватны. Для ИИ реальность - это наши тексты, то есть ИИ описывает наши неполные и неточные описания. А так как описание реальности не равно, то описывает, добавляя в это описание неполноты и неточности ещё и от себя.
В итоге тексты ИИ будут описываемой реальности ещё более неадекватны, чем ей неадекватны наши тексты. Иначе говоря, суждения искусственного интеллекта, обученного только на текстах, всегда будут относительно более простыми, плоскими, в том числе более глупыми, неадекватными, бессмысленными, чем суждения человека. О каких-либо самостоятельных научных исследованиях, проводимых ИИ, конечно, в этом случае и речи быть не может, если только в роли простого интеллектуального помощника, каковой роль ИИ в целом и видится.
2. Наблюдая мир, мы можем описать его лишь ограниченно, то есть не полностью, не с абсолютной точностью. Говоря по-другому, мы не можем выявить все закономерности мира, а те, которые выявим, будут проще реальных. ИИ, обучаясь на текстах, сможет выявить в реальном мире ещё меньше закономерностей, чем мы, а те, которые выявит, будут ещё проще тех, которые выявим мы. В том числе их простота будет относительно больше уходить в сторону неадекватности, глупости, бессмысленности.
Каковые пункты мы и наблюдаем в реальности.