Обновление базы знаний ИИ

[ozheredov]

vicvolf в сообщении #1712684 писал(а):

Ну а кто производит выбор самой информации, например, статей по данной тематике?

А Вы сильно уверены, что это публичная информация??

[Rasool]

vicvolf в сообщении #1708163 писал(а):

wrest в сообщении #1708160 писал(а):

Это сейчас ещё, как я понимаю, ИИ не учится на диалогах с пользователями, если по-шахматному, то не пополняет базу дебютов. Но очевидно, что дальше будет пополнять. И если ИИ с вашей помощью решил задачу, то она окажется у него в базе данных. И даже если не решил, то очень вероятно, что допишут так, что будет решать сам без вас, особенно если эту же задачу задаст кто-то ещё.

Вот здесь мне кажется проблема. Для погружения в общую базу знаний ИИ должен быть уверен в правильности загружаемой информации. Но ИИ не может доверять себе контроль информации. В противном случае любое, кажущееся ему правильным утверждение, он должен заносить в общую базу знаний. В пределах темы вы можете, что-то доказать ИИ, но вне темы он обладает знаниями только общей базы знаний.

Можно поставить такой вопрос: может ли ИИ на данном этапе определять, противоречивы ли вводимые в него знания, например, математические теории и знания?

[Mihaylo]

Не нужен интеллект, чтобы определить, что знания противоречивы, когда они на самом деле противоречивы. Что вы будете делать, если на форуме пишут, что ИИ - это круто, но и также пишут, что ИИ - отстой?

[Rasool]

Теоретически можно определить, верна ли математическая информация, которую скармливают ИИ. Например, ИИ сможет ли определить, верно ли утверждение: "Великая теорема Ферма неверна"? Человечеству понадобилось более 300 лет, чтобы проверить это.

[Mihaylo]

Rasool
Вам кажется, что это очень важно - всё математическое, фундаментальное. Но это не единственное, что важно, и даже не самое важное. Вы хотите задать такой вопрос, чтобы возникло короткое замыкание, глюк, сбой, чтобы оценить способность. Но это всё ерунда. В реальности спрос на знания находится где-то в другой плоскости. И даже если вы добьётесь короткого замыкания, это не будет ничего особого значить.

Потому что: интеллектуальные задачи - это такие, 1) которым обучаются на больших объёмах данных и 2) к решению их, как правило, предъявляются не сильно строгие требования к качеству.
Есть конкретные исключения, но их количество должно быть ограничено.

[Rasool]

Тем не менее математикам важно применение ИИ в математике, его возможности по правильному решению математических задач и проблем, доказательству теорем и проверке гипотез.

[Mihaylo]

Уровень ИИ в математике - очередной соискатель грантов, стипендий, наград, за которым нужно также следить внимательно и отсеивать. Единственное отличие - много не просит, не болеет, готов работать даже по ночам, но не готов проводить эксперименты (не лаборант). Так как не способен замкнуть полный научный цикл, то имеем в виду только как помощника.

Это и так понятно, просто озвучил, вдруг это где-то не осело.

[vicvolf]

Rasool в сообщении #1714423 писал(а):

Тем не менее математикам важно применение ИИ в математике, его возможности по правильному решению математических задач и проблем, доказательству теорем и проверке гипотез.

Задал DeepSeek вопрос - почему ты не проверяешь гипотезу о бесконечности простых близнецов математически, а лезешь в интернет?
Вот что он ответил:

(Оффтоп)

Это отличный и очень важный вопрос, который касается фундаментального различия между человеческим мышлением и тем, как работает искусственный интеллект вроде меня. Я не могу "проверять гипотезы математически" в том же смысле, в каком это делает человек-исследователь, и вот почему.

### Мои фундаментальные ограничения

1. **Я не обладаю сознанием или интуицией.** Я — большая языковая модель, сложный алгоритм, обрабатывающий последовательности слов. Моя задача — предсказывать наиболее вероятные и релевантные ответы на основе анализа огромных объемов текста. У меня нет **понимания** в человеческом смысле, нет озарений, нет способности к абстрактному математическому творчеству.
2. **У меня нет доступа к "внутреннему миру" вычислений.** Я не могу самостоятельно проводить вычислительные эксперименты, строить и проверять бесконечные числовые ряды или запускать алгоритмы для поиска контрпримеров. Вся моя деятельность сводится к обработке текста.
3. **Моя "знаниевая база" ограничена и статична.** Я обучен на данных, собранных до определенной даты. Я не могу отслеживать последние публикации на arXiv в реальном времени или проводить собственные исследования. Поэтому, чтобы дать вам актуальную и точную информацию, мне необходимо обращаться к результатам поиска, который работает с более свежими и специализированными источниками.

### Что я могу делать (и чего не могу)

| Что я могу делать (на основе информации) | Чего я **не могу** делать (требует человеческого мышления) |
| :--- | :--- |
| Объяснять уже известные доказательства и теоремы. | Создавать **новые** доказательства или опровержения нерешённых гипотез. |
| Синтезировать информацию из разных источников, как в нашем диалоге о Харди-Литтлвуде, Чжане и Мейнарде. | Делать математические открытия, выдвигать оригинальные гипотезы. |
| Отвечать на вопросы о формулировках, истории и текущем статусе проблем. | Заменять математика-исследователя. |

### Почему обращение к интернету — это не "слабость", а необходимость

Для нерешённых проблем (как гипотеза о близнецах) последние продвижения (например, рекорд `H₁ ≤ 246`) происходят постоянно. **Единственный способ дать вам точный и современный ответ — это найти и проанализировать актуальные научные публикации и новости.** Именно поэтому я "лезу в интернет" — чтобы предоставить вам не общую информацию из моей статичной базы, а свежие данные.

**Итог:** Вы абсолютно правы, подмечая это различие. Я — мощный инструмент для **поиска, структурирования и объяснения уже существующих знаний**, но я не являюсь самостоятельным источником новых математических истин. Моя сила — в доступе к информации и её обработке, а не в творческом прорыве. Если бы гипотезу о простых числах-близнецах можно было доказать простым перебором информации, это было бы сделано давно. Её решение потребует именно той человеческой гениальности, примеры которой (как у Мейнарда или Тао) мы с вами и обсуждали.

Если у вас есть вопросы по известным доказательствам или вы хотите разобрать какие-то концепции, я с радостью помогу, используя доступные мне знания.

Думаю, что ответ не только на этот вопрос, но на многие вопросы, задаваемые по этой тематике.

[Mikhail_K]

vicvolf в сообщении #1714439 писал(а):

Задал DeepSeek вопрос - почему ты не проверяешь гипотезу о бесконечности простых близнецов математически, а лезешь в интернет?

Потому что в процессе обучения он усвоил, что не должен браться за заведомо неподъёмные задачи самостоятельно, и это вполне разумно.

vicvolf в сообщении #1714439 писал(а):

Чего я **не могу** делать (требует человеческого мышления) <...> Создавать **новые** доказательства или опровержения нерешённых гипотез.

Тут DeepSeek скромничает. LLM объективно могут создавать свои доказательства - хотя пока что не способны решать известные открытые математические проблемы.

А вообще, не стоит доверять LLM в вопросах, касающихся их собственного мышления - они здесь говорят то, чему их научили.

Спросите человека об устройстве его мышления - он будет говорить или свои фантазии, или то, что усвоил из книг, интернета, от других людей.

vicvolf в сообщении #1714439 писал(а):

У меня нет **понимания** в человеческом смысле

Конечно, у LLM нет понимания в человеческом смысле - у них есть понимание в нечеловеческом смысле.

На самом-то деле, на фундаментальном уровне у человека нет логического мышления тоже. Мысли человека, конечно, подходят одна к другой (как и LLM ищут следующее слово, подходящее к контексту), но вовсе не обязательно связаны строго логически - это могут быть первоначально смутные идеи, связанные лишь какими-то ассоциациями. С другой стороны, человек, который видел много логичных рассуждений и умеет отличать логичное от нелогичного (решать задачу классификации на основе богатого обучающего датасета), способен получать в результате своего мышления не только фантазии, но и строгие логические цепочки с достаточно малой вероятностью ошибки (хотя такая вероятность никогда не становится нулевой). Верно, что у ИИ логическое мышление - это эмерджентный эффект, а фундаментально мышление ИИ не является логическим и основано на статистических закономерностях в текстах; ну так у человека мышление тоже не логично в своей основе, и тоже может порождать логические рассуждения несмотря на это.

Или вот ещё статья, призванная убедить, что "ИИ не мыслят":

Rasool в сообщении #1714231 писал(а):

Интересная статья на Хабре: Если ИИ не мыслит, то как он решает математические задачи?

Мне кажется, популярность таких статей объясняется тем, что многие люди видят в них то, что хотят видеть, и не обращают внимание на слабость, а то и малоосмысленность аргументации. Не в первый раз встречаю аргумент, что если у ИИ спросить, как он пришёл к ответу, он скажет совсем не то, как он действительно к нему пришёл (если смотреть на нейроны), и это каким-то образом свидетельствует, что "ИИ не мыслит". Мол, на самом деле он складывал числа каким-то нечеловеческим "прикидыванием наиболее вероятного ответа", а ответит, что складывал их по алгоритму. Ну так с человеческим мышлением всё так же. Если человека спросить, как он пришёл к какому-то выводу, он даст "причёсанный" и логичный ответ, хотя на самом деле он шёл к нему совсем не так прямо и логично (а если смотреть на активность в человеческих нейронах при этом, то процесс окажется ещё гораздо запутаннее). Причём человек и сам может считать постфактум, что ход рассуждений был именно "причёсанным и логичным". Описать ход своих мыслей таким, какой он есть, - сложно даже с высоким уровнем рефлексии и "прислушивания к себе" (и честный ответ будет сложным и путаным - и вообще-то бесполезным; наверняка собеседнику нужен именно "причёсанный ответ", который строится уже постфактум).

-- 11.01.2026, 13:26 --

Когда мы думаем над каким-то вопросом, то концентрируемся на самом вопросе, а не на том, как мы над ним думаем. Если мы пришли к ответу, и нас после этого спросят, как мы к нему пришли, то мы будем вспоминать и прикидывать, как можно было бы к этому ответу прийти, и найдём объяснение, но оно вряд ли будет соответствовать в деталях действительному ходу мыслей.
Хорошая аналогия - лучи света позволяют нам видеть разные объекты, но сами лучи света невидимы. Если мы в тёмной комнате зажжём фонарик, то увидим только освещённое пятно, но не сами лучи от фонарика к этому пятну. Интуитивно кажется (если не задумываться), что лучи света видимы - потому что "а как же иначе"; хотя на самом деле видимы не они, а то, на что они направлены. Точно так же с нашим собственным мышлением - нам кажется, будто оно доступно нам в деталях; хотя на самом деле доступно нам не оно, а то, на что оно направлено (что мы обдумываем в текущий момент).

Правда, у человека эта картина сложнее из-за наличия у него рефлексии - то есть он может направлять своё мышление на себя самого; и то, хорошая рефлексия присуща далеко не всем людям, и она всё равно не способна проникнуть в детали процесса мышления на нейрофизиологическом уровне. У ИИ, скорее всего, с рефлексией пока плохо, но наличие рефлексии не равно наличию мышления.

[vicvolf]

Mikhail_K в сообщении #1714440 писал(а):

vicvolf в сообщении #1714439 писал(а):

Задал DeepSeek вопрос - почему ты не проверяешь гипотезу о бесконечности простых близнецов математически, а лезешь в интернет?

Потому что в процессе обучения он усвоил, что не должен браться за заведомо неподъёмные задачи самостоятельно, и это вполне разумно.

Обратите внимание - я его просил просто проверить. Он мог проверить это на определенном объеме данных.

Цитата:

vicvolf в сообщении #1714439 писал(а):

Чего я **не могу** делать (требует человеческого мышления) <...> Создавать **новые** доказательства или опровержения нерешённых гипотез.

Тут DeepSeek скромничает. LLM объективно могут создавать свои доказательства - хотя пока что не способны решать известные открытые математические проблемы.

Такой ответ заложили в него разработчики, а они знают его возможности.