Обновление базы знаний ИИ

[Anton_Peplov]

mihaild
Спасибо за уточнение.

Xey в сообщении #1712346 писал(а):

Куда сдвинуть ответы на вопросы к ИИ, специалисты разберутся, главное что на них можно влиять.

Разумеется, на них можно влиять, но прежде всего на них влияет обучающая (или дообучающая) выборка. Качество выборки, составленной из ответов пользователей, трудно контролировать. Если бы можно было загнать в выборку сотню терабайт диалогов с профессиональными физиками и математиками, то, вероятно, понимание физики и математики со стороны LLM существенно бы улучшилось. На практике с LLM говорят не только профессионалы, но и школьники, а также фрики. Причем фрики чаще чем профессионалы (аргумент "а вот ИИ со мной согласен" мы уже много раз наблюдали на форуме), а школьники чаще чем кто-либо (просто потому что школьников больше). Та же проблема возникает с другими областями человеческих знаний. Ровно это я и имел в виду, когда писал:

Anton_Peplov в сообщении #1708278 писал(а):

Трудно контролировать качество этих ответов, так что интеллект сети может снижаться, а не повышаться.

[Mihaylo]

mihaild в сообщении #1712359 писал(а):

то пользуетесь мутными терминами. Какая шкала, и где на ней граница "тупит" и "не тупит"?

Согласен, это просто эмоциональная оценка у меня. Впрочем, не знаю, надо ли делать более объективные высказывания как возражения в ответ на то, что приходится слышать/читать.

[vicvolf]

Anton_Peplov в сообщении #1712372 писал(а):

На практике с LLM говорят не только профессионалы, но и школьники, а также фрики. Причем фрики чаще чем профессионалы (аргумент "а вот ИИ со мной согласен" мы уже много раз наблюдали на форуме), а школьники чаще чем кто-либо (просто потому что школьников больше). Та же проблема возникает с другими областями человеческих знаний.

Думаю, что ИИ может отфильтровать уровень знаний профессионалов от школьников.

[Ghost_of_past]

vicvolf в сообщении #1712469 писал(а):

Думаю, что ИИ может отфильтровать уровень знаний профессионалов от школьников.

Гипотетически, конечно, может, но по факту потом LLM выдают, мягко скажем, не очень профессиональные ответы на специально заданные профессиональные вопросы - я просто пробовал это с вопросами по демографии, социологии, юриспруденции, философии, биологии, химии.

P.S. Справедливости ради, на прошлой недели Gemini Pro 3 стала первой LLM, которая таки сумела дать более-менее грамотные ответы на $1/4$-$1/3 $ узких профессиональных вопросов по этим областям, по которым ни одна LLM раньше вообще нормально ответить не могла в принципе. В этом плане некоторый прогресс всё же чувствуется, и это радует.

[Anton_Peplov]

vicvolf в сообщении #1712469 писал(а):

Думаю, что ИИ может отфильтровать уровень знаний профессионалов от школьников.

Чтобы адекватно оценить сообщение $X$, нейросеть должна уже знать материал, содержащийся в сообщении $X$. Поэтому LLM не может самостоятельно отобрать те реплики, на которых ее стоит доучивать, ибо они по определению выходят за пределы ее уровня знаний.

[Mikhail_K]

Anton_Peplov в сообщении #1712492 писал(а):

Чтобы адекватно оценить сообщение $X$, нейросеть должна уже знать материал, содержащийся в сообщении $X$. Поэтому LLM не может самостоятельно отобрать те реплики, на которых ее стоит доучивать, ибо они по определению выходят за пределы ее уровня знаний.

Я тоже сначала хотел такое сказать, и, вероятно, это действительно аргумент. Но потом подумал, что он вряд ли совсем уж бесспорный. Начнём с того, что в принципе фильтровать реплики на разумные и неразумные ИИ способен уже сейчас - возможно, иногда ошибаясь, а иногда относя реплики к "серой зоне". Но отбросить очевидную лажу и не учиться на ней ИИ сможет.

Ровно так же ИИ сможет уверенно идентифицировать как разумные некоторые реплики, которые прямо сейчас выходят за рамки его знаний - если в этом тексте всё написано очень ясно, подробно и логично, и хорошо стыкуется с уже имеющимися у ИИ знаниями. Но я думаю, что в принципе можно организовать дообучение так, чтобы ИИ извлёк полезную информацию даже из тех реплик, в корректности которых он сомневается.

Представьте, что вам дали библиотеку из книг по совсем незнакомым вам разделам математики, причём одни книги написаны очевидными фриками, другие - неочевидными фриками, а третьи - серьёзными учёными. При этом у вас нет возможности посмотреть и узнать, кто, собственно, авторы. Если вы до этого времени ничего серьёзного из математики не читали, то наверное, после прочтения всего этого в голове у вас будет каша. Но если вы читали уже много разных математических книг, то наверное сможете извлечь пользу из знакомства с такой библиотекой. Что-то вам удастся понять, что-то - сразу отбросить, в чём-то вы будете не уверены, но будете размышлять над этим, что-то попробуете вывести на бумаге по-своему и может быть что-то получится.

Если что, это моё сообщение совсем не относится к вопросу о дообучении нынешнего ИИ с его текущими возможностями. Сообщение о том, что принципиально можно учиться и на непроверенной информации и становиться только умнее, особенно если какие-то проверенные знания у вас уже есть; а насколько это реально для нынешнего ИИ, я не знаю.

[Anton_Peplov]

Mikhail_K в сообщении #1712495 писал(а):

Начнём с того, что в принципе фильтровать реплики на разумные и неразумные ИИ способен уже сейчас - возможно, иногда ошибаясь, а иногда относя реплики к "серой зоне".

Начнем с того, что классификация информации - это не задача генеративной модели. Задача генеративной модели - генерировать наиболее вероятное продолжение фразы. Так что для фильтрации информации понадобится отдельная нейросеть, обученная не генерации текста, а бинарной классификации. Насколько она будет эффективна в классификации реплик из незнакомых ей предметных областей - не знаю. Я не думаю, что ее эффективность будет намного выше, чем у генератора случайных чисел, но это надо проверять.

Mikhail_K в сообщении #1712495 писал(а):

редставьте, что вам дали библиотеку из книг по совсем незнакомым вам разделам математики, причём одни книги написаны очевидными фриками, другие - неочевидными фриками, а третьи - серьёзными учёными.

Аналогия нейросети с человеком, а реплик пользователей с книгами, дважды некорректна. Книги - это длинные тексты, связанные единой логикой изложения. Учебники - это книги, написанные специально для обучения, т.е. излагающие материал последовательно от основ к вершинам. Человек может учиться по учебникам совершенно незнакомым ему областям математики (у меня есть такой опыт). Правда, и в этом случае ему бывает необходима обратная связь, иначе он рискует что-то понять неправильно и дальше городить ерунду на ерунду. Таких "начитавшихся" мы регулярно видим в пургатории. Возможность учиться по книгам, которые не учебники, а например, справочники или энциклопедии, тоже есть, хотя такое обучение куда труднее. Реплики пользователей - это не книги и тем более не учебники. В возможность (для человека) учиться по репликам специалистов я не верю. Это как выучить матанализ, читая наш раздел ПРР. Нейросеть, возможно, могла бы, если эти реплики предварительно отфильтрованы.

[mihaild]

Anton_Peplov в сообщении #1712498 писал(а):

Задача генеративной модели - генерировать наиболее вероятное продолжение фразы. Так что для фильтрации информации понадобится отдельная нейросеть, обученная не генерации текста, а бинарной классификации.

Из генеративной модели очень легко делается модель классификации - промптом "данный текст хороший? Ответь да или нет".

В любом случае, дообучениние модели на автоматически размеченных данных (правда, как правило, автоматически же и сгенерированных - т.е. модель сначала генерирует ответ, потом думает, хороший ли получился, и если хороший - то на нем дообучается) не просто возможно, но и давно используется.

[ozheredov]

mihaild в сообщении #1712500 писал(а):

Из генеративной модели очень легко делается модель классификации - промптом "данный текст хороший? Ответь да или нет".

Вам не кажется, что высокая степень пересечения множества текстов, которые, оканчиваясь этим промптом, с высокой вероятностью генерируют в качестве продолжения "Да", и множества "хороших" (что бы это ни значило) текстов - это какое-то очень сильное заявление, проверять которое Сергей Дружко, естественно, не будет?

[Anton_Peplov]

mihaild в сообщении #1712500 писал(а):

Из генеративной модели очень легко делается модель классификации - промптом "данный текст хороший? Ответь да или нет".

Несомненно. Но будет ли качество этой классификации хорошим по сравнению с моделью, которую учили именно классификации?

mihaild в сообщении #1712500 писал(а):

т.е. модель сначала генерирует ответ, потом думает, хороший ли получился, и если хороший - то на нем дообучается

Ну это еще имеет какую-то человеческую аналогию. Можно сказать, что модель систематизирует и закрепляет собственные знания. Это как решить задачу из задачника, в котором нет ответов, подумать, правильно ли решил, и если счел правильным, то запомнить. Но это отличается от задачи разметки чужих текстов. Собственная продукция генеративки по построению похожа на то, что она видела в обучающих данных. А чужие тексты из незнакомой области для модели, как и для человека, могут выглядеть как тарабарский язык.

[mihaild]

ozheredov в сообщении #1712503 писал(а):

Вам не кажется, что высокая степень пересечения множества текстов, которые, оканчиваясь этим промптом, с высокой вероятностью генерируют в качестве продолжения "Да", и множества "хороших" (что бы это ни значило) текстов - это какое-то очень сильное заявление

Тут уже важно, что LLM обучены не только на случайных текстах из интернета. Собственно просто на случайных текстах они бы диалог вести не смогли, всё время пытаясь говорить за пользователя.
То, что современные LLM для многих задач в подобных ситуациях отвечают неплохо - видно невооруженным взглядом.

Anton_Peplov в сообщении #1712504 писал(а):

Но будет ли качество этой классификации хорошим по сравнению с моделью, которую учили именно классификации?

В любом случае надо начинать именно с языковой модели (для обучения чего-то еще нет даже близко достаточного корпуса текстов). Дальше можно обучить последний слой на конкретную задачу - это, скорее всего, даст чуть большее качество, чем дообучить всю модель на текстовые ответы на эту задачу, но вряд ли сильно.

Anton_Peplov в сообщении #1712504 писал(а):

А чужие тексты из незнакомой области для модели, как и для человека, могут выглядеть как тарабарский язык.

Тут вопрос в том, насколько сильно они отличаются. Да и где взять совсем уж незнакомую для модели область...

[ozheredov]

mihaild в сообщении #1712509 писал(а):

Да и где взять совсем уж незнакомую для модели область...

Был ли убит в конце концов Билл из дилогии Убить Билла? Ответ объяснить, основываясь на финальных титрах второй части