Почему предсказание следующего токена - это интеллект

[MoonWatcher]

Mihaylo
Под пониманием я имел в виду скорее то, что понимаю смысл сказанных мошенников слов. А дальше в дело вступает более высокий когнитивный уровень, про который вы говорили - предсказание, а также извлечение закономерностей. В первый раз я извлек закономерность из чужого опыта подобных звонков и подурачил их, пока не надоело. Мысленно предсказывая, что в случае сообщения им этого кода у меня могут быть неприятности. В свою очередь жертвы подобного мошенничества ограничены опытом позитивного взаимодействия с теми, кто представляется сотрудниками банка, поликлиники и т.д. И мысленно предсказывают, что в результате сообщения кода будут защищены их денежные средства, они будут записаны к врачу и т.д.

[Mihaylo]

MoonWatcher в сообщении #1724299 писал(а):

В первый раз я извлек закономерность из чужого опыта подобных звонков и подурачил их, пока не надоело.

С - самоуверенность, Н - наивность. Представьте, "мама" или "жена" позвонят, назовут по имени и скажут, на какой полке носки лежат, и потом попросят перевести деньги на безопасный счёт.

[ozheredov]

Mihaylo в сообщении #1724296 писал(а):

Есть люди, которые свято верят в то, что у LLM нет понимания, а у них самих есть. Я точно не скажу, среди высказавшихся в этой теме, есть такие или нет. Не знаю, ворвутся в эту тему они или нет.

Ну давайте ворвусь: кто лучше понимает законы движения мячика - пожилой профессор с мехмата, который кружку с кофием с трудом удерживает, или дрессированная собачка, что идеально ловит мячик на лету?

[Mihaylo]

ozheredov в сообщении #1724320 писал(а):

кто лучше понимает законы движения мячика - пожилой профессор с мехмата, который кружку с кофием с трудом удерживает, или дрессированная собачка, что идеально ловит мячик на лету?

А вы с какой целью спрашиваете?) Если хотите удерживать мячик на лету - это одно, а если хотите, чтобы улетел в космос - это однозначно к профессору.

Но я за то, чтобы собачка была профессором (типа LLM в мячикошвырянии). Хоть чему-то бедняжку научите, пусть будет полезной.

[Anton_Peplov]

Mihaylo в сообщении #1724296 писал(а):

Есть люди, которые свято верят в то, что у LLM нет понимания, а у них самих есть.

А есть ли у LLM хрюкотание? Пыряются ли хливкие шорьки?

Прежде чем говорить о понимании - что у LLM, что у человека - нужно определить этот термин так, чтобы наличие понимания стало экспериментально проверяемым. В идеале - проверяемым для пользователя, который общается с LLM. Но в крайнем случае хотя бы для разработчика, который может выяснить любой синаптический вес на любом такте обучения и прочую низкоуровневую кухню. Разговоры о вещах, не имеющих определения, кажутся мне столь же осмысленными, как шедевр Кэрролла, но куда менее очаровательными.

[MoonWatcher]

Anton_Peplov в сообщении #1724327 писал(а):

экспериментально проверяемым

Функционально, с точки зрения результата? По такому критерию LLM понимают текст, звук и изображение не хуже человека. Как и по тем критериям, что я называл выше (извлечение закономерностей из опыта и [возможность] трансляции из одной модальности в другую) - собственно из них, наверное, и складывается результат. А если говорить о понимании как ощущении, то вопрос упирается в "трудную проблему сознания".

[ozheredov]

Anton_Peplov в сообщении #1724327 писал(а):

Прежде чем говорить о понимании - что у LLM, что у человека - нужно определить этот термин

Чтобы определить термин, ему нужно подготовить экосистему. То есть до этого понаделать ещё кучу определений и выстроить связи. Для определения непрерывной функции нужны понятия множества, отображения, последовательности и т.д., и связи этих сущностей друг с другом. Определение не может висеть в воздухе, тогда как "насущные" термины таки висят. Под насущными терминами я понимаю такие, которые крутятся возле объектов и ситуаций, интересующих абсолютное большинство. То есть, на пример, рандомную Машку Иванову вряд ли заинтересует непрерывная функция, ОПЖ или голономная связь (первое, второе и третье имеют четкие определения). Но Машке точно небезразлично, есть ли у её ребенка сознание (определения нет), любит ли её еёйный мущщина (определения нет), и "понимает" ли она, Машка, свое "место в жизни" (определения обоих взятых в кавычки терминов нет). Тем не менее, про понимание можно потрещать. Я неслучайно спросил про профессора и собачку: по современным представлениям, шахматный движок, уделывающий гроссика, понимает шахматы лучше этого гроссика. Понимает ли ракета с тепловым наведением, что значит сбить самолет?

-- добавлено через 5 минут --

MoonWatcher в сообщении #1724328 писал(а):

Функционально, с точки зрения результата?

Понимание не может быть "с точки зрения результата" Иначе можно договориться до того, что отпущенный в воздухе кирпич понимает, в каком направлении ему лететь

[Ghost_of_past]

Mihaylo в сообщении #1724262 писал(а):

Вообще интеллект - это предсказание

Нет: возможность прогнозирования есть лишь одно из множества проявлений интеллекта. Поэтому интеллектуальная система, способная только к прогнозированию - это все равно интеллект, но интеллект слабый, а в случае данного разговора слабый ИИ.

Mihaylo в сообщении #1724262 писал(а):

Есть проблема: некоторые думают, что интеллект - это магия

Если есть люди, которые считают, что Земля плоская, а гомеопатия работает, то, наверное, могут быть и люди, считающие то, что интеллект представляет собой что-то сверхъестественное.

Mihaylo в сообщении #1724296 писал(а):

Есть люди, которые свято верят в то, что у LLM нет понимания

Какие-то неопределенные термины. Так-то спор о том, чем понимание и объяснение отличаются между собой и от других проявлений интеллекта, ведется даже не первый век.

-- добавлено через 3 минуты --

ozheredov в сообщении #1724332 писал(а):

Определение не может висеть в воздухе, тогда как "насущные" термины таки висят.

Так ведь не висят. Просто не формализуются достаточно строго.

ozheredov в сообщении #1724332 писал(а):

Но Машке точно небезразлично, есть ли у её ребенка сознание (определения нет)

Разве что в медицинском смысле. На спор физикализма, функционализма и элиминативного материализма Вашей героине явственно плевать.

[ozheredov]

Ghost_of_past в сообщении #1724334 писал(а):

Разве что в медицинском смысле. На спор физикализма, функционализма и элиминативного материализма Вашей героине явственно плевать.

)) Согласен. Ну, плюс будет ли он сознательно пылесосить ковёр

[MoonWatcher]

ozheredov в сообщении #1724332 писал(а):

Понимание не может быть "с точки зрения результата" Иначе можно договориться до того, что отпущенный в воздухе кирпич понимает, в каком направлении ему лететь

Кирпич падает под воздействием гравитации. Как вы еще предлагаете определять понимание?

[Ghost_of_past]

(Оффтоп)

ozheredov в сообщении #1724335 писал(а):

Ну, плюс будет ли он сознательно пылесосить ковёр

Да я вас умоляю: обычно у таких персонажей детей воспитывает телевизор, Youtube и Tiktok, а судьба ковра их интересует постольку-поскольку в отличие от алкоголя, сигарет и парада случайных связей из любящих "мущщин".

А про сознательно пропылесосить ковер и нормально пытаться воспитывать детей - так это уже не "Машка", а "Мария с отчеством" и обычно там с восприятием систем понятий и терминов уже все не дурственно.

[ozheredov]

MoonWatcher
В плане понимания я не вижу разницы между генерирующим направление полета кирпичом, генерирующим следующий ход в партии Стокфишем и генерирующей строку текста нейронкой. Если Вы объясните мне - буду благодарен. В бэкпропах (Дедекинду из соседней темы пламенный привет), софтмаксах, кросс-энтропиях и таком прочем худо-бедно разбираюсь, так что если надо будет углубляться в техподробности - я с Вами.

[Mihaylo]

Anton_Peplov в сообщении #1724327 писал(а):

А есть ли у LLM хрюкотание? Пыряются ли хливкие шорьки?

Я искренне надеюсь продемонстрировать тех людей, которые будут божиться, что "искусственный нейрон не имеет ничего общего с биологическим нейроном". Ждём в гости. Это будут высокообразованные люди, возможно претендующие на то, чтобы их считали философами. Куда у нас Бризон девался, кстати?

-- добавлено через 11 минут --

Ghost_of_past в сообщении #1724334 писал(а):

Нет: возможность прогнозирования есть лишь одно из множества проявлений интеллекта.

Вот тут я бы поспорил, ибо проецирование действий в будущее (предсказание) - это единственная функция на этом уровне, которая нужна, и она самодостаточна. Вы как философ хотите усложнить систему всякой ненужностью, перечислением через запятую, но я как технарь - запрещаю. Если вы умеете моделировать одну переменную, то можете моделировать весь мир.

[Ghost_of_past]

Mihaylo в сообщении #1724339 писал(а):

Вот тут я бы поспорил, ибо проецирование действий в будущее (предсказание) - это единственная функция на этом уровне, которая нужна

Интеллект предполагает универсальность либо по числу разных интеллектуальных задач (сильный интеллект), либо в пределах одной или нескольких специфических задач (слабый интеллект). LLM - это слабый интеллект, но выполняют они разные задачи, а отнюдь не только прогнозирование: систематизация и классификация, формально-логические выводы, семантический поиск и переход от одной символической системы к другой и т.д.

Mihaylo в сообщении #1724339 писал(а):

Вы как философ хотите

Я не философ. И речь в данном случае идет о куда более прикладных вещах. Интеллект LLM все еще слабый, так как он не может решать всего спектра интеллектуальных задач, что решает человек и другие высшие животные, например автономного целеполагания, построения и постоянного изменения интуитивной картины физического мира в опыте, истинной рефлексии, включая распознавания собственных когнитивных границ и т.д.

[realeugene]

Ghost_of_past в сообщении #1724347 писал(а):

например автономного целеполагания

И у человека базовое целеполагание определяется инстинктами, эмоциями и обучением в детстве. Планы по достижению базовых целей рассуждающие LLM уже строят.

Ghost_of_past в сообщении #1724347 писал(а):

построения и постоянного изменения интуитивной картины физического мира в опыте

В рамках данных им сенсоров, исполнительных механизмов и памяти LLM и с этой задачей прекрасно справляются.

Ghost_of_past в сообщении #1724347 писал(а):

истинной рефлексии, включая распознавания собственных когнитивных границ

Чем рассуждения LLM в стиле "в этом я не уверен, но это важно, поэтому погуглю" не истинная рефлексия?