Почему предсказание следующего токена - это интеллект

[Mihaylo]

Вообще интеллект - это предсказание. Предсказание - это когда неизвестно (вопрос), но есть некоторый ответ, который ещё не осуществился, но можно использовать в некоторых целях.

Да, предсказание следующего токена - это частный случай предсказания, имеющий недостаток в виде зацикливания. Когда говоришь-говоришь и потом считаешь нужным ещё раз повторить сказанное. Это проблема современных LLM, которую пытаются всячески блокировать. (Более хорошим вариантом считаю иерархический подход к генерации токенов. Грубо говоря, сначала появляются заголовки, потом краткие вводные, потом они трансформируются в абзацы и так далее...)

Да и хрен с этой структурой. Ведь в целом всё работает.

Есть проблема: некоторые думают, что интеллект - это магия. Как бы вам впендюрить мысль, что если вы не знаете законов Кеплера и тем более Ньютона, то наблюдение за циферьками может быть бесполезным слишком долго, до самой смерти. Иначе говоря, интеллект вроде бы и есть, но знаний со стороны не хватает. Или ещё один вариант трактовки: обучение - это самый эффективный способ пополнения знания. Главное, не путать обучение с самостоятельными экспериментами, то есть обучение с учителем и самообучением. А путать одно с другим вы любите: когда говорите, что человек сам (если типа захочет) может открыть закон Архимеда, то обманываете всех - так как Архимед - это не вы, и он сделал открытие сильно позже со времени начала цивилизации и пока не сел ванну.

Какова скорость передачи данных от знающего (учителя) ко всем остальным? Сколько бит в секунду? А какова скорость передачи данных, если нет учителя?

[Anton_Peplov]

Исторически термином "искусственный интеллект" были названы задачи, с которыми человек справлялся лучше (тогдашних) компьютеров из-за того, что никто не знал хороших алгоритмов для их решения, и, соответственно, не мог их запрограммировать. В частности, это распознавание и генерация образов, обработка естественного языка, игра в шахматы и т.д. Времена существенно изменились, термин остался.

Копание в оттенках смысла слова "интеллект" не интересно. Как и очередная борьба с оппонентами типовыми, резиновыми.

[Mihaylo]

Оппоненты, заметьте, не резиновые...

-- добавлено через 6 минут --

Так как мыслители так себе, я понял, что не так понял Anton_Peplov. Ну если не копаться в оттенках термина "интеллект", то вообще в чём копаться?

[mihaild]

Mihaylo в сообщении #1724265 писал(а):

Ну если не копаться в оттенках термина "интеллект", то вообще в чём копаться?

В решении конкретных задач (доказательство что $P = NP$, вычисление необходимого количества водки, разбор Земли на скрепки и т.д.).

[MoonWatcher]

ИМХО интереснее другой вопрос - есть ли у ИИ понимание. Некие Алексеев А. Ю. и Думов А. В. авторитетно заявляют, что искусственным интеллектуальным системам доступны только различные операции вычисления, тогда как человеческий интеллект наделен функцией понимания - и это заявление перекочевало в Википедию. По моему мнению это заявление не соответствует действительности, но в любом случае это более предметная тема для обсуждения.

Лично я считаю, что понимание - это неотъемлемое свойство человеческого квалиа, некое ощущение. Мы, так сказать, понимаем не потому, что понимаем, а потому, что ЧУВСТВУЕМ, что понимаем. Но это ощущение (иногда подлинное, иногда ложное) не отменяет проблемы истинного (с функциональной точки зрения) понимания - а таковое складывается (во всяком случае у человека) из способности 1) извлекать закономерности из опыта (в т.ч. формировать некое внутреннее представление об окружающем мире) и 2) транслировать опыт из одной модальности в другую. Соответствует ли ИИ (LLM) этим критериям? Насколько я знаю - да, пусть и не в той же мере, что и человек.

[MoonWatcher]

Вдогонку об интеллекте. Буквально сегодня послушал вступительную лекцию по теории поля Осипова Дмитрия Львовича (Физтех). Во всем, что не касается его специальности - явный фрик. Не понимает и не принимает теорию эволюции, считает все живое продуктом некоей биологической цивилизации, судя по отзывам студентов отрицает высадку американцев на Луну, верит в Новую Хронологию и т.д. Я много в чем сомневаюсь, но за свою коротенькую жизнь железно убедился в абсолютной глупости изречения "талантливый человек талантлив во всем". Мы не прощаем галлюцинаций ИИ (и правильно делаем - они ставят крест на широком практическом применении этой технологии), но в известном смысле галлюцинируют и казалось бы очень умные люди.

[SergeyGubanov]

(Оффтоп)

MoonWatcher в сообщении #1724277 писал(а):

вступительную лекцию по теории поля Осипова Дмитрия Львовича (Физтех). Во всем, что не касается его специальности - явный фрик.

Этот скорее молодой тролль 80 уровня. Из ютубной тусовки меня больше удивил один астрофизик, вроде умный человек, а в одном своём видео взял да и сказал про рассширение Вселенной, что-то вроде: "как пространство может расширяться, ведь его же нет".

[MoonWatcher]

SergeyGubanov
Прикол в том, что Осипов преподает еще и квантовую физику и сам же подчеркивает и без того общеизвестную контр-интуитивность этого предмета. И при этом отрицает теорию эволюции в силу, подозреваю, собственной неспособности вообразить (что действительно трудно) эволюцию жизни от условной праклетки к современным животным. Очевидно аналогичные трудности с воображением испытывает тот астрофизик - хотя в той же физике это в принципе не всегда возможно. В этом превосходство ИИ - ему для понимания не надо включать воображение. Хотя в какой-нибудь уборке на кухне оно бы ему очень пригодилось. Да и открытии ОТО воображение Эйнштейна сыграло ключевую роль, насколько я знаю.

Вторая слабость человека по сравнению с ИИ - склонность к упрощениям, это главная причина большинства конспирологических теорий. Человек компенсирует свое невежество упрощением.

Ну и третья - эмоции: ревностное отношение к космическим достижениям тех же США, недоверие властям (вообще говоря вполне оправданное), желание почувствовать свою исключительность (вы все думаете так - а я особенный, я думаю иначе), и т.д.

[Anton_Peplov]

MoonWatcher в сообщении #1724277 писал(а):

но в известном смысле галлюцинируют и казалось бы очень умные люди.

Есть разница, "галлюцинирует" человек в своей профессиональной области или вне ее. Если первое - то человек профессионально непригоден. Если онколог лечит пациентов водкой с растительным маслом (был когда-то такой народный рецепт, не пытайтесь повторить), его надо гнать из профессии поганой метлой. А если он хороший онколог, но не верит в высадку американцев на Луну... Что ж, случается. Лет десять назад у меня был стоматолог, который верил во всякую псевдоисторическую чушь, но поставленные им пломбы до сих пор стоят в моих зубах, не жалуюсь.

Для применения LLM в качестве автоматического юриста, врача, репетитора и т.д. они должны ошибаться в области своего применения не "реже, чем случайный человек в случайной области", а реже, чем хороший профессионал в своей профессиональной области.

[MoonWatcher]

Anton_Peplov
Это понятно - но факт человеческих галлюцинаций в любом случае имеет место, и мы про это часто забываем. ИИ нас (меня во всяком случае) ужасно раздражает неспособностью делать простейшие вещи - ту же обработку текстов, как это ни парадоксально для LLM. Но простейшие они именно для нас, по причине особенностей нашего собственного интеллекта.

[Anton_Peplov]

MoonWatcher в сообщении #1724289 писал(а):

но факт человеческих галлюцинаций в любом случае имеет место, и мы про это часто забываем

Кто эти таинственные "мы", и кто не менее таинственные "некоторые", которым Mihaylo жаждет "впендюрить мысль"? Они сейчас с нами в этой теме?

[MoonWatcher]

Anton_Peplov
В какой-то мере я говорю и про самого себя. Галлюцинации ИИ - особого рода и по этой причине лично мне (и подозреваю, что я не одинок) представляются более вопиющими и вредными, чем у человека. Тот же Осипов не станет врать по простым фактологическим вопросам, если не будет знать ответа на вопрос и не будет иметь намерений обмануть. Тогда как сильные в математике и программировании современные модели придумывают факты (вместо того, чтобы сказать "Не знаю") в половине случаев, а бывает до 90% случаев. Осипов и в случае своей конспирологии не то чтобы врет - он так считает и честно об этом говорит. Галлюцинации ИИ другого рода, в плане их практической эксплуатации они намного вреднее.

[Mihaylo]

Anton_Peplov
Есть люди, которые свято верят в то, что у LLM нет понимания, а у них самих есть. Я точно не скажу, среди высказавшихся в этой теме, есть такие или нет. Не знаю, ворвутся в эту тему они или нет.

[MoonWatcher]

Mihaylo
Я не припомню человека (в кругу моих знакомых, а частично даже среди собеседников на тематических ресурсах), который в ответ на мои намеки про интеллект ИИ не стал бы мне снисходительно объяснять, что никакой это не интеллект, он просто предсказывает следующий токен работает по написанному людьми алгоритму. Я уже не говорю про свои намеки, что обладание [будущим] ИИ сознанием - вопрос в науке открытый - смотрят как на придурка. Уважая чужую компетентную точку зрения, что нет там никакого интеллекта, и тем более нет и никогда не будет сознания, я подозреваю, что радикализм большинства моих оппонентов в этих вопросах происходит из их невежества. Во всяком случае когда я спрашивал их мнение про соответствующие тематические исследования, никто их не читал и вообще не считает нужным это сделать.

[Mihaylo]

MoonWatcher в сообщении #1724268 писал(а):

Лично я считаю, что понимание - это неотъемлемое свойство человеческого квалиа, некое ощущение.

Да хрен с ним, с пониманием. Давайте поговорим про непонимание. Допустим вам позвонили мошенники и выпросили код на госуслуги - и вы отдали им всё, что им нужно - это что? Это тоже такое квалиа?