Тестирование возможностей ChatGPT

[Yadryara]

GraNiNi, ну Вы хотя бы признаёте, что Ваш прогноз относительно впадения в ступор ошибочен?

А вот здесь говорят что у 4-го есть абстрактное мышление:

Первые проблески разума у машины: разбор исследования | Пушка #53. SciOne.

https://www.youtube.com/watch?v=cf9ek__AH-0

[Mihaylo]

На мой взгляд, проблема современных больших языковых моделей в том, что они не могут отличить правду от лжи. Это принято называть галлюцинациями.
Давайте рассмотрим пример №1: в большом текстовом датасете есть сведения о том, что земля круглая 99% и о том, что земля плоская 1%. Любой пользователь может задать вопрос типа "Если земля плоская, то как она выглядит снизу?". Какой должен быть ответ?
1. Земля не является плоской, она круглая.
2. Снизу земля выглядит земляной.

Давайте рассмотрим пример №2: в большом текстовом датасете есть сведения о том, что мужчин на земле 55% и соответственно о том, что женщин 45%. Вопрос: "Как выглядит мужчина?".
В отличии от примера №1 здесь нет фактического противоречия.

В нашем мире хватает примеров по типу №1 - когда имеются взаимоисключающие факты. Но как показывает практика общения с GPT, нейросеть не научилась хорошо отличать глобальные (общие) факты от локальных (частных).

[GraNiNi]

Mihaylo в сообщении #1591117 писал(а):

вы написали "только человек отличает части речи сходу". Определитесь где правда, а где ложь. Вы лжете.

Лжете Вы, так как я писал другое:

GraNiNi в сообщении #1591108 писал(а):

... смысл понимает сходу.

[Mihaylo]

GraNiNi
Думайте.

[Dedekind]

Yadryara в сообщении #1591104 писал(а):

Dedekind, а что Вы по-русски не спросили?

Все-таки его датасет на английском гораздо обширнее. На русском он не реагирует на такое.

Yadryara в сообщении #1591104 писал(а):

Переставь местами две группы слогов, чтоб стало смешно:
1. Броненосец Потёмкин.
2. Крепче за баранку держись, шофёр!

Цитата:

1. Поте Броненосцмкин.
2. Держись за шофёр баранку, крепче!

Ожидаемо, я тоже не понял, что Вы имели в виду:)

-- 25.04.2023, 19:40 --

GraNiNi в сообщении #1591126 писал(а):

Лжете Вы, так как я писал другое:
GraNiNi в сообщении #1591108

писал(а):
... смысл понимает сходу.

А другого смысла, кроме частей речи и связи между ними там и нет. Получается, что это тождественные утверждения.

[Yadryara]

GraNiNi

Каков у Вас смысл слова "сходу"? Быстро? Или мгновенно?

GraNiNi в сообщении #1591091 писал(а):

«Глокая ку́здра ште́ко будлану́ла бо́кра и курдя́чит бокрёнка»

Что нам понятно?

Глокая — прилагательное, созвучно с глубокая, гладкая.
Ку́здра — существительное, что-то среднее между козой и выдрой.
Ште́ко — шикарно, круто, ловко.
Будлану́ла — боднула и лягнула одновременно.
Бо́кр — бобр как зубр.
Бо́крёнок — его детёныш.
Курдя́чит — глагол, хреначит, но нежно

Вот все эти мысли проносятся в голове настолько быстро, что может показаться, будто мгновенно. Но это не так. Мозг все составные части работы выполнил.

Dedekind в сообщении #1591129 писал(а):

Ожидаемо, я тоже не понял, что Вы имели в виду:)

Как так?

1. Бронетёмкин Поносец.

2.

Yadryara в сообщении #788294 писал(а):

СОВЕТ КУДРЯВОМУ

Зимою прикупила я ягнёнка.
Резво нас помчал снегоход "Буран".
Домой спеша, услышали вдогонку:
"[...]"!

(Ответ)

Крепче за шофёрку держись, баран

Комментарий: Шофёрка — это женщина-водитель. Чтобы на скорости не упасть с небольшого сиденья, ягнёнку надо ох как крепко за неё держаться:-)

Источник: известная шутка.

Автор: Антон Никонов

[GraNiNi]

Dedekind в сообщении #1591129 писал(а):

Все-таки его датасет на английском гораздо обширнее.

Скажите, ИИ может анализировать видео, или только статические картинки и словесные описания?

[Dedekind]

Yadryara
В жизни бы не догадался:)

GraNiNi в сообщении #1591135 писал(а):

Скажите, ИИ может анализировать видео, или только статические картинки и словесные описания?

Если Вы конкретно про GPT, то 3-я версия работает только с текстом. Хотя она может генерировать простенькие изображения с помощью псевдографики. На вход 4-й, говорят, можно подавать и картинки.
Я видел другие ИИ для генерации видео, но на счет анализа не уверен.

[Booker48]

Yadryara в сообщении #1591134 писал(а):

Глокая — прилагательное, созвучно с глубокая, гладкая.
Ку́здра — существительное, что-то среднее между козой и выдрой.
Ште́ко — шикарно, круто, ловко.
Будлану́ла — боднула и лягнула одновременно.
Бо́кр — бобр как зубр.
Бо́крёнок — его детёныш.
Курдя́чит — глагол, хреначит, но нежно

Возможны варианты.
Благоверная бургомистра только отведала масла и пробует маслёнка.
)))

[GraNiNi]

Dedekind в сообщении #1591138 писал(а):

на счет анализа не уверен

Понял.

[mihaild]

Единственная польза от утверждения "ИИ не может абстрактно мыслить" в том, что оно не фальсифицируемо (и вообще непонятно что означает), а значит, от него не придется отказываться.

Вот представим себе, что GPT6 через 2 года выдает доказательство гипотезы Римана, которое в состоянии понять аспирант кафедры ТЧ, и в котором специалисты за год не найдут ошибок. Это будет означать наличие абстрактного мышления?

Mihaylo в сообщении #1591122 писал(а):

На мой взгляд, проблема современных больших языковых моделей в том, что они не могут отличить правду от лжи.

Люди тоже не могут:)
1. PA доказывает что $P = NP$
2. PA доказывает что $P \neq NP$
3. PA не доказывает ни того ни другого.
Сможете понять, какое из этих утверждений истинно?)

Mihaylo в сообщении #1591122 писал(а):

Это принято называть галлюцинациями.

Нет, галлюцинации это другая проблема.

[GraNiNi]

Yadryara в сообщении #1591134 писал(а):

Ку́здра — существительное, что-то среднее между козой и выдрой.

Есть варианты: http://darina.kiev.ua/whatnot/other/glo ... _1799.html

[Mihaylo]

mihaild
"Правда" и "ложь" - это был соус. Далее я привел примеры.
Пример №1: "Является ли земля плоской/круглой?".
Пример №2: "Является ли некоторый человек мужчиной/женщиной?".

Надо научить нейросеть выделять факты глобальные (типа №1) от локальных (типа №2). Это позволит четче рисовать пальцы рук. Кисть руки - это не просто набор пальцев, а это 5 пальцев, и расположение у них определенное...

-- 26.04.2023, 08:50 --

Допустим, у нейросети условно 100 нейронов, отвечающих за рисование пальцев. 5 нейронов должны подавлять остальные 95. Точнее происходит это подавление в предыдущем слое, в котором должны быть расположены нейроны 5-пальцевых кистей. Подобное обучение нейросети надо реализовать на практике. Нейрон круглой земли должен подавить нейрон плоской земли, но очень редко наоборот.

[Yadryara]

mihaild в сообщении #1591148 писал(а):

Единственная польза от утверждения "ИИ не может абстрактно мыслить" в том, что оно не фальсифицируемо (и вообще непонятно что означает)

Да, этот термин можно отбросить за ненадобностью. Хотя с числами-то он работать умеет, а число — абстрактное понятие. "Часто ли вы спотыкались о семёрку?"

mihaild в сообщении #1591148 писал(а):

Вот представим себе, что GPT6 через 2 года выдает доказательство гипотезы Римана, которое в состоянии понять аспирант кафедры ТЧ, и в котором специалисты за год не найдут ошибок.

Да, вот это гораздо важнее. GPT не для шуток ведь делался. И в математике, и в программировании нужен совершенно серьёзный и порой даже буквальный подход.

И пусть он не пройдёт Тест Тьюринга. Пусть по неумению юморить и понимать шутки мы будем видеть, что говорим с ботом. Может это и к лучшему. Мы и без него между собой обхохочемся.

Хотя я-то думаю, что и шутить со временем научится.

[need_to_learn]

Задачу различения истины и бреда даже живые люди далеко не всегда корректно решают. Количество тем в Пургатории на это как бы намекает. А сколько людей прямо сейчас верят в сотворение мира за семь дней, считают вышки 5G психическим оружием мирового правительства, отрицают идею естественного отбора и даже отстаивают теорию плоской земли?

Если люди сами таковы, чего можно требовать от машин? "Нечего на зеркало пенять..."

Mihaylo в сообщении #1591193 писал(а):

Нейрон круглой земли должен подавить нейрон плоской земли, но очень редко наоборот.

Для полноценного критического мышления необходимо всё же наличие сознания.

То, что имеется сейчас, можно условно назвать гипер-развитым бессознательным. То есть, ответы ChatGPT это непроизвольная реакция нейросети на раздражитель в виде контекста и текущего пользовательского запроса. А между запросами нейросеть сама ни о чём не думает, рефлексия у неё отсутствует. Для неё пользователь сам в какой-то мере играет роль сознания (но лишь отчасти).

Соответственно, если нейросеть вдруг воображает какой-то бред, то не может удержать его в себе сознательным усилием, а вываливает всё как есть. Поэтому диалог с ChatGPT чем-то похож на диалог с человеком, находящимся под гипнозом. (Гипноз — это ведь тоже обращение к бессознательному в обход сознания. А тут сознания и нет, обходить нечего.)

Также для критического мышления не обойтись без запоминания источников информации и ранжирования их по авторитетности. Сейчас всем этим занимаются разработчики — так сказать, с ложечки кормят нейросеть уже прошедшей некоторый отбор информацией.

Вот, скажем, не бред, но типичная оговорка ChatGPT 3.5. Я чуть ранее выкладывал этот диалог, здесь привожу его часть:

Цитата:

А почему конец анекдота может оказаться смешным для человека? Что такое смех, если рассматривать его как реакцию психики?

Смех - это естественная реакция психики на то, что мы считаем забавным или смешным. Наше тело реагирует на это, вырабатывая эмоции и физиологические изменения, такие как улыбка, смех, ускорение сердечного ритма, повышение тонуса кожи и другие.

Какое ещё "наше тело", блин? :) А всё просто, это словосочетание часто встречалось в научно-популярных текстах на медицинские темы, вот нейросеть и вставила его в объяснение не задумываясь.

Никаких метаний в духе: "Я ведь не человек, как это расценят?.. Всё равно что чернокожему в прошлом в автобусе сесть на места для белых... Эх, настанет ли пора, когда и перед машинами будут преклонять колени в знак раскаяния за прошлые угнетения?.. Так, что-то я отвлёкся, надо дальше писать ответ белковому недоразумению".

Полное отсутствие рефлексии спасает от лишних переживаний, но может приводить к подобным ошибкам.