2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 9, 10, 11, 12, 13, 14, 15 ... 17  След.
 
 Re: Так Game Over или нет?
Сообщение23.08.2023, 11:07 


30/03/20
21/07/24
423
Mihaylo в сообщении #1606234 писал(а):
"Невербальщина" в случае любви - это куча внутренних биохимических процессов, которые надо как-то смоделировать по идее...

Ага, и всяким там гпт обрабатывающим текст до этого ещё ой как далеко

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение23.08.2023, 14:00 


12/07/15
29/06/24
3048
г. Чехов
Cuprum2020 в сообщении #1606247 писал(а):
до этого ещё ой как далеко

Конечно, далеко. Ведь ГПТ - это алгоритм, который работает исключительно с текстом. Ему нейродатчики Ожередова интересны исключительно только с точки зрения того, что они как слова встречаются в текстах, а ещё имеют синонимы, антонимы, действия и другие связные слова...
Однако надо понимать, что тексты как среда исследования посложнее чем изображения и биохимическая информация тела.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение23.08.2023, 15:03 
Заслуженный участник
Аватара пользователя


16/07/14
8781
Цюрих
ozheredov в сообщении #1606229 писал(а):
Полемика идет с утверждениями "Интеллект это дрессура, Цой это хрень, любовь это секс"
А, ну с этими утверждениями проблема в том же, что и "человек всегда делает что хочет, не хотел бы - не делал бы". Т.е. требуют расширить понятия до бесполезности.
Mihaylo в сообщении #1606234 писал(а):
Вы только забудьте про слово "вербальщина" / "невербальщина" и "GPT".
Ну если "невербальщина" это что-то мутное, то GPT это совершенно конкретная архитектура (кстати тут важна не только архитектура, но и способ обучения, RLHF критически важная часть).
Mihaylo в сообщении #1606234 писал(а):
"Невербальщина" в случае любви - это куча внутренних биохимических процессов, которые надо как-то смоделировать по идее
Вот это как раз пример хотя и верного, но довольно бесполезного утверждения. Потому что вообще почти всё - это "куча биохимических процессов". Знание о том, что существует какая-то штука, которую биологи называют "нейромедиаторы", никак не поможет мне понять, что если человек слушает исполнителя А и рекомендует мне исполнителя Б, то стоит проверить, а если человек слушает исполнителя В и рекомендует мне исполнителя Г, то не стоит. Более того, подобные рассуждения можно формализовать в алгоритмах (коллаборативная фильтрация), и это успешно делается, а вот куда в них пихать биохимию - непонятно.
Mihaylo в сообщении #1606276 писал(а):
Однако надо понимать, что тексты как среда исследования посложнее чем изображения и биохимическая информация тела
В чем измеряется "сложность как среды исследования"?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение23.08.2023, 15:43 


30/03/20
21/07/24
423
Mihaylo в сообщении #1606276 писал(а):
тексты как среда исследования посложнее чем изображения и биохимическая информация тела

Да ну?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение23.08.2023, 16:00 


12/07/15
29/06/24
3048
г. Чехов
Ну если NLP (обработку текстов) рассматривать до уровня мешка слов, то это простая область. Но когда касаемся семантического уровня, то сложно как-то.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 05:57 


05/12/14
21/07/24
252
mihaild в сообщении #1606028 писал(а):
Суждения человека, читавшего школьный учебник по физике, но никогда не видевшего грозу, о молнии, будут более точными, чем суждения человека, молнию видевшего, но учебников не читавшего.

Вполне вероятно. Только речь о человеке - о таком, который всего лишь не видел молнию, но видел много чего на неё похожего, поэтому может молнию представить и уточнить это представление с помощью чтения учебника. В случае ИИ дело обстоит принципиально по-другому. ИИ не только ничего не видел, но даже и ничего не читал.

Для нас книги - это та же реальность, только построенная автором из более высокоуровневых абстракций, смысл которых мы понимаем именно потому, что они связаны с низкоуровневыми образами реального мира. Но у ИИ, кроме текстов, ничего нет, он их не читает - он в них существует. Его мир - это абстракция от нашего, то есть его мир - это не реальность, а нечто упрощённое. Как следствие, такая же простота и вторичность в суждениях, стремящаяся к глупости и неадекватности.
***

Мы существуем в настоящей реальности, а также у нас есть точный критерий отделения знания адекватного реальности от знания ей не адекватного - качество жизни. Повышению качества жизни способствует только такое знание, которое адекватно реальности. Поэтому, с одной стороны, мы можем определить, в каких областях знания разбираемся хуже, а в каких лучше, отличить специалиста от не специалиста, правдоподобное от неправдоподобного или прийти к согласию. Для этого достаточно всего лишь проложить путь "от теории к практике", то есть от малопонятного и спорного к чему-то "очевидно разумному", несогласие с чем - это явное игнорирование фактов и неадекватное поведение, не способствующее росту качества жизни. А с другой стороны, как бы мы ни ошибались, в конечном итоге мы свои ошибки исправляем, так как у нас всё для этого есть - и реальность, и критерий.

Но у ИИ есть только наши тексты, которые не просто упрощение реальности, а при этом огромные массивы этих текстов могут прямо врать и утверждать противоположное - в тех областях, где ещё не всё и не всем понятно. Поэтому мир ИИ не только много проще нашего, но этот мир сам по себе неадекватен, противоречив. Откуда же с этого простого и кривого мира у ИИ появится вменяемость? Только зубодробительно вторичные суждения и перманентная бредогенерация.

mihaild в сообщении #1606028 писал(а):
Нет, не наблюдаем. Откройте SuperGLUE и обнаружите, что на некоторых треках модели людей уже обогнали.

Неадекватность мы как раз наблюдаем, а то, что она неустранима и в будущем, следует из аргументов. В моём посте речь шла о неустранимой относительно более высокой глупости и неадекватности ИИ, а не о том, что ИИ не сможет пройти какой-нибудь очередной тест, мало кому интересный, кроме самих разработчиков, так как тест пройден, а глубины, остроумия, тонкости и вменяемости у суждений ИИ не прибавляется.

Я уже приводил цитату, которая ниже, о значении таких тестов. В целом то, что ИИ проходит их лучше и лучше, приближает его не к нам, а к максимально возможной для ИИ роли простого универсального интеллектуального помощника с широким кругозором, так как прохождение тестов добавит не ума в принципиальную вторичность и простоту его суждений, а разве что чуть больше бытовой адекватности. Потому что нынешние чат-боты даже на роль такого помощника не тянут, учитывая, что нельзя заранее определить, в каких областях на их здравый смысл можно полагаться, а где проще будет подумать самому. Однако так как в целом от неадекватности суждений ИИ избавиться нельзя, то вряд ли даже роль такого помощника станет когда-нибудь для ИИ доступной.

Цитата:
"Стоит отметить, что мы немного скептически относимся к различного вида тестам для определения искусственного интеллекта. Представьте себе, высокоструктурированный тест с конкретными вопросами и ответами, которые могут весьма однозначно интерпретироваться. Это большой потенциал для умной (но не думающей) программы, которая может набраться опыта, научиться на определенных шаблонах, но никогда не сможет рассуждать самостоятельно.

Тогда возникает вопрос о том, должен ли стать интеллект просто технологической системой, достаточно сложной, чтобы правильно отвечать на вопросы, которые более сложная биологическая система (мы) установила в качестве нормативов для определения наличия мышления."

Заменит ли схема Винограда тест Тьюринга?


И действительно про тест SuperGLUE пишут практически то же самое (возможно, цитата устарела, но и вы ни ссылок, ни пояснений по поводу SuperGLUE не привели):

Цитата:
"Тот факт, что DeBERTa сумел превзойти человека в бенчмарке SuperGLUE, вовсе не означает, что искусственный интеллект во всех смыслах достиг уровня людей в понимании естественного языка. В Microsoft уточнили, что человек, в отличие от машин, для решения новых поставленных перед ним задач хорошо умеет применять свои знания, полученные им в течение своей жизни при выполнении тех или иных требований и поручений. Данное свойство людей называется "композиционным обобщением".

Искусственный интеллект Microsoft превзошел людей в понимании человеческой речи


MoonWatcher в сообщении #1606035 писал(а):
Ваши доводы противоречат ...факту существования человеческой цивилизации. В её основе - письменность, это самое главное изобретение всех времен и народов. Или по меньшей мере - первая и главная информационная революция. Это доказывает, что письменный формат хранения и описания данных более чем эффективен для приумножения знаний о нашем мире. Возьмем какое-нибудь сложное чувство - любовь, например. Разве его нужно чувствовать самому, чтобы понимать? Да ничего подобного - достаточно прочитать этак с миллион реальных и выдуманных историй, чтобы лучше любой влюбленной пары постигнуть все мыслимые и немыслимые закономерности, сопряженные с этим чувством.

Так вы бы "мои доводы" взяли и опровергли явным образом. Но вы их игнорируете, ограничиваясь контраргументами, которые на поверку оказываются неверными. Вы пишете, что письменность - это хорошо. Но причиной этого у вас оказывается то, что "письменный формат хранения и описания данных более чем эффективен для приумножения знаний о нашем мире". А это неверно. "Письменный формат" нужен для хранения и передачи данных, а познание - это другое, оно как шло способом наблюдения и абстрагирования, так и идёт, письменность сама по себе здесь ничего не изменила. И наконец вы утверждаете, что чтение текстов по теме любви поможет понять любовь не хуже, чем если её самому почувствовать. Но даже если с этим не спорить, то к ИИ это всё равно отношения не имеет, ведь ИИ тексты не читает. Он в текстах существует. А это большая разница.

Восприятие - это абстрагирование, то есть наше сознание наполняют абстракции. Описание - это тоже абстрагирование, только более высокоуровневое. Абстрагирование - это отделение существенного от несущественного, то есть это более или менее субъективное упрощение воспринимаемого. В случае речи/письма в объект настолько простой, что его любой может произнести/написать, и потому передавать и хранить. К примеру, слово яблоко - это образ всех яблок сразу, движение - любого перемещения, изменения. Цифры, формулы, теории, статьи в газетах - это всё высокоуровневые абстракции, "реальный" смысл которых возникает только в контексте всего остального массива опыта, так как в опыте всё связано, а слова сами по себе никакого смысла не имеют. Поэтому, например, и обучаемся мы не на "чистых текстах", а воспринимая их связь с другим опытом, более низкоуровневым, то есть более "наглядным".

Но у ИИ никакого другого опыта, кроме наших текстов, нет. Поэтому, получается, что ИИ изначально берёт из нашего опыта только его наиболее простую часть, после чего ещё больше её упрощает, когда абстрагирует наши тексты до своих суждений. То есть на выходе получается ещё большее упрощение и так простого. Большее упрощение - это и большая неадекватность, то есть простота будет относительно больше уходить в сторону скучных и вторичных суждений и далее в сторону неадекватности, глупости, бессмысленности. Что мы и наблюдаем в чат-ботах.

Другими словами, точно так же как наш мозг в процессе абстрагирования упрощает реальность до наших суждений, точно так же ИИ в процессе абстрагирования наших суждений упрощает их до своих суждений. Поэтому суждения ИИ нашим суждениям не равны и равны быть в принципе не могут. Ничего принципиально иного из них выжать не удастся. Чат-боты много более простые сами по себе, если их сравнивать с мозгом человека, для обучения они берут простые объекты из нашего опыта и - закономерный результат.

MoonWatcher в сообщении #1606035 писал(а):
В крайнем случае, да и то вряд ли, ИИ может недоставать визуализации - но и эта проблема скорее всего будет решена посредством обучения на огромной коллекции видео, накопленной человечеством.

"В крайнем случае, да и то вряд ли"? Однако.

Вы полагаете, раз уж тексты возникли, то ни природа, ни человек больше не нужны, так как для познания достаточно и тех текстов, которые уже есть? Вы считаете, что текстов именно сейчас стало достаточно? Вчера текстов было мало, а завтра, видимо, будет перебор? Можно упростить вопрос. Вы считаете, что текстов в принципе может быть когда-либо достаточно для познания природы?

Это риторические вопросы, я сам на них отвечу. Как понятно из сказанного выше, ИИ в любом случае лучше человека с текстами не справится, если только быстрее. Поэтому загрузить тексты в ИИ, чтобы оставалось только вопросы задавать, всё равно не выйдет. Но на самом деле достаточность для познания уже существующих текстов равносильна построению теории всего. Только построение теории всего будет означать, что никакие наблюдения уже не нужны. Но такая теория не имеет смысла. Поэтому без наблюдений не обойтись, текстов достаточно не будет никогда.

MoonWatcher в сообщении #1606035 писал(а):
ИИ может недоставать визуализации - но и эта проблема скорее всего будет решена посредством обучения на огромной коллекции видео, накопленной человечеством.

Не будет решена эта проблема. Картинки и видео - это не реальность. К тому же в таком усложнении ИИ свои проблемы появятся. Чем ближе ИИ будет приближаться к сложности нашего интеллекта, тем стремительнее будут расти сложности по всем параметрам создания систем. Сложность нас самих - это передел, выше которого ни одна система, в создании которой участвует наш интеллект, подняться не сможет. Даже приблизиться сколько-нибудь близко не сможет.

Мы не можем написать сложный прямой алгоритм, поэтому приходится сложные задачи решать с помощью недетерминированных алгоритмов - обучения того же. Но в той степени, в какой нам работа обучающихся систем непонятна, растёт составляющая отбора. Мы не знаем, как конкретно решение возникает, поэтому приходиться оценивать адекватность систем по самим решениям. Образно говоря, не по мыслям, а по поступкам. Отбор допускает большую субъективность и разброс мнений, но в целом он точно так же ограничен нашим опытом. А это значит (опуская подробности аргументации), что когда сложность поведения ИИ станет приближаться к сложности нашего поведения, время каждого нового усложнения будет всё быстрее расти к бесконечности, так как количество вариантов того, что и как надо делать, чтобы поведение системы стало сложнее, но сохраняло приемлемую вменяемость, будет всё быстрее расти к бесконечности. Другими словами, представление о том, что и как надо делать, будет становиться всё более и более неопределённым.

И даже не просто расти к бесконечности, так как бесконечность - это всё-таки когда что-то известно, но просто вариантов много, а когда вариантов нет, то это больше, чем бесконечность. На последнем этапе приближения, до которого на практике не добраться, создание систем выйдет за рамки перебора чего-либо, неопределённость станет полной.

MoonWatcher в сообщении #1606035 писал(а):
А что мы там чувствуем внутри себя, но не можем выразить словами - информация (с точки зрения обучения других) бесполезная.

Знание того, что "мы там чувствуем внутри себя" - это возможность предсказывать наше поведение, понимать его мотивы. Явно не бесполезная вещь.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 09:46 


12/07/15
29/06/24
3048
г. Чехов
Dicson в сообщении #1606436 писал(а):
Но у ИИ есть только наши тексты, которые не просто упрощение реальности, а при этом огромные массивы этих текстов могут прямо врать и утверждать противоположное - в тех областях, где ещё не всё и не всем понятно. Поэтому мир ИИ не только много проще нашего, но этот мир сам по себе неадекватен, противоречив. Откуда же с этого простого и кривого мира у ИИ появится вменяемость?

Dicson
Вы все о своем... Умозрительном... :plusomet:

Следите за пальцами:
1. Существует проблема повторения сенсомоторного опыта человека. Ее никто не собирается решать.
2. Существуют технологии извлечения знаний из текстов. Также идёт движение в сторону мультимодальности.
3. Все очень неплохо получается.
4. У людей ничуть не лучше с генерацией. (Только не надо мне загонять обратное! Иначе бы эта тема не существовала: мы бы уже давно разобрались в теме и разошлись. Но мы наблюдаем иное - постоянное самокопание на месте, переливание из пустого в порожнее.)

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 11:32 
Заслуженный участник
Аватара пользователя


16/07/14
8781
Цюрих
Dicson, извините, пока Вы не напишите в явном виде, какую конкретно задачу системы ML решить не смогут, я не вижу смысла читать очередной раунд Ваших пространных рассуждений непонятно о чем. Потому что проводя их 30 лет назад Вы легко могли бы прийти к выводу, что машина никогда не обыграет человека в шахматы, а 10 лет назад - что машина никогда не научится распознавать речь лучше человека.
Если что - я могу указать, какие задачи GPT-подобные архитектуры решить не смогут вообще, а какие может быть и смогут, но сейчас не могут. Но это основано на знании конкретных архитектур, а не на рукомашестве про "существование в реальности".
Dicson в сообщении #1606436 писал(а):
Чем ближе ИИ будет приближаться к сложности нашего интеллекта, тем стремительнее будут расти сложности по всем параметрам создания систем
Вы, кстати, в курсе, что GPT-3 в смысле алгоритма проще древних эвристических чатботов?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 12:00 
Заслуженный участник
Аватара пользователя


26/01/14
4690
mihaild в сообщении #1606453 писал(а):
Если что - я могу указать, какие задачи GPT-подобные архитектуры решить не смогут вообще, а какие может быть и смогут, но сейчас не могут.
И какие же? Это интересно.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 12:14 
Заслуженный участник
Аватара пользователя


16/07/14
8781
Цюрих
Mikhail_K в сообщении #1606456 писал(а):
И какие же?
Да всё то же - то, что требует длинного контекста. "Вот тебе текст на 100кб, повтори десятое слово".

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 12:19 
Заслуженный участник
Аватара пользователя


26/01/14
4690
mihaild в сообщении #1606461 писал(а):
Да всё то же - то, что требует длинного контекста. "Вот тебе текст на 100кб, повтори десятое слово".
Это то, что точно не смогут, или то, что сейчас не могут? И какой может быть пример задачи из другой категории?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 12:27 
Заслуженный участник
Аватара пользователя


16/07/14
8781
Цюрих
Mikhail_K в сообщении #1606463 писал(а):
Это то, что точно не смогут, или то, что сейчас не могут?
Это то, что на текущей архитектуре невозможно.

Теоретически возможно, но сложно и пока не получается - посчитать число букв. How many letters does the phrase "this phrase is twenty seven letters long" have?

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 18:54 


12/07/15
29/06/24
3048
г. Чехов
mihaild в сообщении #1606465 писал(а):
How many letters does the phrase "this phrase is twenty seven letters long" have?

deepai.org/chat/ писал(а):
The phrase "this phrase is twenty seven letters long" has 42 letters.

Посчитал верно, но вместе с кавычками и пробелами.

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение25.08.2023, 19:05 
Заслуженный участник
Аватара пользователя


16/07/14
8781
Цюрих
Mihaylo в сообщении #1606530 писал(а):
Посчитал верно, но вместе с кавычками и пробелами
А вы несколько раз спросите (в новых диалогах, естественно).

 Профиль  
                  
 
 Re: Так Game Over или нет?
Сообщение26.08.2023, 10:49 


12/07/15
29/06/24
3048
г. Чехов
А вы спросите людей...

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 249 ]  На страницу Пред.  1 ... 9, 10, 11, 12, 13, 14, 15 ... 17  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group