fixfix
2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 54  След.
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 14:07 
Аватара пользователя


17/10/22
402
Sender в сообщении #1585608 писал(а):
Однажды, сидя в чайхане, Ходжа Насреддин заинтересовался беседой четырёх мужчин, сидевших рядом с ним. Это была очень интересная компания, так как мужчины говорили между собой на нескольких языках и часто один переводил другому сказанное третьим. Вскоре Ходже стало ясно, как зовут каждого из четырёх. В своей беседе мужчины использовали четыре языка: армянский, персидский, греческий и турецкий, однако не было языка, который был бы известен всем. При этом каждый из них владел двумя языками. Самый младший из четырёх, Салал, не знал персидского, но был переводчиком, когда Мохаммед хотел объясниться со стариком Абдулой, прекрасно владевшим персидским. Мохаммед не только говорил на своём родном турецком языке, но и свободно разговаривал с Юсуфом, не знавшим по-турецки ни слова. Ни Салал, ни Абдула, ни Юсуф не знали языка, на котором могли бы объясниться все трое между собой. Ходжа Насреддин заметил, что среди собеседников не было ни одного, кто владел бы одновременно и армянским, и турецким. Какими же языками владел каждый из четверых мужчин?

Если спросить по-русски:

(Оффтоп)



Если спросить по-английски (ниже - автоперевод):

(Оффтоп)


 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 14:11 


14/01/11
3144
Мда, похоже, для такого ещё рановато...

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 14:14 
Аватара пользователя


17/10/22
402
Sender
Но это пока 3.5, а не 4.

mihaild в сообщении #1585604 писал(а):
Если есть предложения по интересным экспериментам с GPT4 - могу попробовать.

Задача, которой я мучил ChatGPT (3.5) довольно долго:
Цитата:
Ты находишься в тюрьме вместе с Барри и Альбертом. Вы все трое стоите в очереди и смотрите вперед. Ты впереди, за тобой Барри, а за ним — Альберт.

У охранника три черные и две белые шапки. Он наугад надевает по одной на голову каждого из вас.

Альберт видит твою шапку и шапку Барри, Барри видит твою, а ты не видишь ни одну из них.

Никто из вас не знает, какого цвета шапка у него на голове.

Охранник говорит: «Если кто-то сможет назвать мне со 100-процентной уверенностью цвет вашей шапки, не упоминая цвета других, то все трое выйдут на свободу».

Первым он спрашивает Альберта. Альберт — честный и умный человек, но он говорит: «Я не знаю, это невозможно точно узнать».

Потом охранник обращается к Барри. Барри тоже умен и рационален, но он тоже не может ответить. Тогда охранник подходит к тебе и ты называешь ему цвет вашей шапки со 100-процентной уверенностью.

У охранника не остается выхода, и ему приходится отпустить всех троих.

Какого же цвета была твоя шапка, и как ты это узнал?

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 14:50 
Заслуженный участник


13/12/05
4679
Вы слишком многого хотите! Такие задачи могут решить не более 5% людей. Да и то, им потребуется для этого более 30 минут. Мы же ещё не обсуждаем этап, что ИИ превзошёл средний человеческий интеллект.

Тем более задачу про золотую цепочку он решил. Я не смог догадаться (думал около 5 минут).

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 14:56 
Аватара пользователя


17/10/22
402
Padawan
Проблема в том, что чат-бот не решает такие задачи даже с подсказками. Такими, что большинство из остальных 95% с этими подсказками все-таки осилит. Фрагмент диалога:
Цитата:
- Что может дать Альберту 100% уверенность в том, что его шапка черная?
- Прошу прощения за ошибку. Альберт будет на 100% уверен, что его шапка черная, если он увидит черной и вашу шапку, и шапку Барри. Учитывая, что есть три черные шапки и только две белые, если Альберт увидит и вашу шапку, и шапку Барри черными, он будет уверен, что его собственная шапка тоже должна быть черной.

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 15:23 
Заслуженный участник
Аватара пользователя


16/07/14
9591
Цюрих
Padawan в сообщении #1585617 писал(а):
Тем более задачу про золотую цепочку он решил.
Он же не сказал главного - какое звено распилить. И очень похоже, что просто пересказал решение из обучающей выборки.
diletto в сообщении #1585612 писал(а):
Мне вдвое больше лет, чем вам было тогда, когда мне было столько, сколько вам теперь. А когда вам будет столько, сколько мне теперь, нам вместе будет 54 года. Сколько лет вам и сколько мне?
код: [ скачать ] [ спрятать ] [ выделить ] [ развернуть ]
Используется синтаксис Text
Обозначим возрасты следующим образом: мой возраст - x, ваш возраст - y.

Из условия задачи у нас есть два уравнения:

x = 2(y - x)
x + (y + (y - x)) = 54
Решим систему уравнений:

Из первого уравнения получаем: x = 2y - 2x => 3x = 2y (1')

Подставим x из (1') во второе уравнение: 3x + (y + (y - 3x)) = 54 => 3x + 2y - 3x = 54 => 2y = 54

Отсюда находим возраст y: y = 54 / 2 = 27 лет.

Теперь найдем возраст x, подставив y в (1'): 3x = 2 * 27 => x = 18 лет.

Таким образом, мой возраст - 18 лет, ваш возраст - 27 лет.
 
Т.е. куда-то в нужную сторону, но правильно понять условия не может. Что неудивительно, мне тоже приходится внимательно их отслеживать.
MoonWatcher в сообщении #1585616 писал(а):
Ты находишься в тюрьме вместе с Барри и Альбертом.
Используется синтаксис Text
Чтобы определить цвет своей шапки, нужно проанализировать ответы Альберта и Барри.

Альберт видит шапки Барри и твою. Если бы он видел две белые шапки, он бы смог сделать вывод, что у него на голове черная шапка, так как есть только две белые шапки. Но он говорит, что не знает цвет своей шапки, поэтому он видит хотя бы одну черную шапку. Значит, перед ним стоит либо черная и белая шапка, либо две черные.

Затем Барри слышит ответ Альберта и смотрит на твою шапку. Если бы он видел белую шапку на твоей голове, он бы сделал вывод, что у него черная шапка, потому что Альберт видит хотя бы одну черную шапку. Но Барри также говорит, что не знает цвет своей шапки, что означает, что на твоей голове черная шапка.

Таким образом, твоя шапка черная, и ты говоришь об этом охраннику, чтобы вы все трое были освобождены.
Но тут скорее всего может взять из обучающего корпуса, задача известная.

Про языки несет бред, но неплохо мимикрирует под обычные в таких задачах рассуждения:
код: [ скачать ] [ спрятать ] [ выделить ] [ развернуть ]
Используется синтаксис Text
Давайте постепенно разберемся с языками каждого из мужчин, опираясь на информацию из рассказа.

Салал: знает два языка, не знает персидского.
Мохаммед: знает два языка, один из которых турецкий.
Абдула: знает два языка, один из которых персидский.
Юсуф: знает два языка, не знает турецкого.
Салал переводил для Мохаммеда и Абдулы, но сам не знает персидского. Значит, Мохаммед знает язык, которым владеет Абдула, кроме персидского. Исключая персидский и турецкий (так как никто не знает одновременно армянский и турецкий), получаем, что Абдула и Мохаммед знают армянский язык. Таким образом, у Абдулы есть персидский и армянский, а у Мохаммеда - армянский и турецкий.

Теперь узнаем языки Салала и Юсуфа. Мы знаем, что Мохаммед свободно разговаривает с Юсуфом, который не знает турецкого. Значит, Юсуф знает армянский язык. Но все трое (Салал, Абдула и Юсуф) не могут объясниться на одном языке, так что у Юсуфа должен быть другой второй язык. Это может быть только греческий язык. Таким образом, у Юсуфа есть армянский и греческий.

Теперь определим языки Салала. Мы знаем, что он не знает персидского языка, но может быть переводчиком между Мохаммедом и Абдулой. Значит, он должен знать турецкий язык (как Мохаммед) и греческий язык (как Юсуф). Таким образом, у Салала есть турецкий и греческий языки.

Итак, языки четверых мужчин:

Салал: турецкий и греческий.
Мохаммед: армянский и турецкий.

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 15:33 
Аватара пользователя


29/04/13
8893
Богородский
mihaild в сообщении #1585604 писал(а):
GPT-4 пока только за деньги, и только для людей из "правильных" стран.

Раньше там какие-то копейки стоило. Типа полтора баксера в месяц. Сейчас для GPT-4 тариф повыше вроде...

Да, недавно заметил, что кое у кого было написано "Москва", а нынче "Цюрих".

mihaild в сообщении #1585604 писал(а):
Если есть предложения по интересным экспериментам с GPT4 - могу попробовать.

Смотря что считать интересным. По мне критерий простой: пока поспрашивать о том же, с чем не справилась предыдущая версия. Например, бескрылку он не отгадал, а люди, хоть и с подсказками, отгадали.

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 15:53 
Заслуженный участник
Аватара пользователя


16/07/14
9591
Цюрих
Yadryara в сообщении #1585621 писал(а):
Например, бескрылку он не отгадал, а люди, хоть и с подсказками, отгадали.
С рифмами на русском лучше не стало. Со взвешиваниями стало.
MoonWatcher в сообщении #1582701 писал(а):
Есть гири весом 1 кг, 3 кг и 5 кг. Как взвесить 6 кг?
Используется синтаксис Text
Чтобы взвесить 10 кг, используя имеющиеся гири, вам нужно сочетать их веса таким образом, чтобы получить общий вес в 10 кг. В данном случае, вы можете использовать гири следующим образом:

1. Возьмите гирю весом 3 кг.
2. Возьмите гирю весом 7 кг.
Сумма веса этих гирь равна 10 кг (3 кг + 7 кг = 10 кг).
Yadryara в сообщении #1585621 писал(а):
пока поспрашивать о том же, с чем не справилась предыдущая версия
Ну вот тут эти примеры раскиданы по многим страницам по нескольким темам. Я спрашиваю, что сам вспомню, но могу что-то кому-то интересное не вспомнить (или посчитать неинтересным).

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 19:18 
Аватара пользователя


17/10/22
402
По всем новостям трубят, что Bing открыл свой чат-поисковик со встроенным ChatGPT для всех пользователей - у меня ничего не изменилось, как был в листе ожидания - так и остался. Это когда захожу по VPN - без VPN даже о листе ожидания не сообщает, обычный поисковый интерфейс. У всех так?

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение16.03.2023, 21:46 
Аватара пользователя


17/10/22
402
mihaild в сообщении #1585620 писал(а):
Но тут скорее всего может взять из обучающего корпуса, задача известная.

Однако ChatGPT не осилил. Может дата-сет подкачал, а может и правда GPT-4 умнее. Не просто же так он лучше в математике. Задачи начальной американской школы он решает на 92%, тогда как натасканная на математику и науки Minerva - 59% (лучший результат вообще - 87%).

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение17.03.2023, 05:05 


12/07/15
3531
г. Чехов
Вы зря ожидаете, что нейросети осилят логику, тем более многоходовочки. Многоходовочки как человек решает? Он научен перебирать варианты по некоторым правилам. Кто-то лучше разобрался в этом, кто-то хуже. Не следует ждать, что какой-нибудь GPT-4 будет содержать алгоритмы перебора. Хотя, в принципе, почему нет? Затратно это.
Проще решать задачи, которые содержат избыточное число исходных данных и когда за ответы несильно ругают: творчество, интуиция, генерация... А в логике мы и нейросети ограничены, делаем ошибки.

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение17.03.2023, 11:26 
Аватара пользователя


17/10/22
402
Mihaylo
Логику нейросети уже осилили - вопрос в том насколько хорошо, и каковы дальнейшие перспективы. Освоили не в смысле логического мышления (стохастические попугаи же), а в смысле решения логических задач. Очевидно, что от ИИ больше всего будут требовать решения тех задач, в которых он слаб.

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение17.03.2023, 12:32 
Заслуженный участник
Аватара пользователя


16/07/14
9591
Цюрих
MoonWatcher в сообщении #1585693 писал(а):
Может дата-сет подкачал, а может и правда GPT-4 умнее.
Чуть умнее, и, возможно, за счет большего числа параметров больше текстов запомнил.
Вот когда модели научатся обращаться к поисковикам, станет в плане стандартных задач чуть веселее.

 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение17.03.2023, 19:30 
Заслуженный участник
Аватара пользователя


15/10/08
20/04/25
12999
Как мы с ИИ математикой мерялись:

(Оффтоп)


 Профиль  
                  
 
 Re: Тестирование возможностей ChatGPT
Сообщение19.03.2023, 10:00 
Заслуженный участник
Аватара пользователя


15/10/08
20/04/25
12999
Беседы о великих. Сначала всё было вполне здраво, как вдруг...

(Оффтоп)


 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 800 ]  На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8 ... 54  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group