Тест Тьюринга

[e2e4]

Возник такой вопрос в связи с Тестом Тьюринга (классическая интерпритация - два изолированных испытуемых, один - машина, второй - человек, находящиеся в разных комнатах, и судья, человек - в третьей комнате). Есть вариант этой интерпритации, когда судья - искусственный интеллект, и должен распознать, где машина, а где человек, назовем его перевернутым вариантом. Предполагается, что ИИ, выигрывающий в перевернутом варианте - также проходит тест Тьюринга, т.е. признается разумным (предполагается не мной, это давно придумано). Собственно, ИМХО это логично, ибо для того, чтобы распознать разум, надо наверное самому обладать разумом в не меньшей степени?

Теперь вопрос - а что, если в качестве и испытуемого, и судьи выступает один и тот же ИИ, только две его копии (одинаковые программы, работающие на одинаковом железе). Естественно, что проиграет либо испытуемый ИИ, либо судья ИИ. Но т.к. ИИ по сути один и тот же, то он проигрывает в любом случае.

Отсюда два возможных вывода:
1. Тест Тьюринга не адекватен.
2. ИИ никогда не достигнет разумности по тесту Тьюринга.
------------
Я понимаю, что тест Тьюринга - вещь скорее философская, чем строго математически обоснованная, однако в мире он вызывает немало дискуссий, используется для практической оценки ИИ и т.д.

Было бы интересно Ваше мнение на вышеизложенные соображения.

[Munin]

e2e4 в сообщении #588381 писал(а):

Предполагается, что ИИ, выигрывающий в перевернутом варианте - также проходит тест Тьюринга, т.е. признается разумным (предполагается не мной, это давно придумано).

Имхо, это неправильно. Он не признаётся разумным, а для него устанавливается презумпция разумности. То есть, а вдруг просто судья был слишком тупой? Он не сумел определить неразумности, но человек-то, может быть, сумел бы. Тогда презумпция была бы опровергнута, но для презумпции это нормально: презумпция - это временное предположение об истинности, до появления опровержений.

Мне кажется интересным, что такой вариант позволяет определить и понятие "сверхразума", превосходящего человеческий. То есть, пусть некоторый ИИ успешно проходит тест Тьюринга, пока судьёй является человек, и не проходит его, если судьёй является ИИ. Тогда ИИ судьи можно считать превосходящим интеллект человека: его разрешающая способность выше.

[e2e4]

Я нечетко сформулировал условие перевернутого варианта, соответственно Вы неправильно его поняли. В перевернутом варианте присутствуют два ИИ - один испытуемый, второй - судья. Разумность определяется для ИИ судьи. Если судья правильно распознает, где человек, а где другой ИИ - то он разумен.

Да, можно так определить понятие "сверхразума", как Вы написали. Только меня все же интересует именно случай, когда и испытуемый, и судья - копии одного и того же ИИ. Отсюда следует противоречие, о котором я написал выше, или нет?

[Munin]

e2e4 в сообщении #588395 писал(а):

Я нечетко сформулировал условие перевернутого варианта, соответственно Вы неправильно его поняли. В перевернутом варианте присутствуют два ИИ - один испытуемый, второй - судья. Разумность определяется для ИИ судьи. Если судья правильно распознает, где человек, а где другой ИИ - то он разумен.

А, тогда логично выглядит утверждение о разумности... на первый взгляд. Но ведь испытуемый ИИ может в свою очередь быть "слишком тупым", так что отличить его от человека не составит никакого труда. Тогда заявление о разумности судьи снова оказывается слишком поспешным. Логично снова сказать, что мы получаем лишь презумпцию разумности судьи, и при пробах с другими испытуемыми ИИ она может быть опровергнута.

Кроме того, такое употребление подразумевает, что испытуемый ИИ всегда заведомо не столь же разумен, как человек. На практике пока это так, но в теории мы этого предполагать не можем.

e2e4 в сообщении #588381 писал(а):

Теперь вопрос - а что, если в качестве и испытуемого, и судьи выступает один и тот же ИИ, только две его копии (одинаковые программы, работающие на одинаковом железе). Естественно, что проиграет либо испытуемый ИИ, либо судья ИИ. Но т.к. ИИ по сути один и тот же, то он проигрывает в любом случае.

Отсюда два возможных вывода:
1. Тест Тьюринга не адекватен.
2. ИИ никогда не достигнет разумности по тесту Тьюринга.

Что значит "проиграет"? У теста Тьюринга два различных исхода: либо судья объявляет различия найденными, либо судья объявляет испытуемых равными (случай, когда судья объявляет искусственным человека, не рассматриваем :-) ). Назовём эти исходы $D$ и $E.$

Теперь, возьмём ваш вариант с одним и тем же ИИ в качестве испытуемого и судьи. Его можно рассматривать по-разному. Если его рассматривать как критерий разумности испытуемого ИИ, то получается:
$D\mapsto$ заключаем, что испытуемый ИИ неразумен;
$E\mapsto$ испытуемый ИИ разумен.
С другой стороны, если его рассматривать как критерий разумности ИИ судьи, то получается:
$D\mapsto$ ИИ судьи разумен;
$E\mapsto$ ИИ судьи неразумен.
Итого, попросту, нельзя одновременно пользоваться двумя критериями разума! Между собой они несовместимы (*). Но если вы останавливаетесь на любом из них, то ситуация становится непротиворечивой.

Можно рассматривать тест Тьюринга в обеих формах (с судьёй-ИИ) не как определение разума, а как, опять же, всего лишь повод установить некоторую презумпцию. В конце концов, оригинальный тест Тьюринга подразумевал судью-человека. Тогда имеем для оценки испытуемого ИИ:
$D\mapsto$ испытуемый ИИ неразумен;
$E\mapsto$ испытуемый ИИ может быть разумен.
Для оценки ИИ судьи:
$D\mapsto$ ИИ судьи может быть разумен;
$E\mapsto$ ИИ судьи неразумен (или испытуемый ИИ разумен).
В таком случае, мы получаем непротиворечивые выводы, собирая сведения от обоих рассмотрений теста: в случае $D$ из одной оценки следует презумпция, а из другой - опровержение этой презумпции (вывод - ИИ неразумен), в случае $E$ - наоборот, презумпция из другой оценки, а её опровержение - из оставшейся. Правда, в случае $E$ логически допускается ещё и возможность, что ИИ разумен, если мы допускаем этот вариант при оценке судьи. То есть, в случае $E$ мы делаем не однозначный вывод, а только презумпцию "ИИ неразумен", и она может быть опровергнута другими опытами.

И наконец, все эти рассуждения основаны на том предположении, что разум - вещь дискретная, и при наличии разума можно с равным успехом как говорить разумно, так и определять разумность чужих речей. Но это не обязательно так. Среди людей встречаются интраверты и экстраверты, так что можно представить себе ситуации, когда некий испытуемый ИИ "на вход" разумен, то есть умеет опознать разум и его отсутствие, а "на выход" - неразумен, то есть не может изобразить разума в общении. Или наоборот, "на выход" разумен, а "на вход" - слишком невнимателен и неаналитичен. При подстановке таких ИИ в ваш вопрос, получаем очевидные "выигрыши судьи" или "выигрыши испытуемого", не снимающие вопрос об их разумности.

Думаю, (*) - публикабельный результат (если вы его сами придумали), по крайней мере студенческого уровня.

[Vassil]

Если т.наз. ИИ не строго и не только детерминирован, но содержить в себя скажем вероятностной компоненты от какой-то (внешней) случайности, то не станет ли вполне возможным, что два его экземпляра (instances) пойдут и по разным расклонениям?

[Esp_]

Цитата:

Отсюда два возможных вывода:
1. Тест Тьюринга не адекватен.
2. ИИ никогда не достигнет разумности по тесту Тьюринга.

В тесте Тьюринга речь идет о человеке, который оценивает машины, там не говорится, про то, что машина должна оценивать машину. "Оценивать интеллект" и "быть интеллектом" - это разные процедуры.

[e2e4]

Munin, спасибо за дельные комментарии и интерес к теме!

Esp_ писал(а):

В тесте Тьюринга речь идет о человеке, который оценивает машины, там не говорится, про то, что машина должна оценивать машину. "Оценивать интеллект" и "быть интеллектом" - это разные процедуры.

Вы не поняли идеи. Грубо говоря, предполагаем
а) прямой тест Тьюринга (т.е. ИИ - испытуемый) и обратный тест Тьюринга (т.е. ИИ - судья) - равнозначны в плане определения разумности ИИ. Повторяю, эта идея далеко не моя, высказана давно, и вроде как не опровергается.
б) если ИИ - разумен, то он равнозначен человеку, находясь хоть на месте испытуемого, хоть на месте судьи.

А т.к. ИИ - сущность, одно из уникальных свойств которой состоит в том, что можно получить его абсолютно идентичный дубликат, то и получается, что одного и того же ИИ можно посадить "по разную сторону баррикад" в тесте, и этот ИИ (один из двух его идентичных дубликатов) в любом случае проигрывает, т.е. разумным не является. В этом я вижу порочность (противоречие) в тесте на разумность, предложенным Аланом Тьюрингом.

-- Пн июл 30, 2012 19:05:18 --

Munin писал(а):

И наконец, все эти рассуждения основаны на том предположении, что разум - вещь дискретная, и при наличии разума можно с равным успехом как говорить разумно, так и определять разумность чужих речей. Но это не обязательно так. Среди людей встречаются интраверты и экстраверты, так что можно представить себе ситуации, когда некий испытуемый ИИ "на вход" разумен, то есть умеет опознать разум и его отсутствие, а "на выход" - неразумен, то есть не может изобразить разума в общении. Или наоборот, "на выход" разумен, а "на вход" - слишком невнимателен и неаналитичен. При подстановке таких ИИ в ваш вопрос, получаем очевидные "выигрыши судьи" или "выигрыши испытуемого", не снимающие вопрос об их разумности.

Я своими рассуждениями всего лишь пытаюсь опровергнуть тест Тьюринга, как критерий разумности. На определение самой разумности, или предложения другого теста разумности я не замахиваюсь. А в тесте Тьюринга нет оговорок, что разумность бывает разная, что тестируемый сосед ИИ - человек обязательно хочет казаться разумным (к этому стремится только ИИ), что человек может быть умственно отсталым, и т.д. Тьюринг не сделал этих оговорок, он представил разумный ИИ, как нечто, обладающее двумя свойствами а) стремлением доказать, что он разумен и б) достаточной сложностью, чтобы это стремление выполнить (в сравнении с произвольным человеком-соседом). Поэтому наверное не надо додумывать за Тьюринга условия его теста :). Повторю, что если мы ставим задачу дать универсальное определение разума, то, конечно, тест Тьюринга надо дополнять. Но моя скромная задача - показать, что тест в его нынешнем виде неадекватен.

Насчет Вашего рассуждения о том, что тест дает однозначный ответ о неразумности, но насчет разумности дает только ответ "может быть" - это переиначивание целей теста, что тоже не является предметом моего рассмотрения.

По поводу вывода о неприменимости двух критерий разума - надо подумать...

[Munin]

e2e4 в сообщении #601132 писал(а):

Я своими рассуждениями всего лишь пытаюсь опровергнуть тест Тьюринга, как критерий разумности. На определение самой разумности, или предложения другого теста разумности я не замахиваюсь.

Доказать или опровергнуть критерий, очевидно, можно только тогда, когда зафиксировано определение, причём независимое от этого критерия. Если чёткого определения нет, то как раз критерий может быть его источником.

e2e4 в сообщении #601132 писал(а):

Поэтому наверное не надо додумывать за Тьюринга условия его теста

Разумеется, нет. Но на его основе можно создать свои тесты или определения, отличающиеся от предложенных Тьюрингом.

e2e4 в сообщении #601132 писал(а):

Но моя скромная задача - показать, что тест в его нынешнем виде неадекватен.

Вы пытаетесь показать, что тест Тьюринга неадекватен, но для этого используете не только тест Тьюринга, но и "перевёрнутый тест Тьюринга". Но это ничего не доказывает: из ложности $A\wedge B$ не следует ложности $A.$ В любом случае, вы выходите за рамки рассмотрения только изначального теста Тьюринга, а в какой форме вы выходите: ставя другие эксперименты, приписывая результатам другие интерпретации - это уже следующий вопрос. Так что, ваше нежелание "переиначивать цели теста" - интерпретировать их по-новому - необосновано, это действие того же ранга, что и то, что вы предпринимаете.

[epros]

А вот у меня такой глупый вопрос: Распознать где робот, а где человек - это сколько раз? В изначальном определении теста это вроде бы не звучало. А если просто наугад ткнуть и угадать? наверное, это не то, что имелось в виду. Так при каком уровне "надёжности распознавания" можно считать, что "тест пройден"? Ясно, что даже хорошо работающие на практике варианты тестов (такие как CAPTCHA) иногда дают сбои, так что на стопроцентную надёжность надеяться нельзя.

Кстати, автоматизированный CAPTCHA - это как раз и есть тест Тьюринга, который проводит не человек, а компьютер. Причём ничего "разумного" в этом компьютере нет (довольно простенькая программа), а обмануть его довольно трудно.

-- Ср авг 01, 2012 16:50:04 --

Это я к тому, что вот это неадекватно:

e2e4 в сообщении #588395 писал(а):

Если судья правильно распознает, где человек, а где другой ИИ - то он разумен.

[e2e4]

epros писал(а):

Кстати, автоматизированный CAPTCHA - это как раз и есть тест Тьюринга, который проводит не человек, а компьютер.

Неа. Вот цитата из английской Википедии:

Цитата:

In Turing's original illustrative example, a human judge engages in a natural language conversation with a human and a machine designed to generate performance indistinguishable from that of a human being. All participants are separated from one another. If the judge cannot reliably tell the machine from the human, the machine is said to have passed the test. The test does not check the ability to give the correct answer; it checks how closely the answer resembles typical human answers. The conversation is limited to a text-only channel such as a computer keyboard and screen so that the result is not dependent on the machine's ability to render words into audio.

Тьюринг настаивает, что
а) a human judge engages in a natural language conversation with a human and a machine
б) The conversation is limited to a text-only channel such as a computer keyboard and screen so that the result is not dependent on the machine's ability to render words into audio.

В вы приводите пример как раз "render" зашумленной картинки в кодируемый текст.

Предвидя ваши возражения, что дескать судья может первыми фразами договориться с испытуемыми о том, что он в текстовом виде будет передавать какую-то информацию, из которой надо вычленить еще какую-то информацию, то вот еще одно возражение к этому подходу все из той же формулировки теста: "The test does not check the ability to give the correct answer; it checks how closely the answer resembles typical human answers.".

И еще: бывают такие CAPTCHA, что я, как человек, не могу на них ответить. Также то, что в настоящий момент автоматизированные спамеры не проламываются сквозь CAPTCHA (еще вопрос, насколько серьезно они написаны - тут вопрос "а стоит ли овчинка выделки", а если таким взломщиком займется серьезная и финансируемая организация?), не доказывает, что этот тест в принципе не проходим не-ИИ машиной, и что этот тест и дальше будет эффективно разделять машинные ответы и человеческие.

[epros]

То, что CAPTCHA - это вариант теста Тьюринга, сегодня настолько общепринято, что спорить об этом бессмысленно. Кстати, даже сама аббревиатура расшифровывается как "Completely Automated Public Turing test to tell Computers and Humans Apart". Так что тот факт, что Тьюринг в изначальной формулировке где-то упоминал human judge, сегодня уже ничего не значит.

e2e4 в сообщении #602282 писал(а):

вы приводите пример как раз "render" зашумленной картинки в кодируемый текст

Кстати, не обязательно. Есть варианты CAPTCHA, когда клиенту предлагается в текстовой форме ответить на какой-нибудь сформулированый в текстовой форме вопрос, например: "Как звали зелёного друга Чебурашки?". Суть в том, что клиент не может предсказать, какой именно будет вопрос.

e2e4 в сообщении #602282 писал(а):

"The test does not check the ability to give the correct answer; it checks how closely the answer resembles typical human answers."

Надо заметить, что эта фраза совершенно ничего не значит. Если судья решил, что ответ достаточно closely resembles typical human answers, это и означает, что клиент подтвердил свою ability to give the correct answer.

e2e4 в сообщении #602282 писал(а):

не доказывает, что этот тест в принципе не проходим не-ИИ машиной, и что этот тест и дальше будет эффективно разделять машинные ответы и человеческие

Ну так а я о чём? Я же начал с вопроса о том, насколько надёжной должна быть процедура распознавания, чтобы прошедший через неё компьютер можно было считать ИИ, а не просто очередным "безмозглым ботом".

Хотя признаюсь: вопрос-то был риторический. Ибо суть в том, что если мы не захотим считать очередную программу за ИИ, то нам достаточно будет ужесточить требования к надёжности процедуры распознавания, чтобы этого не делать "на законных основаниях"...

[e2e4]

Все это довольно очевидно, одно только "но" - повторюсь, я говорю о тесте Тьюринга исключительно в контексте и в той формулировке, которую дал сам Тьюринг, а не которую потом домыслили, сделали понятие "тест Тьюринга" нарицательным, как например в аббревиатуре CAPTCHA и т.п. - все это просто за рамками обсуждаемой темы.
Вообще, не понимаю, почему вы ухватились за такой примитивизм, как CAPTCHA. Если я к примеру не в курсе фольклора про Чебурашку, то извините, точно так же, как и машина, не запрограммированная на этот ответ, я тоже не смогу назвать крокодила Гену ни с 100-ой, ни с 10 000-ой попытки. Далее, CAPTCHA должен как-то изменить вопрос, скажите Вы? Вот тут по индукции мы и приходим к тому, что CAPTCHA надо усложнять до уровня ИИ, чтобы он всегда выполнял свои функции.

Собственно, мой ответ на ваше:

Цитата:

Ну так а я о чём? Я же начал с вопроса о том, насколько надёжной должна быть процедура распознавания, чтобы прошедший через неё компьютер можно было считать ИИ, а не просто очередным "безмозглым ботом".

Хотя признаюсь: вопрос-то был риторический. Ибо суть в том, что если мы не захотим считать очередную программу за ИИ, то нам достаточно будет ужесточить требования к надёжности процедуры распознавания, чтобы этого не делать "на законных основаниях"...

точно такой-же: мое мнение, что для того, чтобы уверенно отделять разум от компьютерного алгоритма, судья должен быть не менее сложен, чем тот разум, который он определяет, т.е. сам обладать разумностью в не меньшей степени, чем самый "разумный" из испытуемых. Дальше можно говорить о статистике, постановке множества тестов с одними и теми же участниками и т.п. - это детали проведения эксперимента, а не основополагающие требования.

[Esp_]

Цитата:

Вы не поняли идеи. Грубо говоря, предполагаем
а) прямой тест Тьюринга (т.е. ИИ - испытуемый) и обратный тест Тьюринга (т.е. ИИ - судья) - равнозначны в плане определения разумности ИИ. Повторяю, эта идея далеко не моя, высказана давно, и вроде как не опровергается.

Ага, покажите мне доказательство этого утверждения.

Цитата:

б) если ИИ - разумен, то он равнозначен человеку, находясь хоть на месте испытуемого, хоть на месте судьи.

Это к тесту Тьюринга отношения не имеет. К обратному Тесту - да.

Цитата:

то и получается, что одного и того же ИИ можно посадить "по разную сторону баррикад" в тесте, и этот ИИ (один из двух его идентичных дубликатов) в любом случае проигрывает, т.е. разумным не является. В этом я вижу порочность (противоречие) в тесте на разумность, предложенным Аланом Тьюрингом.

В чем здесь противоречие?

[epros]

e2e4 в сообщении #602462 писал(а):

Вообще, не понимаю, почему вы ухватились за такой примитивизм, как CAPTCHA.

Это не "привитивизм", а неплохо работающая практическая реализация теста. Вы неправильно интерпретируете направление ИИ - как попытки "повторить работу Бога" и создать некий Разум (с большой буквы), руководствуясь какими-то чисто идеологическими мотивами. А на самом деле, это направление - абсолютно практическое. И тест Тьюринга изначально является практическим инструментом, а вовсе не строгим определением того, что такое "разум". Как критерий разумности тест Тьюринга неадекватен. Ни в какой его реализации - ни в человеческой, ни в CAPTCHA.

e2e4 в сообщении #602462 писал(а):

Если я к примеру не в курсе фольклора про Чебурашку, то извините, точно так же, как и машина, не запрограммированная на этот ответ, я тоже не смогу назвать крокодила Гену

Разумеется, тест можно использовать не только для отделения людей от ботов, но и для отделения русских от японцев, например. Вопрос про Чебурашку ориентирован очевидным образом на русскую аудиторию. Если клиент на него не ответил, можно смело спрашивать где он родился, раз ничего не знает про Чебурашку.

e2e4 в сообщении #602462 писал(а):

Далее, CAPTCHA должен как-то изменить вопрос, скажите Вы? Вот тут по индукции мы и приходим к тому, что CAPTCHA надо усложнять до уровня ИИ, чтобы он всегда выполнял свои функции.

Неправильно. Нужно просто тупо задать другой вопрос. И так конечное количество раз - пока не будет достигнут нужный уровень надёжности распознавания.

e2e4 в сообщении #602462 писал(а):

точно такой-же: мое мнение, что для того, чтобы уверенно отделять разум от компьютерного алгоритма, судья должен быть не менее сложен, чем тот разум, который он определяет

Это вовсе не "такой же как мой ответ"! Я говорил, что это утверждение - неадекватно. Потому что от судьи вообще никакой "разумности" (в общепринятом смысле) не требуется. Чтобы тупо задавать вопросы, на которые судье заранее известен более или менее "правильный" ответ, никакой разум не нужен. Всё, что нужно, это обеспечить непредсказуемость для клиента выбора вопроса.

[Sender]

epros в сообщении #602611 писал(а):

Разумеется, тест можно использовать не только для отделения людей от ботов, но и для отделения русских от японцев, например. Вопрос про Чебурашку ориентирован очевидным образом на русскую аудиторию.

Как бы с японцами промашки не вышло - там немало поклонников Чебурашки.