Фактор общего интеллекта для машин

[Ktina]

Согласно традициям английской школы изучения интеллекта, наилучший способ измерения фактора «g» — задача по выявлению отношений между абстрактными фигурами. Именно на этом принципе и построены так называемые прогрессивные матрицы Равена. Большой плюс подобных тестов - независимость их от языка и культуры (папуас, не читавший Пушкина, не обязательно глупее тех, кто его читал). Большой минус - спросите у Стиви Уандера.

А какой способ является, по вашему мнению, наилучшим для измерения машинного интеллекта? И почему именно этот способ?

Обывательский подход - измерять машинный ум FLOPSами - сразу же отметаем с порога (сорян за тавтологию), поскольку машина, перемножающая в уме гуголплексозначные числа за планковское время (даже если бы она и могла существовать теоретически), всё равно оказалась бы глупее уличной кошки, укусившей меня позавчера за мышцу, отводящую мизинец (вследствие чего мне пришлось ставить противостолбнячный укол), если бы не умела делать ничего, помимо умножения.

Итак, начнём?

[Mihaylo]

Самый популярный и один из первых - тест Тьюринга...

[Dmitriy40]

Жестоко ... Прямо без предупреждения обухом из-за угла и по голове ... Жестоко. Но правильно!

[ozheredov]

Ktina

эйчтитипиэс://гуугл.ком/бенчмарк )

Умность интеллекта привязана к конкретному классу задач. Чем сложнее устроен класс — тем более трудно придумать бенчмарк, гарантирующий нижнюю границу скорости/точности решения конкретным ИИ задач из заданного класса. Точно так же практически не реально придумать полное debug-покрытие для сложных программ

[gris]

Любой интеллект должен сам осознать необходимость осознания меры своей интеллектуальности и без посторонних разработать метод измерения её "отнюдь шара" (кубр.)

[Ktina]

Mihaylo в сообщении #1370110 писал(а):

Самый популярный и один из первых - тест Тьюринга...

Во-вторых, результаты теста Тьюринга отражают не уровень интеллекта машины, а уровень схожести её мышления с мышлением человеческим. Гипотетический сверхразум либо провалит этот тест, либо вынужден будет «косить» под человека, пытаясь показаться жури глупее, чем на самом деле.

А во-первых, тест Трюринга вообще не измеряет ничего, так как его оценка бинарна - прошёл или не прошёл.

-- 20.01.2019, 10:07 --

ozheredov в сообщении #1370112 писал(а):

Ktina

эйчтитипиэс://гуугл.ком/бенчмарк )

-- 20.01.2019, 10:08 --

gris в сообщении #1370118 писал(а):

Любой интеллект должен сам осознать необходимость осознания меры своей интеллектуальности...

Откуда это следует?
Что это вообще значит?

[Rasool]

Например, было бы очень круто, если бы на вход машины подавались условия задач математических олимпиад (закодированные определенным образом), а на выходе были бы подробные решения.

[mihaild]

Прежде чем говорить об интеллекте, давайте попробуем договориться о том, как измерять что-то более простое. Например, как измерять силу человека? И даже давайте еще упростим - пусть человек поднимает $N$ килограмм стоя и $M$ килограмм лежа. Чему равна его сила?

[Rasool]

Критерий интеллекта - умение решать ИИ-полные задачи: понимание текста на естественном языке, умение конструировать механизмы и агрегаты, умение писать компьютерные программы, умение доказывать математические теоремы.

[Ktina]

mihaild в сообщении #1370334 писал(а):

Например, как измерять силу человека?

А чем пауэрлифтинг плох?

-- 21.01.2019, 00:53 --

mihaild в сообщении #1370334 писал(а):

И даже давайте еще упростим - пусть человек поднимает $N$ килограмм стоя и $M$ килограмм лежа. Чему равна его сила?

В пауэрлифтинге подсчитывается сумма в троеборье - присед, жим лёжа и становая тяга. Жим штанги стоя давно уже отменили, он травмирует позвоночник. «Последним из могикан» был великий Василий Алексеев, установивший более 80 (!!!) мировых рекордов. Его жим стоя = 236,5 кг. Этот вес большинство из нас даже лёжа не пожмёт.

-- 21.01.2019, 00:54 --

Rasool в сообщении #1370326 писал(а):

Например, было бы очень круто, если бы на вход машины подавались условия задач математических олимпиад (закодированные определенным образом), а на выходе были бы подробные решения.

На эту тему уже был разговор, причём совсем недавно:
topic121276.html

-- 21.01.2019, 00:58 --

Rasool в сообщении #1370336 писал(а):

Критерий интеллекта - умение решать ИИ-полные задачи: понимание текста на естественном языке, умение конструировать механизмы и агрегаты, умение писать компьютерные программы, умение доказывать математические теоремы.

Вы совершенно правы, но измерять-то как? Как, например, измерить понимание текста на естественном языке? Что, скажем, означает фраза: «Машина $X$ понимает текст $Y$ на уровне 70% от человеческого»?

[mihaild]

Ktina в сообщении #1370340 писал(а):

А чем пауэрлифтинг плох?

А, ну тогда силу ИИ надо оценивать как рейтинг Эло в Го, деленный на 1 плюс число ошибок в MNIST.
Я имел в виду, что, хотя группа связанных характеристик и называется одним словом - "интеллект" или "сила", измерять их как единое целое - странная идея.

[Ktina]

mihaild в сообщении #1370343 писал(а):

Ktina в сообщении #1370340 писал(а):

А чем пауэрлифтинг плох?

А, ну тогда силу ИИ надо оценивать как рейтинг Эло в Го, деленный на 1 плюс число ошибок в MNIST.

Так ум и сила - вещи разные. Вы предлагаете мерять силу ИИ, а не его ум.

[mihaild]

Нет, я предлагаю не мерить ни ум, ни силу (как один показатель). ПОтому что и то, и другое - штуки сложные, и одной размерностью описываются плохо.

[Ktina]

mihaild в сообщении #1370345 писал(а):

Нет, я предлагаю не мерить ни ум, ни силу (как один показатель). ПОтому что и то, и другое - штуки сложные, и одной размерностью описываются плохо.

Но ведь для людей придумали матрицы Равена (см. самый первый пост в этой теме). Не идеальный, конечно, способ, но всё же лучше, чем ничего.

[ozheredov]

mihaild в сообщении #1370334 писал(а):

давайте попробуем

рассмотреть класс задач, в которых сила выступает как критичный параметр, и упорядочим людей по рангу так, чтобы человек с конкретным рангом мог выполнять задачи, решабельные для всех (большинства как вариант) людей рангом ниже. Типа монотонно вложимые друг в друга множества, пардон за дурацкий термин. Вот этот вот ранг и будет показателем силы (если не ошибаюсь, ELO устроено плюс минус так же)

-- 21.01.2019, 16:06 --

Ktina

Benchmark просто загуглите