Deep Learning и задача понимания естественного языка

[Yodine]

Посмотрел книгу, книга понравилась, по сути это введение в тему и обзор на 711 стр.
Потапов А.С. Искусственный интеллект и универсальное мышление. [Djv-21.0M] Научное издание.
(Санкт-Петербург: Издательство «Политехника», 2012)
Революционного там ничего не заметил, но я только полистал.

[Alephegg]

Yodine в сообщении #1345266 писал(а):

Революционного там ничего не заметил

Да. Сейчас все увлечены deep deep лернинг, революционных концепций в области понимания мышления дефицит. Вот даже наш адепт "слабых" решений ув. Mihaylo считает, что нужно просто глубже копать и размечивать, размечивать, размечивать set'ы. А потом, лет через двадцать, когда сети станут половозрелыми, оно само собой станет интеллектуальным. Эмерджентность.

[Yodine]

Alephegg в сообщении #1345267 писал(а):

наш адепт "слабых" решений ув. Mihaylo

Угу, Alephegg у нас адепт бессознательных решений с обратной связью, а Yodine полусознательных решений видимо.

[Alephegg]

Yodine, нет я люблю несознанку...

[Mihaylo]

Alephegg в сообщении #1345267 писал(а):

концепций в области понимания мышления дефицит.

О таких вещах нормальные люди не пишут, а если и пишут, то немного, так как это считается банальщиной и философщиной.

Понимание - это ощущение стороннего наблюдателя относительно интеллекта. На самом же деле у интеллекта низкий logloss, высокий accuracy, маленький mean squared error (MSE). Представьте себе, что интеллект обучен на большом объёме данных, у него хороший функционал качества, адекватно отвечает. Это и создаёт впечатление, что интеллект понимает. Фактически же может иметь место китайская комната или философский зомби - абсолютно без разницы, какова внутренняя природа успеха.

P.S. Извините, затронул понятие "понимание", а не "мышление". Но мне кажется, для вас это почти одно и то же.

-- 11.10.2018, 07:20 --

Yodine в сообщении #1345269 писал(а):

у нас адепт бессознательных решений с обратной связью, а Yodine полусознательных решений видимо.

В микропроцессоре есть только инструкции MOV, AND, OR, NEG, XOR, ADD, SUB, MUL, DIV, JUMP, DJ Nx, CALL, RET и некоторые другие. Как вы собрались их наделить сознанием? Не объявите ли, случайно, свою руку программиста святой?

[Alephegg]

Mihaylo в сообщении #1345306 писал(а):

маленький mean squared error

Маленький MSE чего?

Mihaylo в сообщении #1345306 писал(а):

Представьте себе, что интеллект обучен на большом объёме данных

Я может быть и поверил, что нужно ждать двадцать лет, пока нейронная сеть половозрелой не станет, но общение с детьми говорит мне об их интеллектуальности почти с самого рождения. Начиная с языка эмоций. И, напротив, маугли, выросший вне социума не обретает интеллектуальности ни в 10, ни в 20, ни в 30 лет, а остается животным. То есть в интеллекте что-то кроме аппроксимационных функций.

[Yodine]

Mihaylo в сообщении #1345306 писал(а):

Представьте себе, что интеллект обучен на большом объёме данных, у него хороший функционал качества, адекватно отвечает.

Alephegg в сообщении #1345307 писал(а):

Я может быть и поверил, что нужно ждать двадцать лет, пока нейронная сеть половозрелой не станет

Похоже на большом объеме данных у нейросетки отрастает функционал качества.

-- 11.10.2018, 11:41 --

Mihaylo в сообщении #1345306 писал(а):

В микропроцессоре есть только инструкции MOV, AND, OR, NEG, XOR, ADD, SUB, MUL, DIV, JUMP, DJ Nx, CALL, RET и некоторые другие. Как вы собрались их наделить сознанием? Не объявите ли, случайно, свою руку программиста святой?

Как вы собрались их наделить умением складывать числа? Не объявите ли, случайно, свою руку программиста рукой святого Диэдра (или Пеано)?

-- 11.10.2018, 11:59 --

Mihaylo в сообщении #1345306 писал(а):

Понимание - это ощущение стороннего наблюдателя относительно интеллекта. На самом же деле у интеллекта низкий logloss, высокий accuracy, маленький mean squared error (MSE). Представьте себе, что интеллект обучен на большом объёме данных, у него хороший функционал качества, адекватно отвечает. Это и создаёт впечатление, что интеллект понимает.

Получается нечто вроде:
понимание это ощущение, которое создает впечатление, что это понимание.
Понимание это когда ощущаешь, что понимаешь.
Правильно?

[Xey]

Mihaylo в сообщении #1345306 писал(а):

Это и создаёт впечатление, что интеллект понимает. Фактически же может иметь место китайская комната или философский зомби - абсолютно без разницы, какова внутренняя природа успеха.

Т.е. это электронный справочник. Например медицинский. ИИ ничего не изобретает, а использует известные сведения.
Вводятся симптомы, данные о пациенте, диапазон допустимой цены лечения и на выходе, с некоторым соотношением принимаемого во внимание, получаем рецепт и рекомендации ?

[Mihaylo]

Xey в сообщении #1345498 писал(а):

Т.е. это электронный справочник. Например медицинский. ИИ ничего не изобретает, а использует известные сведения.
Вводятся симптомы, данные о пациенте, диапазон допустимой цены лечения и на выходе, с некоторым соотношением принимаемого во внимание, получаем рецепт и рекомендации ?

Вы наверное просматривали эту тему форума и обратили внимание на обсуждение того, что нейронные сети (и другие алгоритмы машинного обучения) являются аппроксиматорами. Существуют так называемые аппроксимационные теоремы, доказывающие, что определённого вида алгоритмы могут аппроксимировать некоторые достаточно широкие классы признаков (данных). Что это значит? Это значит машину обучают на точечных примерах, а потом задают похожие вопросы. И машина более-менее справляется.
Возник закономерный вопрос: а может ли машина не просто интерполировать вокруг известных точечных примеров, а экстраполировать далеко за пределы скопления этих точек. Это было объявлено важным свойством, усиливающим вау-эффект.
Фактически разница между интерполяцией и экстраполяцией чисто количественная, а не качественная. В случае интерполяции, да, немного проще: здесь переносят знания о гладких и иногда не совсем гладких функциях на участки между интерполируемыми точками. В случае экстраполяции также происходит перенос свойств других кривых на множество точек вне известного диапазона, но всё же ориентируясь на ближайшие известные точки. В итоге все эти алгоритмы сводятся к частным случаям аппроксимации: по ограниченному объёму информации о точках требуется сгенерировать знания для бесконечного числа неизвестных точек.
Не существует алгоритмов, которые умеют работать без исходной информации вообще. Любой алгоритм должен получить знания, как-то обучиться.

Но вы наивно полагаете, что существует алгоритм, который р-р-раз и сгенерирует информацию, которая не опирается ни на что. Это сродни методу тыка, качество и польза от такого алгоритма весьма спорно.

Нужно только аккуратно относиться к знаниям и незнаниям. Человек имеет богатый багаж знаний, это даёт ему большие возможности для успешной аппроксимации, интерполяции, экстраполяции. Но это только благодаря знаниям, а не силе интеллекта. Хотя нет, вру. У некоторых особей специальные нейроны учатся интерполировать и экстраполировать, а не стоять, разинув рот, глядя на неизвестное. У некоторых это плохо получается - фантазии сплошные - из-за недостаточного опыта. Другие и вовсе избегают неизвестности, для них это экстраполируется как опасность.

[Alephegg]

Mihaylo в сообщении #1345559 писал(а):

Человек имеет богатый багаж знаний, это даёт ему большие возможности для успешной аппроксимации, интерполяции, экстраполяции.

Тут есть проблемка одна небольшая. ML хуже всего справляется с тем, с чем человек справляется лучше всего - с рассуждениями. Можно даже сказать, что RNN и LSTM - это уже за пределами машинного обучения и аппроксимационных задач. HMM - вообще не аппроксимация, а именно марковские цепи начинали "автоматизацию" рассуждений и диалогов.

Поэтому в фактологии, вы, ув. Mihaylo не точны, там всё ровно наоборот.

Mihaylo в сообщении #1345559 писал(а):

который р-р-раз и сгенерирует информацию

И в этом продолжение проблемы inference/reasoning, потому что генерация бреда (который мы массово видим в СМИ, форумах, соцсетях и прочих местах людской коммуникации) - это одна из самых простых человеческих способностей. Связного осмысленного бреда, который говорящему кажется истиной. И в мире существует 7.442Г мнений - ровно по числу живущих людей. И это - самая сложная задача для ИИ, поэтому тест Тьюринга считается тестом на интеллект.

Покажите, уважаемый, что моделирование - это аппроксмимация. Давно прошу. Но пока нет ответа. Да, я не спорю, что аппроксимация - это важный и полезный элемент моделирования, в моей терминологии это две важнейших когнитивные операции: отождествление и разотождествление. Проблема именно в том, что этим моделирование (мышление) не исчерпывается. Даже на 5%.

[Yodine]

Mihaylo в сообщении #1345559 писал(а):

Но вы наивно полагаете, что существует алгоритм, который р-р-раз и сгенерирует информацию, которая не опирается ни на что. Это сродни методу тыка, качество и польза от такого алгоритма весьма спорно.

Вы лишнее приписали собеседнику.

[Mihaylo]

Alephegg в сообщении #1345562 писал(а):

ML хуже всего справляется с тем, с чем человек справляется лучше всего - с рассуждениями.

Бр-р-р... Если бы человек умел рассуждать... Ну вы понимаете, мы давно уже все поняли, как работает мышление. Но мы все "электронные справочники", "аппроксиматоры", поэтому без обучения теме вокруг да около, у нас не будет успеха. Пока мы можем экстраполировать, например, детский усилитель интеллекта на реальные алгоритмы и думать, что сильный интеллект возможен.

Наши рассуждения очень просты: курс рубля повалился -> гречка подорожает. При чём все рассуждения основаны на предыдущем опыте. А гипотезы, не основанные ни на чём, как правило, ошибочны.

[Alephegg]

Mihaylo в сообщении #1345652 писал(а):

Если бы человек умел рассуждать...

Нет, милейший Mihaylo, мы говорим не о том, умеет человек рассуждать или нет, а о том, что никакая аппроксимации никакими мегатоннами размеченных данных не позволяет создавать модели. Даже такого смешного уровня как бытовые модели среднего человека. Да, 99.5% людей не очень умны и логичны, но, если мы говорим об интеллекте, то интеллект - это не только способность усреднять, но и способность к новациям, к созданию таких конструкций (как в вещественном мире, так и в мире понятий), которых до этого никогда не существовало.

Поэтому, зафиксируем, что Вы опять попытались подменить суть моих возражений против Вашей "позиции", на которые Вам как всегда нечего ответить, кроме этой нелепой попытки убедить всех в отсутствие у человека мышления и в отсутствие у социума (его техносферы) развития.

[realeugene]

Alephegg в сообщении #1345653 писал(а):

Нет, милейший Mihaylo, мы говорим не о том, умеет человек рассуждать или нет, а о том, что никакая аппроксимации никакими мегатоннами размеченных данных не позволяет создавать модели.

Вы, случайно, не про генерализацию тут пишете?

[Alephegg]

realeugene в сообщении #1345662 писал(а):

Вы, случайно, не про генерализацию тут пишете?

Нет. А что Вы имеете ввиду под "генерализацией"?