Deep Learning и задача понимания естественного языка

[Mihaylo]

Pavia в сообщении #1343591 писал(а):

Встал вопрос, а не появился ли у нас сильный ИИ? Одним из критериев сильного ИИ является способность самостоятельно обучаться не хуже человека.
Что предложил rajpurkar? Собственно он предложил взять искусственную сеть без вмешательства человека и сверить с обучением при помощи человека. EM и F1 модели. Как видно разница есть, это значит что сильный ИИ ещё нет.

Давайте у человека отберём учителей и тогда мы сразу увидим не только отсутствие слабого интеллекта (который у него на самом деле), но и то, что у него интеллект мало отличается от обезьяны.

-- 05.10.2018, 07:09 --

Pavia в сообщении #1343591 писал(а):

Считаю что ИИ нужно одновременно с ответами на вопросы по тексту, обучать логическим рассуждениям.

Линейные структуры (в линейной регрессии, в стандартном нейроне) умеют выполнять основные логические операции, многослойный перцептрон ещё и XOR умеет (классика!). Соответственно эти структуры всему этому обучаются.
А вы думаете человек логике обучается? Даже когда он прошёл курс логики, теории множеств, он умеет выполнять расчёты только формально. Это означает, что неформально он логически не учится рассуждать, но может это делать, выводя закорючки, разбивая сложные задачи на ряд простых, медленно...

Так что, ещё раз повторю, на сегодняшний момент человек и машина - одного поля ягода. Оба обладают слабым интеллектом. Не преувеличивайте интеллект человека.

-- 05.10.2018, 07:14 --

Цитата:

Но Джиа и Лиян показали, что простая вставка отвлекающих от темы предложений (например, о якобы случившейся победе Джеффа Дина в другой игре серии) привела к обрушению качества работы системы.

Слушайте, ну если человека обучать чему-то, а потом вставлять в вопросы какую-нибудь левую требуху, то что будет?
Зачастую у исследований нет цели показать, какой же искусственный интеллект тупой, они просто обозначают следующие интересные направления работы. Не понимаю, почему это потом становится аргументацией какой-то слабости.

[Pavia]

Mihaylo в сообщении #1343735 писал(а):

Давайте у человека отберём учителей и тогда мы сразу увидим не только отсутствие слабого интеллекта (который у него на самом деле), но и то, что у него интеллект мало отличается от обезьяны.

Человек в данном тесте справился без учителя. У него не было учителя который бы корректировал его процессы мышления.

Переворачиваться, ползать, ходить, как сексом заниматься человек учится самостоятельно.
Я знаю что я сам выучил Delphi, сам учился играть в Го.
Причём не плохо. Вопрос лишь в скорости обучения. Он минимум в 10 раз ниже, чем с учителем.

Mihaylo в сообщении #1343735 писал(а):

Линейные структуры (в линейной регрессии, в стандартном нейроне) умеют выполнять основные логические операции, многослойный перцептрон ещё и XOR умеет (классика!). Соответственно эти структуры всему этому обучаются.

Логические рассуждения это не только логические операции. Это скорее процесс. Так вот тесты показывают что логические операции НС умеют, а рассуждать нет.

Mihaylo в сообщении #1343735 писал(а):

Так что, ещё раз повторю, на сегодняшний момент человек и машина - одного поля ягода. Оба обладают слабым интеллектом. Не преувеличивайте интеллект человека.

Это Вы преувеличиваете способности искусственного интеллекта. А я всего лишь сообщаю факты. Так как вычислительных способностей не хватает то сверить по честному мы не можем. Так что говорить о равенстве не возможно.
Разве что сверять 2-х годовалого малыша, но они обычно читать не умеют.

https://ru.wikipedia.org/wiki/Сильный_и_слабый_искусственные_интеллекты

[realeugene]

Mihaylo в сообщении #1343735 писал(а):

Давайте у человека отберём учителей и тогда мы сразу увидим не только отсутствие слабого интеллекта (который у него на самом деле), но и то, что у него интеллект мало отличается от обезьяны.

Смотря какой обезьяны. Шимпанзе, например, успешно учили языку глухонемых. И некоторые тесты шимпанзе проходят лучше людей. То, что у них не развилась голосовая речь, им, конечно, сильно мешает коммуницировать.

Pavia в сообщении #1343738 писал(а):

Переворачиваться, ползать, ходить, как сексом заниматься человек учится самостоятельно.

Не знаю, в какой мере это правда, но читал где-то, что пандам в одном китайском центре разведения панд специально показывали фильмы секса панд, потому что они не знали, как правильно заниматься сексом и не размножались.

С другой стороны, очевидно, что и при отсутствии школ, просто, находясь в культурной среде окружающих людей, ребёнок обычно успешно учится говорить и вырастает в разумного человека (хоть и не образованного, разумеется). Дети учатся, когда их и не пытаются учить, беря пример со взрослых, "обезьянничая". Но при этом у них в мозгу развиваются похожие мозговые и психические структуры. В какой мере за это отвечает наследственность, а в какой - одинаковость культурного окружения, я не знаю.

[Pavia]

НС - учат программисты и учёные.
Человека - учат учителя и родители.

Чем выше неравные положения? На конкурс явно попали НС способные читать.
Rasool говорил, что это полная задача. Но он не прав. Так как критерии понимания, которые я привел, не требуют этого.

На тест они выходят в равных положениях. Далее им дают выборку и вопросы для самостоятельного обучения. Самостоятельно означает без учителей и обратных связей. Идёт проверка понимания прочитанного. Затем сверяется их интеллект.
Сверить интеллект можно путём проверки дополнительных знаний, умений.
Если понимание это способность найти ориентиры в тексте. То путём задания логических задач, можно понять насколько он сильный. Слабый если ничему не научился, средний если научился за счёт обучению с обратными связями(ещё на подготовительном этапе) решению логических задач из другой области. Сильный если обучился без учителей.
Человек в таком случае попадает в среднюю группу.

-- Пт окт 05, 2018 15:30:22 --

realeugene
По поводу панд. Они тоже учились самостоятельно. Телевизор для них был источником знаний.
Не самостоятельно, это когда ученик рассказывает учителю ход своих мыслей, а учитель поправляет его.
Если есть обратная связь, то это не самостоятельно. Если если её нет, то ученик учится самостоятельно.

Alephegg в сообщении #1343711 писал(а):

здесь самое главное дорожная карта.

А она у вас есть? Как Вы думаете куда дальше пойдёт развитие. Какие формальные тезисы, мы должны выполнить?

realeugene в сообщении #1343770 писал(а):

В какой мере за это отвечает наследственность, а в какой - одинаковость культурного окружения, я не знаю.

А какой смысл от этого в понимании ЕЯ? Я к тому что прохождение ИИ тестов о чтении говорит о равенстве в вопросе о понимании прочитанного. А каким образом это равенство было получено не столь важно.

[Alephegg]

Pavia в сообщении #1343792 писал(а):

Как Вы думаете куда дальше пойдёт развитие. Какие формальные тезисы, мы должны выполнить?

Мы изначально здесь никому ничего не должны, мы здесь общаемся, а не решаем производственные задачи. Я не знаю, куда пойдет развитие, но я вижу задачу, которую необходимо было бы решить, чтобы ответить на множество вопросов, в том числе и тех, которые ставятся здесь. Это задача минимального сильного интеллекта. По некоторой аналогии с MVP. Для начала было бы неплохо ответить на вопрос о том, как должен выглядеть минимальный набор свойств и способностей, чтобы мы могли сказать - да, это уже СИИ, а не регрессия или аппроксимация. На мой вкус, понимание (в каком-то смысле) - это неотъемлемая способность такого интеллекта.

[realeugene]

Pavia в сообщении #1343792 писал(а):

По поводу панд. Они тоже учились самостоятельно. Телевизор для них был источником знаний.
Не самостоятельно, это когда ученик рассказывает учителю ход своих мыслей, а учитель поправляет его.
Если есть обратная связь, то это не самостоятельно. Если если её нет, то ученик учится самостоятельно.

Как это без учителя? Как это без обратной связи? А кто же, по-вашему, увидел, что панды сами не могут справиться, и, поэтому, снял и показал им порно для панд?

-- 05.10.2018, 15:27 --

Pavia в сообщении #1343792 писал(а):

А какой смысл от этого в понимании ЕЯ?

В самом прямом. Очевидно, что для понимания человеком речи других людей важно не просто правильное обучение нейросети в черепушке, но и генетически обусловленная адекватная архитектура мозга.

[Rasool]

Pavia в сообщении #1343792 писал(а):

Rasool говорил, что это полная задача. Но он не прав. Так как критерии понимания, которые я привел, не требуют этого.

Вообще-то я привел слова Джона Совы, то есть сослался на научный авторитет.

[fan_of_algoritms]

Несколько общих посылов. В пединститутах на языковых специальностях говорят, что наличие языка, который используется в письменной речи, устной речи и внутренней речи создает у человека и животных новые типы мышления, а сложность языка модулирует сложность этих процессов. В частности, на этом посыле основана теория различного видения мира носителями различных языков. Самое интересное в этой истории то, что речевой аппарат человека физиологически приспособлен к сложной устной речи, после которой появляются письменная и внутренняя. Эта приспособленность наталкивает на мысль, что человек либо, почему-то развивался быстрее других видов, либо это было заложено неким создателем специально. В любом случае уже с рождения человек готов к познанию более чем другие виды, и эта готовность - научаться сложному языку, вероятно, потребовала колоссальных ресурсов.

[Mihaylo]

Pavia в сообщении #1343792 писал(а):

НС - учат программисты и учёные.
Человека - учат учителя и родители.

Чем выше неравные положения? На конкурс явно попали НС способные читать.

Да, всё верно: мозги одинаковые, но обучающие данные разные, на тот самый порядок или два, которых НСам не хватает.

[arseniiv]

fan_of_algoritms в сообщении #1343822 писал(а):

В частности, на этом посыле основана теория различного видения мира носителями различных языков.

Ни к селу ни к городу упомянутая здесь. И не теория, а гипотеза. И даже не одна, а две, причём сильная версия, считай, фальсифицирована, и формулировки обеих, мягко говоря, недостаточно точны, чтобы относиться к ним как к чему-то, из чего можно извлечь пользу (в сравнении с некими конкретными менее объемлющими гипотезами).

[Alephegg]

Mihaylo в сообщении #1343831 писал(а):

но обучающие данные разные

Честно говоря, не очень понятно, почему они разные. И не очень понятно, почему в обучении ИИ нельзя использовать именно те данные, которые делают живого человека способным к осмысленной речи (с учетом того, что с Ваших слов, человек - это слабый интеллект).

[fan_of_algoritms]

arseniiv в сообщении #1343832 писал(а):

fan_of_algoritms в сообщении #1343822 писал(а):

В частности, на этом посыле основана теория различного видения мира носителями различных языков.

Ни к селу ни к городу упомянутая здесь. И не теория, а гипотеза. И даже не одна, а две, причём сильная версия, считай, фальсифицирована, и формулировки обеих, мягко говоря, недостаточно точны, чтобы относиться к ним как к чему-то, из чего можно извлечь пользу (в сравнении с некими конкретными менее объемлющими гипотезами).

Если рассуждать логично, эта гипотеза, например, может предположить, что нейросети логичнее знакомить с искусственным языком, не обремененным неопределенностями естественного. Человек его понимать может, транслировать на него может, интерпретировать на него может. Придет время и сети создадут свой естественный язык, либо освоят наш. Но с места в карьер - сложно.

[arseniiv]

fan_of_algoritms в сообщении #1343839 писал(а):

Если рассуждать логично, эта гипотеза, например, может предположить, что нейросети логичнее знакомить с искусственным языком, не обремененным неопределенностями естественного.

Если рассуждать логично, то видно, сколько надо сделать не очень-то очевидных допущений, чтобы прийти именно к этому выводу.

Кроме того, проблема понимания языка, обременённого неопределённостями, никуда не денется. Её надо будет всё равно решать.

fan_of_algoritms в сообщении #1343839 писал(а):

Но с места в карьер - сложно.

Трюизм, сам по себе в продвижении технологии или науки никак не помогающий. Чтобы предлагать что-то полезное для области, надо быть погружённым в неё, чтобы знать её текущие нужды и конкретные проблемы, а так это разговоры на кухне.

[fan_of_algoritms]

arseniiv в сообщении #1343842 писал(а):

fan_of_algoritms в сообщении #1343839 писал(а):

...Трюизм, сам по себе в продвижении технологии или науки никак не помогающий. Чтобы предлагать что-то полезное для области, надо быть погружённым в неё, чтобы знать её текущие нужды и конкретные проблемы, а так это разговоры на кухне.

Чтобы понимать то, что детенышу понятней и нужней слово папа, а не интернационал, не надо быть ни во что погруженным, даже в языкознание и педагогику. Сети пока просты, начинающему мастеру - простой инструмент. ИМХО, это очевидно.

[Alephegg]

fan_of_algoritms в сообщении #1343839 писал(а):

что нейросети логичнее знакомить с искусственным языком, не обремененным неопределенностями естественного.

Так оно и происходит, "на самом деле". Естественные языки упрощаются, формлизуются, постепенно избавляются от исключений. Где-то была интересная статья об изменении болгарского языка за последние несколько столетий (его удобно было наблюдать, это бывший церковно-славянский). Там флективное согласование стало уступать использованию предлогов как в германских языках.

Думаю, некий controlled language, который сочетал в себе простую на уровне simple (plain) english грамматику, но при этом бы и формализованным и естественным - это идеальный вариант.