Deep Learning и задача понимания естественного языка

[Rasool]

Xey в сообщении #1295031 писал(а):

Rasool в сообщении #1294912 писал(а):

пусть и не на уровне Google

Существует ли перечень запросов , по которым можно оценить этот уровень?

В Google, например, реализовали GNMT - очень серьезный прорыв в области онлайн-переводчиков. Это и хорошая бизнес-задача и просто хороший прорыв в области машинного перевода.

[Rasool]

arseniiv в сообщении #1294973 писал(а):

(Оффтоп)

Идеальным было бы покрутиться в этой тусовке и посмотреть; какие-нибудь простые задачи порешать. Снаружи вы вряд ли сможете принять решение лучше, чем изнутри. Ну, это моё предположение.

(Оффтоп)

ResearchGate.net - подходящая тусовка?

[arseniiv]

(Оффтоп)

Я не в курсе именно про ИИ, и даже про сетки. Просто странно, если в современной развивающейся области можно что-то сделать, совсем не погружаясь в то, что там сейчас делается, что и как было сделано. Это универсалия.

[Rasool]

arseniiv в сообщении #1295634 писал(а):

(Оффтоп)

Я не в курсе именно про ИИ, и даже про сетки. Просто странно, если в современной развивающейся области можно что-то сделать, совсем не погружаясь в то, что там сейчас делается, что и как было сделано. Это универсалия.

Думаю, что для погружения нужно для начала почитать научную литературу по использованию ИИ (нейросетей, в частности) в компьютерной лингвистике. По этой теме я нашел только главу 12, пункт 12.4 "Обработка естественного языка" из книги Яна Гудфеллоу, Иошуа Бенджио, Аарона Курвилля "Глубокое обучение". Хотелось бы большего. Никто из участников не в курсе?

[mihaild]

"Neural Network Methods for Natural Language Processing" Голдберга

[Rasool]

mihaild в сообщении #1342391 писал(а):

"Neural Network Methods for Natural Language Processing" Голдберга

Большое спасибо.

[Rasool]

Rasool в сообщении #1342392 писал(а):

mihaild в сообщении #1342391 писал(а):

"Neural Network Methods for Natural Language Processing" Голдберга

Большое спасибо.

Нашел вот что: Обработка естественного языка: с чего начать и что изучать дальше. Там приводится список литературы, в том числе и с Голдбергом.

[Yodine]

Хороший перевод требует понимание, понимание требует извлечение смысла и знание контекста, кроме того понимание требует наличие сильного искусственного интеллекта, поскольку требуется умение рассуждать и делать выводы.
Неформальность и многозначность естественного языка, множественность и неопределенность смыслов слов и контекста, отсутствие механизма реализующего мышление, все это ограничивает качество перевода и по сути сводится к системе подстановок, хотя требуется транслировать именно смысл. ИМХО.
Нет извлечения смысла, нет понимания, нет сильного ИИ, нет перевода.

[Andrey_Kireew]

Rasool в сообщении #1294438 писал(а):

Вообще, наверное, я задаю глупые вопросы, ибо этим должны заниматься взрослые дяденьки в Google, и если уж они пока не могут, то на этом форуме...

Скорее всего, они этим и занимаются, и не только они. Ведь перспективы, которые открывает решение этой задачи сложно переоценить (например полноценный интерфейс человек-машина). Другое дело, что существенных успехов в этой области, видимо, ещё не достигнуто.

О чём тут можно говорить, если задача до сих пор остаётся не формализованной.
Машинный перевод - это совсем не то. Семантический анализ переводчик не проводит, он лишь переводит слова, по известным правилам. От того, переводы такие «корявые», и их бывает сложно понять, т.к. задача семантического анализа ложится на мозг человека.

[Mihaylo]

Где-то мы на форуме писали о причинах резкого роста популярности и достижений методов машинного обучения (в частности нейронных сетей) с 2012 года. Были выделены:
1. Рост быстродействия вычислительных ресурсов
2. Некоторые улучшения алгоритмов

Однако, прошло уже 6 лет, а сильный ИИ не получился. :)

Знаете, почему я дал смайлик?

Потому что упущен третий важный пункт:
3. Значительный рост репрезентативности обучающих выборок (ну в частности, увеличились размеры тех самых выборок).

Вопросы:
1. Вы видели выборки для обучения переводу?
2. Откуда эти выборки получает человек?
3. В чём разница между человеком и машиной в плане обучения переводу?
4. Насколько хорошо человек переводит?
5. Сколько он обучается переводу?

Пока не дадите ответы на эти вопросы, лучше не говорите про СИЛЬНЫЕ ИНТЕЛЛЕКТЫ. Пожалуйста!

[Yodine]

Mihaylo в сообщении #1342618 писал(а):

Пока не дадите ответы на эти вопросы, лучше не говорите про СИЛЬНЫЕ ИНТЕЛЛЕКТЫ. Пожалуйста!

Вы же понимаете, что ваш аргумент некорректен?

[Rasool]

Yodine в сообщении #1342500 писал(а):

Хороший перевод требует понимание, понимание требует извлечение смысла и знание контекста, кроме того понимание требует наличие сильного искусственного интеллекта, поскольку требуется умение рассуждать и делать выводы.

По задаче понимания текста на ЕЯ - я лично пересекался в LinkedIn с Джоном Совой, который сообщил, что задача Natural Language Understanding - ИИ-полная, для ее решения требуется сильный ИИ.
Я так понимаю, что для понимания текста на ЕЯ нужно решить задачу трансляции этого текста в базу знаний, например, онтологию. Чем-то подобным занимаются люди в ABBYY, они даже сделали продукт Compreno. Я сейчас на работе, если не забуду, дома выложу ссылку на статью про работу Compreno.

[Mihaylo]

Yodine в сообщении #1342934 писал(а):

Вы же понимаете, что ваш аргумент некорректен?

У меня нет аргумента. У меня просто есть предложение сначала обдумать, а не утверждать сразу, что компьютер недостаточно быстро вычисляет или что-то неправильно делает.
Может машину трудно обучить? Не надо ждать, что появится какой-то супер-пупер-алгоритм, который посмотрит вокруг и вдруг научится переводить.

Давайте сравним: человек учится переводить годами:
1. Сначала он получает важный сенсо-моторный опыт: держать голову, ходить ножками, бегать, прыгать. Вы думаете это неважно для понимания естественного языка?
2. Потом человек запоминает множество слов, словообразование и т.д.
3. Затем несколько лет - понимание иностранного языка, который имеет некоторые отличия.

А теперь возьмём машину... Вы знаете, как машина учится переводить? Алгоритмы и вычислительные ресурсы у машины намного совершеннее, чем у человека. Нет никаких оснований говорить, что у машины интеллект слабее.

Однако, очень важным является не сила интеллекта, а способность окружающей среды давать необходимые знания.

Не надо наивно думать, что если в машину загрузить весь интернет (all internet), то все проблемы решены.

[Rasool]

Rasool в сообщении #1343015 писал(а):

Я сейчас на работе, если не забуду, дома выложу ссылку на статью про работу Compreno.

Ну вот, например, на Хабре была опубликована следующая статья: Алгоритм извлечения информации в ABBYY Compreno. Часть 1 и Алгоритм извлечения информации в ABBYY Compreno. Часть 2.

[Pavia]

Mihaylo
Я тут прикинул. Человек в час может прочитать 1 книгу размером 1 МБ откуда, мы видим что человек существо ограниченное. За 30 лет читая по 12 часов, имеем 132 тысячи книг или 132 ГБ. Откуда 30 лет? 30 лет жизни это когда приходится пик развития, у переводчиков обычно чуть дольше. Нормальный человек всё время не читает. Реальное значение где-то 1-10 ГБ.

Можно предположить, что остаток перераспределяется между оставшимися чувствами.
В первом приближении, если учесть, что височные доли это 9 из 52 полей. То речь составляет 9 из 52 информации. Остальные 43/52 мы просто теряем.
Так что над увеличением релевантности надо работать.

Но с производительностью тоже проблема, 3-5 порядков не хватает.

Mihaylo в сообщении #1343023 писал(а):

Нет никаких оснований говорить, что у машины интеллект слабее.

Основания есть. Помните провал ИИ в задачи чтения?