Deep Learning и задача понимания естественного языка

[Alephegg]

Mihaylo в сообщении #1344089 писал(а):

При прочих равных условиях нейросети бьют человека. Вы разве не слышали?

А калькулятор лучше человека умножает, вычитает, складывает и делит. Особенно большие числа. Природа умножения калькулятором ровно такая же как природа нейронных сетей. Нужно ли считать это интеллектом? Я не стану.

upd. Я предлагаю не тратить время и силы на "перевоспитания" ув. Михайло, пусть он сам разбирается, а вернутся к обсуждению сабж, к обсуждению того, что же все-таки есть ПОНИМАНИЕ текста. Классику nlp по типу word2vec можно оставить вместе с "нейросетями" Михайло, к пониманию это имеет примерно такое же отношение.

[Mihaylo]

Будьте осторожны, понятие сильного интеллекта относится больше к футурологии. В прикладных науках попытки вести какие-то рассуждения приводят к лженауке и фантазированию.

Многие ваши представления о сильном интеллекте неправильны и высосаны из пальца. Взять те же фантазии про экстраполяцию. Почему я называю это фантазиями? Да потому что вы просто захотели что-то, но не доказали необходимость. Вы когда-нибудь на практике экстраполировали? Приведите пример. Обсудим. Сделаем выводы, что это за операция.

[Alephegg]

Mihaylo, боюсь, что в этой теме (напоминаю, что речь идет о понимании текстов) Вы не можете ничего предложить конструктивного, кроме повторения мантры, что человеческий интеллект - это аппроксиматор. Это не так, мы это уже выяснили, Вам нужно заняться более интересными вещами, например, довести свой mnist хотя бы до 0.97.

[Yodine]

Тут господа занимаются пониманием текстов https://citis.ru/citis_science.html , насколько хорошо у них получается, не знаю. Смотрел некоторые статьи, вроде интересные, какие-то статьи даже мне высылали по моей просьбе. Но это мимо моих интересов, мои интересы ближе к сильному ИИ, ASI - artificial superintelligence, AGI - Artificial General Intelligence.

[Alephegg]

Yodine в сообщении #1344161 писал(а):

мои интересы ближе к сильному ИИ

И мои. Давайте откроем новую ветку.

[realeugene]

(Оффтоп)

Alephegg в сообщении #1344155 писал(а):

например, довести свой mnist хотя бы до 0.97.

Кстати, а вы не встречали исследование процента ошибок современных промышленных распознавалок рукописных цифр на этой тестовой базе? Конечно, открытость базы могла привести к тому, что на ней промышленные решения сейчас умышленно обучают. Но тем не менее. В Википедии есть только таблица по некоторым методам распознавания: https://en.wikipedia.org/wiki/MNIST_database

[Alephegg]

(Оффтоп)

realeugene в сообщении #1344169 писал(а):

Кстати, а вы не встречали исследование процента ошибок современных промышленных распознавалок рукописных цифр на этой тестовой базе?

Нет. Мне хватило того, что CNN довели процент почти до ста.
И, честно говоря, не очень понятен термин "промышленный", по моему скромному опыту есть два крыла: академическое и коммерческое. Одни живут на гранты, другие на пользовании. Но они оба слабо относятся к промышленному.

[Mihaylo]

Alephegg в сообщении #1344155 писал(а):

Вы не можете ничего предложить конструктивного, кроме повторения мантры, что человеческий интеллект - это аппроксиматор.

А это разве не конструктивно - давать правильное направление мысли? Вот вы там рассуждаете про недостаточную силу интеллекта, экстраполяцию. Вы обратили внимание, откуда вы это взяли? Вы сами это придумали. Это нафантазировано.

Стоит лишь начать задавать вопросы, а чем экстраполяция отличается от интерполяции, то оказывается человек-то и не понимает разницы: потому что у них одинаковые методы, а отличаются они лишь характером данных. А в чём разница между интерполяцией и аппроксимацией? Тут ещё смешнее получится. Оказывается интерполяция включает в себя аппроксимацию. И самое интересное методы машинного обучения аппроксимируют и затем, в конечном итоге, интерполируют. И экстраполируют! Могу доказать.

Вы просто, не обладая должными знаниями, развесили ярлыки на научные методы (плохие, хорошие) и сводите разговор на личности ("мантра", "они там гоняют нейросетки, пребывая в эйфории").

Yodine в сообщении #1344137 писал(а):

Не хватает понимания того, что такое человек, что такое сознание, что такое сильный ИИ, что такое мышление и т.д., и т.п.

Вот так приехали! Наука давным-давно послала философию в дальнее историческое путешествие, но оказывается нет, философские риторические вопросы ещё лелеют сердца исследователей.

Науку волнуют более прозаические вопросы, например, обобщающая способность, переобучение, устойчивость к шумам и пропускам, методы валидации.

[Andrey_Kireew]

Mihaylo в сообщении #1344333 писал(а):

А в чём разница между интерполяцией и аппроксимацией? Тут ещё смешнее получится. Оказывается интерполяция включает в себя аппроксимацию. И самое интересное методы машинного обучения аппроксимируют и затем, в конечном итоге, интерполируют. И экстраполируют! Могу доказать.

Так уж и докажите, раз похваляетесь (помнится, как то давно, один диссертант прямо на предзащите так же заявил "между интерполяцией и аппроксимацией нет никакой разницы ...")

[Mihaylo]

Так в википедии в статье "Интерполяция" все разжёвано.

Цитата:

Интерполяцией называют такую разновидность аппроксимации, при которой кривая построенной функции проходит точно через имеющиеся точки данных.

Существует также близкая к интерполяции задача, которая заключается в аппроксимации какой-либо сложной функции другой, более простой функцией.

Тут правда не уточнено, что результат аппроксимации - функция, а под результатом интерполяции обычно понимают значения функции в нескольких промежуточных точках, так как зачастую интерполированная функция не представляется в аналитическом виде.

[Alephegg]

Mihaylo в сообщении #1344333 писал(а):

А это разве не конструктивно - давать правильное направление мысли?

Ну покажите, что аппроксимации исчерпывающе описывает мышление. Аппроксимация вещь предельно строгая, полагаю, Вам не составит труда дать формальное определение интеллекта через нее. Буду ждать. А до той поры буду считать Вашу "концепцию" интеллекта несостоятельной.

[Andrey_Kireew]

Mihaylo в сообщении #1344335 писал(а):

Так в википедии в статье "Интерполяция" все разжёвано

не надо цитировать википедию, с этим вопросом я знаком достаточно глубоко,
Вы заявляете

Mihaylo в сообщении #1344333 писал(а):

Стоит лишь начать задавать вопросы, а чем экстраполяция отличается от интерполяции, то оказывается человек-то и не понимает разницы: потому что у них одинаковые методы, а отличаются они лишь характером данных.

1. какие это такие одинаковые методы применяются в интерполяции и аппроксимации? (приведите примеры конкретных методов)
2. данные какого характера используются в интерполяции, а какого - в аппроксимации? (какие такие специфические требования эти методы предъявляют к данным)

[Yodine]

Mihaylo в сообщении #1344333 писал(а):

Стоит лишь начать задавать вопросы, а чем экстраполяция отличается от интерполяции, то оказывается человек-то и не понимает разницы: потому что у них одинаковые методы, а отличаются они лишь характером данных.

Mihaylo в сообщении #1344333 писал(а):

И самое интересное методы машинного обучения аппроксимируют и затем, в конечном итоге, интерполируют. И экстраполируют! Могу доказать.

Любопытно, а смогут ли предсказать ваши методы экстраполяции, какое слово я напишу в следующем сообщении мужду двумя *...*? Это принципиальная разница. Экстраполяция пытается предсказать будущее и в этом вся фишка. Когда будущее будет удачно предсказано?
Скажем последовательность $2,4,6,8...$ можно продолжить бесконечным числом способов. Вопрос как выбрать правильное правило (функцию) экстраполяции?
Вот на этой разнице нейросетки и срезаются. Эта разница и есть большая разница между специализированным ИИ (тренированной на чем-то нейросетке, по сути тупой калькулятор) и сильным ИИ.
Альфаго, такая же тупая нейросетка и содержание сильного ИИ в ней нуль. Хотя нейросетка эта и весьма изощренная, но это непринципиально.

[Andrey_Kireew]

Что касается мышления, то действительно, ассоциативное мышление можно свести к аппроксимации. Но это лишь одна из форм мышления, причём не самая сложная. Откуда берутся качественно новые знания? Ведь аппроксиматор в принципе не может их дать, чему научили - то он и знает. Раньше, ответ на этот вопрос был прост - не то что новые, а все знания даны нам свыше.
Потом выяснилось, что не свыше, а их создают такие же люди. Но как это происходит, до сих пор не понятно.

[Yodine]

Мои размышления и убеждения мне говорят, что во основе ЕИ (естественного интеллекта) разного уровня, начиная с простейших лежит именно ассоциативное "мышление" или просто ассоциации. Сами же ассоциации в самой примитивной форме это всего лишь причинно-следственная связь.