Глубинное обучение: критическая оценка

[Rasool]

Под пониманием смысла прочитанного текста на ЕЯ я подразумеваю умение сопоставлять читаемый текст и имеющиеся у системы/человека знания (в случае компьютерной системы - например, заключенные в онтологиях) и умение делать выводы. Или умение транслировать текст на ЕЯ во внутренние знания/онтологии и умение отвечать на задаваемые вопросы, пользуясь этой структурой знаний.

[Mihaylo]

Pavia в сообщении #1285985 писал(а):

Это значит что помимо "обучения" ещё должна быть система "переобучения".

Не надо. Переобучение в машинном обучении имеет другой смысл, это термин отрицательного смысла, антоним слова "недообучение".

[Rasool]

Rasool в сообщении #1286047 писал(а):

Под пониманием смысла прочитанного текста на ЕЯ я подразумеваю умение сопоставлять читаемый текст и имеющиеся у системы/человека знания (в случае компьютерной системы - например, заключенные в онтологиях) и умение делать выводы. Или умение транслировать текст на ЕЯ во внутренние знания/онтологии и умение отвечать на задаваемые вопросы, пользуясь этой структурой знаний.

Тут еще возникает интересный вопрос, как еще можно представлять знания в компьютерных системах, кроме как в виде онтологий? В самой нейронной сети это невозможно?

[arseniiv]

Как будто онтология — это что-то строго определённого вида.

Rasool в сообщении #1286137 писал(а):

В самой нейронной сети это невозможно?

Ну вот обученные сети, безусловно, содержат какие-то знания. Просто их неудобно туда всовывать каким-то иным способом. И нужно ли?

[Mihaylo]

Rasool
Ну если Вы откроете учебник по машинному обучению, то в первых параграфах прочитаете про решающую функцию. В процессе эта функция обучается, это значит она аккумулирует в себя знания по преобразованию входа в выход. Эти знания нельзя добавлять, удалять, считывать в том виде, как Вы себе это представляете, а-ля база данных SQL. Удивительно?

[Sonic86]

Rasool в сообщении #1285960 писал(а):

Теорема о самоприменимости Геделя (ну, или какая-то подобная этой теорема) говорит об ограниченности чисто цифровых ЭВМ.

На вид это в высшей степени бессмысленная фраза. Сможете уточнить?

[Rasool]

Sonic86 в сообщении #1286193 писал(а):

Rasool в сообщении #1285960 писал(а):

Теорема о самоприменимости Геделя (ну, или какая-то подобная этой теорема) говорит об ограниченности чисто цифровых ЭВМ.

На вид это в высшей степени бессмысленная фраза. Сможете уточнить?

Я просто привел это на память. Другими словами, искусственный интеллект невозможно построить только на основе машины Тьюринга.

[arseniiv]

Ну, эта беседа стара как мир, и контраргумент тоже: моделируем мозг (а хочется — и всего человека, или даже много людей) на той же машине Тьюринга: прекрасно получается. Медленно, но к машине Тьюринга не относится, она не привязана к нашему времени.

[Mihaylo]

Rasool
Ну зачем Вы по памяти к нам тащите эти бездоказательные псевдозаключения? Ведь про компьютеры, наоборот, известно, что их система команд полна и не имеет изъянов. Иначе мы бы обсуждали эти самые изъяны и устраняли бы их.

[worm2]

Rasool в сообщении #1286047 писал(а):

Под пониманием смысла прочитанного текста на ЕЯ я подразумеваю умение сопоставлять читаемый текст и имеющиеся у системы/человека знания (в случае компьютерной системы - например, заключенные в онтологиях) и умение делать выводы.

А Ваши онтологии умеют, например, такое:

Цитата:

Встаньте прямо, ноги вместе, руки в стороны, голову опустите вниз. На какую букву похожа получившаяся фигура?

[Sonic86]

Rasool в сообщении #1286224 писал(а):

Другими словами, искусственный интеллект невозможно построить только на основе машины Тьюринга.

Что?! Т.е. Вы попросту считаете, что тезис Черча ложен, да?

[Portnov]

Про Understanding вспомнился Лем :) Извините за длинные цитаты, там на самом деле всё читать надо, если кто-то ещё вдруг не :)

Цитата:

3. Настало время, когда мы, следуя названию этого раздела,
собираемся погрузиться в проблему, по сравнению с которой сущей
безделицей, попросту детской игрушкой выглядят все описанные в этой
книге устройства, включая и те, которые могут создавать миры. Мы
обходили эту проблему, придерживаясь разумной осторожности. Эту
осторожность не надо путать со страхом, однако честность требует от
нас признать, что и сие ощущение не было чуждо мотивам нашего
умолчания. Впрочем, к проблеме, в которую теперь, к сожалению, нужно
войти, мы подходили уже много раз, но всякий раз в последний момент
увертывались.
Мы прикидывались, будто вообще не замечаем той бездны, куда теперь
решились заглянуть. Мы говорим все это, чтобы подготовить читателя к
противоборству с загадкой, более таинственной, чем Сфинкс, а именно –
произнесем уж наконец это слово – к борьбе с проблемой значения, с
самой бездонной среди всех бездн.
...
Значение – это сущее бедствие структурной лингвистики и кибернетики,
не говоря уж о философах, которые хотя и претерпели от него множество
страданий, но уже ухитрились кое-как к нему привыкнуть. Над каждым,
кто в той или иной мере занимается языком в качестве специалиста,
висит, как дамоклов меч, проблематика, относящаяся к значению[135].
Где бы ни появилось значение, точная и строгая работа становится
невозможной – за ним выползают кошмары бесконечности, зыбкости,
неопределенности, а все квантованные, поэтапные, точные действия тонут
в наплыве проклятого смыслового мрака. Поэтому было придумано
неисчислимое количество способов помешать этому духу проникнуть туда,
где прежде всего нужна строгость. Действовали по-разному. Пожалуй,
лучше всего это удалось математикам, которые изгнали беса из своих
владений и закрыли за ним врата на все засовы, декретировав, что все,
чем они занимаются, вообще ничего не «значит» и является попросту
некой забавой, игрой в расстановку значков на бумаге, значки же эти ни
к чему, кроме друг друга, отношения не имеют.
...
Таким образом,
«безлюдность» языка сохранить невозможно, а тот, кто ее что есть силы
отстаивает, кончит вместе с бихевиористами, которые наложили
суровейший запрет на всякие рассуждения о психике в неэмпирико
физических терминах, кончит как человек, который пожелал детально и до
конца разобраться в ходьбе, но при этом, упаси боже, ни единым словом
не хотел обмолвиться о ногах и даже о возможности их существования.

("Сумма технологии", "Сомнения и антиномии")

[Rasool]

arseniiv в сообщении #1286265 писал(а):

Ну, эта беседа стара как мир, и контраргумент тоже: моделируем мозг (а хочется — и всего человека, или даже много людей) на той же машине Тьюринга: прекрасно получается. Медленно, но к машине Тьюринга не относится, она не привязана к нашему времени.

Упс, извините, кажется глупость сморозил.

[Eugeen1948]

Те, кто с ученым видом рассуждает о глубинном обучении, взялись бы сделать программку для распознавания текста. Современные "распознавалки" работают на уровне букв (даже не символов, таких как Сумма или Интеграл). Распознавание текста на уровне предложения с набором слов и символов, с выдачей осмысленного результата, вот оселок, на котором можно и проверить качество обучающей системы. Ведь человек, после работы какого-нибудь FineReader, уверенно понимает всё предложение, хотя и с неправильно опознанными буквами, исходя из смысла фразы. Формализация этого процесса понимания и будет тем самым глубинным обучением.

[Mihaylo]

Такие системы делают. Проблема ведь, как обычно, не в том, "как сделать", а "где взять данные для обучения". Человек нашёл эти данные за 20-30 лет жизни активным поиском, а компьютер?

Так что альтернативные версии того, что такое глубинное обучение, нам не нужно. Собирайте лучше датасеты и размечайте их.