Deep Learning и задача понимания естественного языка

[Mihaylo]

Вам станет скучно, если я скажу, что всякие там бионические роевые интеллекты - по сути построение линейной модели. Муравьи, допустим, оставляют свои феромоны, другой муравей чувствует запах и тоже бежит по этому пути, усиливая запах. А усиление - это есть простейшая линейная функция...

[Alephegg]

Mihaylo, а пчелы тоже оставляют свои феромоны?

-- 15.10.2018, 08:44 --

Роевой интеллект - это не "линейная модель", хотя и она присутствует как элемент.
Роевой интеллект - это ответ на вопрос, что такое модель.
Роевой интеллект - это ответ на вопрос, что такое смысл.
Роевой интеллект - это ответ на вопрос, что такое семантика.
Роевой интеллект - это ответ на вопрос, что такое семиотика.
На уровне аналоговых механизмов, без использования специфических смысловых значений, присущих человеческому понятийному пространству.

[Mihaylo]

Все сигналы в многослойной нейросети от первого до последнего слоя называются признаками. Даже на последнем слое, откуда берётся готовый ответ, это тоже признак. Если в самом первом слое признаки более приземлённые, конкретные, реальные измеренные, то в последующих слоях признаки более абстрактные, обобщённые, более образные.
Признак в нейросетях является квинтэссенцией смысла. Разработчик нейронной сети вовсе не берётся рассуждать вместо машины, он поручает смысл копать ей самостоятельно. Поэтому часто говорят: "мы не знаем, о чём там думают нейросети, мы можем только визуализировать". Некоторые обыватели, далёкие от науки, понимают это так: "учёные ничего не знают!". Это конечно, неправда. Просто копаться в мегабайтах данных человеку реально невозможно. Студенты за 15 минут (ну не быстро!) осваивают работу нейросети по задаче XOR и там нет никаких секретов.

Признак - это число. Если взять все признаки в слое, то получится целый вектор признаков. Целый вектор смысла.
В векторе можно хранить достаточно богатую информацию, и это будет информация, основанная на конкретном входном векторе реальных признаков (обычно обозначают как $x$). Веса нейросети - это умение вырабатывать абстрактную информацию об объекте (знания).

Комплекс всех слоёв нейросети может образовывать информацию о довольно сложном процессе, например, о процессе разработки модели (моделирования). Веса хранят абстрактную информацию о предыдущих актах процесса, а значит инкапсулируют сложный навык моделирования. Нет никаких ограничений по задачам для нейросети. Но есть проблема - как преподнести информацию, чтобы необходимый набор весов сформировался.

[Alephegg]

Mihaylo в сообщении #1346600 писал(а):

Целый вектор смысла.

Это всё очень забавно, но правда заключается в том, что перед тем, как чему-то обучить одну машобучевскую медель, несколько людей занимаются тем, что собирают, отбирают, предобрабатывают и размечают данные. И еще несколько людей проектируют и разрабатывают архитектуру сети и пишут интерфейсы к пакетам, которые тоже были написаны людьми. Делают кросс-валидацию, занимаются доводкой и отладкой. А потом еще несколько людей (это уже третий слой) интерпретируют результаты так, чтобы журналистам, студентам и прочим дилетантам всё это казалось исполнено некоторого смысла. Целым вектором смысла.

[Mihaylo]

Да нормально. Это как ребёнка приходится обучать: долго и кропотливо. Приходится подбирать примеры попроще. Всё абсолютно также: в начале трудно и долго.

Дальнейшим шагом (я уже говорил) должна быть генерализация. Никакой интенсификации не требуется: всё те же нейросети, развитие чисто экстенсивное - вширь.

Как только обучающие данные превышают критическую массу, генерализация даёт эффект - интеллект переносит знания из одной области в другую. Это рискованный процесс ассоциативного мышления (мышления по аналогии), но значительно восполняет пробелы в знаниях и навыках, и на практике очень полезный. Рискованный, потому что далеко не всегда обоснованный.

Далее можно ожидать закрепления навыков самостоятельного поиска знаний, их подготовки, но здесь большое значение имеют эффекторы (об этом я говорил).

Так что дело не в мозгах, а в мышцах.

[Alephegg]

MihayloВсе таки не очень понятно, куда Вы дели разметку, предобработку, выбор модели и отладку, а так же интерпретацию. Человек использует неразмеченный данные.

[Mihaylo]

Ну как неразмеченные данные? Вы в школе прописью не писали, флажочки не рисовали? Циферьки-буковки на карточках не показывали вам? Странно-странно...

Что замечательно, до взрослых своих лет вы нуждаетесь в размеченных данных, когда вам пожевали и в рот положили. Как я вот, например, сейчас. Иначе, НЕВОСПРИЯТИЕ ДАННЫХ.

[Alephegg]

Mihaylo в сообщении #1346813 писал(а):

Вы в школе прописью не писали, флажочки не рисовали?

Флажочки не рисовал, я заканчивал математическую еврейскую школу, у нас там другие требования были. Если хотите получить представления о размеченных данных, попробуйте что-нить из kaggle решить или numerai. В уме. Можете перед этим еще пару тетрадей флажочками заполнить...

[worm2]

Человек, разумеется, пользуется предварительно размеченными данными. Как и любое живое существо, пусть даже у него отсутствует нервная система. В любом случае есть агент под названием естественный отбор, он и размечает данные. Эта разметка сидит в безусловных рефлексах, генетическом коде, в совокупности биохимических реакций в организме. Эта разметка имеет свойства, обеспечивающие приспособляемость к условиям окружающей среды в самом общем смысле. В т. ч. и такое свойство, как интеллект.

Собственно интеллект — лишь малая часть этой разметки. Он не работает без остальной части. Нейроны неокортекса взаимодействуют с нейронами палеокортекса, те — с сенсорными и моторными нейронами, те, в свою очередь — с органами, а они уже — с окружающим миром. Не бывает интеллекта без полового влечения, осязания, кишечника, антител к стрептококку и кислородной атмосферы. Хотите сильного интеллекта — моделируйте вот это вот всё в комплексе, и позвольте естественному отбору определять оптимальные коэффициенты. Вот это будет воистину глубокое обучение. А хотите моделировать только интеллектуальные нейроны — получите чучело утки, снабжённое пропеллером, динамиком и моторчиком. Да, оно выглядит, как утка, летает как утка, крякает как утка и плавает, как утка. Но это не утка

[Alephegg]

worm2 в сообщении #1346827 писал(а):

Хотите сильного интеллекта — моделируйте вот это вот всё в комплексе, и позвольте естественному отбору определять оптимальные коэффициенты.

А всю вселенную с ее шестью миллиардами годами эволюции тоже нужно будет моделировать?

[worm2]

В идеале — да

-- Вт окт 16, 2018 22:07:27 --

Но для начала можно попробовать снабдить нейронную сеть конечностями, достаточно гибко устроенными, чтобы было возможно передвигаться, управляя ими, плюс побольше разнообразных датчиков. И пусть себе падает, пока не научится ходить (я слышал, что ходячих роботов примерно так и обучали).

-- Вт окт 16, 2018 22:11:25 --

Я, конечно, не знаю, как на практике решать эту задачу. Просто высказал своё мнение, почему у человека получается, а у компьютера — пока нет.

[Alephegg]

worm2 в сообщении #1346830 писал(а):

Я, конечно, не знаю, как на практике решать эту задачу. Просто высказал своё мнение, почему у человека получается, а у компьютера — пока нет.

В целом, я согласен с Вами. Про то, что интеллект - это всего лишь интерфейс между рецепторным слоем и эффекторным. На все 100. Но в части выбора и уникальности элементной базы - нет, нейроны - это один из вариантов, не самый эффективный. И, конечно, все эти вещи можно моделировать в цифре, не обязательно делать роботов, можно остановиться на программах. Во всяком случае, до тех пор, пока теорема Котельникова работает.

[realeugene]

Mihaylo в сообщении #1346600 писал(а):

Признак в нейросетях является квинтэссенцией смысла. Разработчик нейронной сети вовсе не берётся рассуждать вместо машины, он поручает смысл копать ей самостоятельно. Поэтому часто говорят: "мы не знаем, о чём там думают нейросети, мы можем только визуализировать".

Вот как сделать так, чтобы можно было сказать слово "анализ", и нейросетка сама бы на человеческом языке рассказала человеку, какие именно она основные признаки накопала и как они связаны друг с другом?

[Alephegg]

realeugene в сообщении #1346960 писал(а):

нейросетка сама бы на человеческом языке рассказала человеку, какие именно она основные признаки накопала и как они связаны друг с другом?

Это как раз не проблема... Например, scikit-learn в части решающих деревьев имеет функцию определения важности признаков, да и вообще DT дают вполне интерпретируемую картину ML. Проблема именно в том, что вектора и эти признаки нужно предварительно выделить, отфильтровать, разметить и уже только потом начинать скармливать машинному обучению...

[realeugene]

Alephegg в сообщении #1347046 писал(а):

Например, scikit-learn в части решающих деревьев имеет функцию определения важности признаков, да и вообще DT дают вполне интерпретируемую картину ML.

не путайте мягкое с тёплым. Я совершенно однозначно написал про сетки, а не про деревья.