2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1 ... 14, 15, 16, 17, 18, 19, 20, 21  След.
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение15.10.2018, 17:10 


12/07/15
2907
г. Чехов
Вам станет скучно, если я скажу, что всякие там бионические роевые интеллекты - по сути построение линейной модели. Муравьи, допустим, оставляют свои феромоны, другой муравей чувствует запах и тоже бежит по этому пути, усиливая запах. А усиление - это есть простейшая линейная функция...

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение15.10.2018, 17:23 
Аватара пользователя


28/08/13

156
Mihaylo, а пчелы тоже оставляют свои феромоны? :-)

-- 15.10.2018, 08:44 --

Роевой интеллект - это не "линейная модель", хотя и она присутствует как элемент.
Роевой интеллект - это ответ на вопрос, что такое модель.
Роевой интеллект - это ответ на вопрос, что такое смысл.
Роевой интеллект - это ответ на вопрос, что такое семантика.
Роевой интеллект - это ответ на вопрос, что такое семиотика.
На уровне аналоговых механизмов, без использования специфических смысловых значений, присущих человеческому понятийному пространству.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 04:39 


12/07/15
2907
г. Чехов
Все сигналы в многослойной нейросети от первого до последнего слоя называются признаками. Даже на последнем слое, откуда берётся готовый ответ, это тоже признак. Если в самом первом слое признаки более приземлённые, конкретные, реальные измеренные, то в последующих слоях признаки более абстрактные, обобщённые, более образные.
Признак в нейросетях является квинтэссенцией смысла. Разработчик нейронной сети вовсе не берётся рассуждать вместо машины, он поручает смысл копать ей самостоятельно. Поэтому часто говорят: "мы не знаем, о чём там думают нейросети, мы можем только визуализировать". Некоторые обыватели, далёкие от науки, понимают это так: "учёные ничего не знают!". Это конечно, неправда. Просто копаться в мегабайтах данных человеку реально невозможно. Студенты за 15 минут (ну не быстро!) осваивают работу нейросети по задаче XOR и там нет никаких секретов.

Признак - это число. Если взять все признаки в слое, то получится целый вектор признаков. Целый вектор смысла.
В векторе можно хранить достаточно богатую информацию, и это будет информация, основанная на конкретном входном векторе реальных признаков (обычно обозначают как $x$). Веса нейросети - это умение вырабатывать абстрактную информацию об объекте (знания).

Комплекс всех слоёв нейросети может образовывать информацию о довольно сложном процессе, например, о процессе разработки модели (моделирования). Веса хранят абстрактную информацию о предыдущих актах процесса, а значит инкапсулируют сложный навык моделирования. Нет никаких ограничений по задачам для нейросети. Но есть проблема - как преподнести информацию, чтобы необходимый набор весов сформировался.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 05:45 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1346600 писал(а):
Целый вектор смысла.

Это всё очень забавно, но правда заключается в том, что перед тем, как чему-то обучить одну машобучевскую медель, несколько людей занимаются тем, что собирают, отбирают, предобрабатывают и размечают данные. И еще несколько людей проектируют и разрабатывают архитектуру сети и пишут интерфейсы к пакетам, которые тоже были написаны людьми. Делают кросс-валидацию, занимаются доводкой и отладкой. А потом еще несколько людей (это уже третий слой) интерпретируют результаты так, чтобы журналистам, студентам и прочим дилетантам всё это казалось исполнено некоторого смысла. Целым вектором смысла. :-) :-) :-)

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 16:47 


12/07/15
2907
г. Чехов
Да нормально. Это как ребёнка приходится обучать: долго и кропотливо. Приходится подбирать примеры попроще. Всё абсолютно также: в начале трудно и долго.

Дальнейшим шагом (я уже говорил) должна быть генерализация. Никакой интенсификации не требуется: всё те же нейросети, развитие чисто экстенсивное - вширь.

Как только обучающие данные превышают критическую массу, генерализация даёт эффект - интеллект переносит знания из одной области в другую. Это рискованный процесс ассоциативного мышления (мышления по аналогии), но значительно восполняет пробелы в знаниях и навыках, и на практике очень полезный. Рискованный, потому что далеко не всегда обоснованный.

Далее можно ожидать закрепления навыков самостоятельного поиска знаний, их подготовки, но здесь большое значение имеют эффекторы (об этом я говорил).

Так что дело не в мозгах, а в мышцах. :D

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 18:50 
Аватара пользователя


28/08/13

156
MihayloВсе таки не очень понятно, куда Вы дели разметку, предобработку, выбор модели и отладку, а так же интерпретацию. Человек использует неразмеченный данные.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 18:58 


12/07/15
2907
г. Чехов
Ну как неразмеченные данные? Вы в школе прописью не писали, флажочки не рисовали? Циферьки-буковки на карточках не показывали вам? Странно-странно...

Что замечательно, до взрослых своих лет вы нуждаетесь в размеченных данных, когда вам пожевали и в рот положили. Как я вот, например, сейчас. Иначе, НЕВОСПРИЯТИЕ ДАННЫХ.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 19:39 
Аватара пользователя


28/08/13

156
Mihaylo в сообщении #1346813 писал(а):
Вы в школе прописью не писали, флажочки не рисовали?

Флажочки не рисовал, я заканчивал математическую еврейскую школу, у нас там другие требования были. Если хотите получить представления о размеченных данных, попробуйте что-нить из kaggle решить или numerai. В уме. Можете перед этим еще пару тетрадей флажочками заполнить...

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 19:54 
Заслуженный участник
Аватара пользователя


01/08/06
3049
Уфа
Человек, разумеется, пользуется предварительно размеченными данными. Как и любое живое существо, пусть даже у него отсутствует нервная система. В любом случае есть агент под названием естественный отбор, он и размечает данные. Эта разметка сидит в безусловных рефлексах, генетическом коде, в совокупности биохимических реакций в организме. Эта разметка имеет свойства, обеспечивающие приспособляемость к условиям окружающей среды в самом общем смысле. В т. ч. и такое свойство, как интеллект.

Собственно интеллект — лишь малая часть этой разметки. Он не работает без остальной части. Нейроны неокортекса взаимодействуют с нейронами палеокортекса, те — с сенсорными и моторными нейронами, те, в свою очередь — с органами, а они уже — с окружающим миром. Не бывает интеллекта без полового влечения, осязания, кишечника, антител к стрептококку и кислородной атмосферы. Хотите сильного интеллекта — моделируйте вот это вот всё в комплексе, и позвольте естественному отбору определять оптимальные коэффициенты. Вот это будет воистину глубокое обучение. А хотите моделировать только интеллектуальные нейроны — получите чучело утки, снабжённое пропеллером, динамиком и моторчиком. Да, оно выглядит, как утка, летает как утка, крякает как утка и плавает, как утка. Но это не утка :mrgreen:

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 19:55 
Аватара пользователя


28/08/13

156
worm2 в сообщении #1346827 писал(а):
Хотите сильного интеллекта — моделируйте вот это вот всё в комплексе, и позвольте естественному отбору определять оптимальные коэффициенты.

А всю вселенную с ее шестью миллиардами годами эволюции тоже нужно будет моделировать?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 20:05 
Заслуженный участник
Аватара пользователя


01/08/06
3049
Уфа
В идеале — да :lol:

-- Вт окт 16, 2018 22:07:27 --

Но для начала можно попробовать снабдить нейронную сеть конечностями, достаточно гибко устроенными, чтобы было возможно передвигаться, управляя ими, плюс побольше разнообразных датчиков. И пусть себе падает, пока не научится ходить (я слышал, что ходячих роботов примерно так и обучали).

-- Вт окт 16, 2018 22:11:25 --

Я, конечно, не знаю, как на практике решать эту задачу. Просто высказал своё мнение, почему у человека получается, а у компьютера — пока нет.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение16.10.2018, 20:16 
Аватара пользователя


28/08/13

156
worm2 в сообщении #1346830 писал(а):
Я, конечно, не знаю, как на практике решать эту задачу. Просто высказал своё мнение, почему у человека получается, а у компьютера — пока нет.

В целом, я согласен с Вами. Про то, что интеллект - это всего лишь интерфейс между рецепторным слоем и эффекторным. На все 100. Но в части выбора и уникальности элементной базы - нет, нейроны - это один из вариантов, не самый эффективный. И, конечно, все эти вещи можно моделировать в цифре, не обязательно делать роботов, можно остановиться на программах. Во всяком случае, до тех пор, пока теорема Котельникова работает.

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение17.10.2018, 11:22 


27/08/16
9426
Mihaylo в сообщении #1346600 писал(а):
Признак в нейросетях является квинтэссенцией смысла. Разработчик нейронной сети вовсе не берётся рассуждать вместо машины, он поручает смысл копать ей самостоятельно. Поэтому часто говорят: "мы не знаем, о чём там думают нейросети, мы можем только визуализировать".
Вот как сделать так, чтобы можно было сказать слово "анализ", и нейросетка сама бы на человеческом языке рассказала человеку, какие именно она основные признаки накопала и как они связаны друг с другом?

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение17.10.2018, 15:57 
Аватара пользователя


28/08/13

156
realeugene в сообщении #1346960 писал(а):
нейросетка сама бы на человеческом языке рассказала человеку, какие именно она основные признаки накопала и как они связаны друг с другом?

Это как раз не проблема... Например, scikit-learn в части решающих деревьев имеет функцию определения важности признаков, да и вообще DT дают вполне интерпретируемую картину ML. Проблема именно в том, что вектора и эти признаки нужно предварительно выделить, отфильтровать, разметить и уже только потом начинать скармливать машинному обучению...

 Профиль  
                  
 
 Re: Deep Learning и задача понимания естественного языка
Сообщение17.10.2018, 19:34 


27/08/16
9426
Alephegg в сообщении #1347046 писал(а):
Например, scikit-learn в части решающих деревьев имеет функцию определения важности признаков, да и вообще DT дают вполне интерпретируемую картину ML.
не путайте мягкое с тёплым. Я совершенно однозначно написал про сетки, а не про деревья.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 314 ]  На страницу Пред.  1 ... 14, 15, 16, 17, 18, 19, 20, 21  След.

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group