2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу Пред.  1, 2, 3  След.
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 10:28 


12/07/15
2907
г. Чехов
Расстроится. У него будет большая ошибка $\varepsilon$, она начнет распространяться. Обратно.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 14:49 


26/10/17
31
Mihaylo в сообщении #1263743 писал(а):
Расстроится. У него будет большая ошибка $\varepsilon$, она начнет распространяться. Обратно.
Интересно что в живых сетях нет механизма аналогичного распространению ошибки.
Нейрон анализирует только входы, выдаёт результат и ему безразлично что там дальше. Аксон не передаёт сигнал в обратную сторону.
Вроде как единственный механизм который может скорректировать структуру сети - это добавление новых входов при низкой активности, и отключение при слишком высокой. Видимо, тут может происходить deadlock и целые участки мозга будут работать вхолостую, что скорее всего и происходит.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 15:22 
Заслуженный участник


20/08/14
11062
Россия, Москва
Если брать отдельно только саму сеть - да, механизма нет (у нас мозг как известно даже боли от механического воздействия сам не чувствует).
Если же брать нервную систему вместе с окружающей средой (организмом в целом и/или внешней средой) - обратные связи ещё как есть, именно через внешнюю по отношению к сети среду.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 15:59 


26/10/17
31
Не только через внешнюю среду, обратные связи и внутри мозга есть.

Насколько я могу представить, если группа нейронов не делает ничего полезного - их выход где-то дальше по цепочке будет игнорироваться (иметь низкий вес на синапсах), и вот здесь видимо если всё сложится удачно - обратная связь будет "глушить" чувствительность где-то до входа в эту группу, соответственно нейроны группы снизят активность и начнут растить новые связи перестраиваясь на решение других задач.

Вот только если всё сложится не так хорошо и такой обратной связи не окажется - тогда всё так и останется навсегда, будет работать впустую выполняя ненужную работу.

Как регулируется наличие такой обратной связи - мне пока не понятно. Возможно, это вообще не нейронная логика а какие-нибудь глиальные клетки. Надо порыть литературу :)

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 17:19 


12/07/15
2907
г. Чехов
Ну можно вопрос так развернуть: каким процессом регулируются проницаемость мембраны клеток для ионов - типа веса $\omega$.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 18:10 


26/10/17
31
Mihaylo в сообщении #1263826 писал(а):
Ну можно вопрос так развернуть: каким процессом регулируются проницаемость мембраны клеток для ионов - типа веса $\omega$.
Это всё известно, нейротрансмиттеры разные влияют на проводимость и чувствительность синапсов. Но это прямой поток данных и самообучение на них. Обратную связь по типу распространения ошибки такой механизм не обеспечивает.

Организовались нейроны зрительного слоя например в тупиковую ветку - какие-то ненужные закономерности находят которые дальше нигде не нужны, а дальше используются сигналы других веток. Как эту ветку отключить и заставить перестроиться?

Решений в духе эволюционной биологии может быть два - никак, так и останутся, а дальше в обработку пойдут другие ветки. Считается ведь, что с возрастом нейронные связи образуются медленнее и обучение происходит тяжелее, может это просто потому что нейроны не могут "понять" что им нужно перестроиться, не поступает им такого сигнала, а "свежих" остаётся всё меньше?

Или другое решение - если область не нужна, подавить её лишая питания, активность снизится и нейроны начнут выделять белок способствующий разрастанию дендритов, такой механизм известен. Но тут всё равно не понятно - как такую ненужную область выделить? Каждый нейрон ведь сам по себе, у них нет мониторинга "нужности" сверху. Иными, словами, тут как раз и нужно обратное распространение ошибки.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 18:37 


12/07/15
2907
г. Чехов
Ну я в нейрофизиологии ни бум-бум. В рамках машинного обучения рассказывается о модели основного канала нейрона, а вот о модели подстройки весов, то есть проницаемости мембраны, ничего не говорят. Ученые придумали обратное распространение ошибки - это явно более эффективный метод подстройки, так как математически он локально оптимален, основан на градиентном спуске. У природы вряд ли эволюционно получилась оптимальная подстройка, но она работает обычно.
И потом: Вы говорите, природная подстройка весов происходит напрямую от входных данных. А это одинаково для всех слоев происходит, для скрытых слоев также как для входного?

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 18:53 


26/10/17
31
Mihaylo в сообщении #1263845 писал(а):
Ну я в нейрофизиологии ни бум-бум. В рамках машинного обучения рассказывается о модели основного канала нейрона, а вот о модели подстройки весов, то есть проницаемости мембраны, ничего не говорят. Ученые придумали обратное распространение ошибки - это явно более эффективный метод подстройки, так как математически он локально оптимален, основан на градиентном спуске. У природы вряд ли эволюционно получилась оптимальная подстройка, но она работает обычно.
В живом организме обычно не понятно что считать ошибкой, от чего пойти в обратную сторону. Поэтому наверное и механизма такого не сформировалось.

Mihaylo в сообщении #1263845 писал(а):
И потом: Вы говорите, природная подстройка весов происходит напрямую от входных данных. А это одинаково для всех слоев происходит, для скрытых слоев также как для входного?
Да конечно, живые клетки ведь не знают в каком они слое, да и слоёв как таковых нет.
К увеличению веса конкретного входа приводит совокупность событий - деполяризация нейрона и наличие сигнала на этом входе. То есть, если на вход поступает сильный сигнал (или много слабых), которые накапливают потенциал нейрона и в итоге приводят к деполяризации, то вес этого входа увеличивается, а заодно и веса всех других входов, на которых в этот момент тоже был сигнал. Реализовано просто - ядро нейрона выбрасывает белок который "разращивает" активные синапсы. То есть нейрон как бы учится искать коррелирующие по времени сигналы и активно реагировать на любой их них. Временны́е характеристики могут сильно различаться - скорость затухания сигналов, периодичность повторения нужная для запоминания, но это насколько я помню постоянные свойства нейрона.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 19:05 


12/07/15
2907
г. Чехов
Если применить здравый смысл: мы учимся сначала делать простые вещи - отличать белое от черного, круглое от квадратного. Так формируется входной слой... затем мы усложняем обучение - учимся отличать белый квадрат от черного круга. Это уже тренировка первого скрытого слоя. При этом входной слой практически не тренируется, так как уже почти оптимален. И так далее сеть тренируется слой за слоем. Это чисто рассуждение в рамках здравого смысла... При этом процессе по идее применяется обучение без учителя, то есть кластеризация. Но в определенный момент сеть получает возможность обучаться с учителем, это происходит в тот момент, когда натренированная кластеризация хорошо повторяет ответы учителя и та же кластеризация это "замечает".

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение09.11.2017, 19:24 


26/10/17
31
Согласен, оно само так и получается.
Вживую нейроны на первом уровне учатся различать маленькие фрагменты, буквально группы соседних "пикселей" - если на входе белый шум то они не будут возбуждаться достаточно сильно и соответственно веса либо увеличиваться не будут, либо будут почти одновременно на всех входах, активность нейрона слишком увеличится и сработает механизм регуляции - нейрон удалит некоторые входы (почти случайным образом). Но как только на входе появляется система, например линия или граница областей разной окраски, какие-то входы начинают получать сигналы сильнее других, разрастаются и соответственно учатся узнавать их. Следующий уровень - распознавание простейших движений. Это происходит ещё непосредственно в сетчатке глаза.

Ну а дальше видимо происходит распознавание всё более абстрактных образов - сигналов с предыдущих уровней, и их связь уже с не-визуальными объектами. Что самое в этом интересное - всё это реализовано такой же простейшей логикой.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение10.11.2017, 10:21 


12/07/15
2907
г. Чехов
Природа не могла случайно заложить в нас знания об учителе. Мы в процессе обучения даем ту или иную оценку источникам информации. Достоверные источники мы считаем за учителя. Если учитель действительно хороший, то мы с учетом доверия начинаем учиться гораздо интенсивнее. А так, в принципе, в основе нашего обучения лежит кластеризация, без учителя. Такая версия правдоподобна.

 Профиль  
                  
 
 Posted automatically
Сообщение10.11.2017, 17:35 
Заслуженный участник


09/05/12
25179
 i  Тема перемещена из форума «Искусственный интеллект и Машинное обучение» в форум «Дискуссионные темы (Мд)»
Причина переноса: тема несколько сместилась в сторону биологии, так что, наверное, это сюда.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение10.11.2017, 18:53 


26/10/17
31
Mihaylo в сообщении #1263954 писал(а):
Природа не могла случайно заложить в нас знания об учителе. Мы в процессе обучения даем ту или иную оценку источникам информации. Достоверные источники мы считаем за учителя. Если учитель действительно хороший, то мы с учетом доверия начинаем учиться гораздо интенсивнее. А так, в принципе, в основе нашего обучения лежит кластеризация, без учителя. Такая версия правдоподобна.


Да, на высоком уровне как-то так. Или в более общем случае- одна сеть мониторит и управляет обучением другой. Ключевой вопрос - как это работает на низком уровне, каким образом получается что организуется именно такая структура. Отдельные нейроны ведь ничего не знают об общей структуре, она складывается самообучением исходя из локальных правил.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение21.11.2017, 00:48 
Аватара пользователя


01/12/11

8634
Mihaylo в сообщении #1262410 писал(а):
Неуловимый Джо не потому неуловимый, что неуловимый, а потому что его никто не ловит.

(Оффтоп)

Джо зовётся неуловимым не потому, что его никто не в силах поймать, а потому, что он никому нафиг не нужен.

 Профиль  
                  
 
 Re: Когда нейросеть догонит хотя бы червя, а лучше - насекомое?
Сообщение21.11.2017, 14:15 


30/08/13
406
А существует ли элементная база ,которая могла бы быть использовнной для моделирования биологических элементов
в аналоговом режиме?
Пока используются программные модели в цифровом варианте.
Вы можете назвать модель микросхемы кремниевого аналога нейрона?

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 44 ]  На страницу Пред.  1, 2, 3  След.

Модераторы: Jnrty, Модераторы, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group