2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки
01/01/18 20:50 UTC: Перешли на HTTPS в тестовом режиме. О проблемах пишите в ЛС cepesh.





Начать новую тему Ответить на тему
 
 Новое представление о работе мозга и будущее нейросетей
Сообщение24.12.2017, 00:54 
Аватара пользователя


01/12/11
6092
Нацерет-Иллит
Израильским учёным удалось опровергнуть представление более чем столетней давности о работе нейронов головного мозга человека.
Это замечательное открытие не может не повлиять, помимо всего прочего, на искусственные нейросети.

Как вы думаете, какими они станут, нейросети будущего (и насколько далёким оно вам кажется)? Что в них принципиально изменится по сравнению с сегодняшними нейросетями? В какой степени эти изменения повлияют на производительность и на качество их работы? Ожидается ли качественный скачок? А может, будет создан сильный ИИ? Как во всю вышеописанную концепцию вписываются так называемые капсульные сети?

Эти и многие другие вопросы не дают мне покоя, и надеюсь, что не только мне.

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение24.12.2017, 07:34 


08/12/17
43
В современных нейросетях и так не используются нейроны с накоплением заряда, если я правильно понял из статьи о чем речь. Они просто суммируют поступившие на вход сигналы и сразу же отвечают. Так что с этой стороны, наоборот, настоящие нейроны приблизились к искусственным.
А то, что разные дендриты работают по разному, ну может кто-нибудь попробует искусственный нейрон такой создать, может чего и выйдет. Хотя, скорее всего, уже пробовали - мысль то очевидная, сделать нейрон с несколькими выходами. Правда не очень понятно, какой профит это может дать.

Ktina в сообщении #1278171 писал(а):
Как вы думаете, какими они станут, нейросети будущего

Я думаю, если бы кто-то знал ответ на этот вопрос, то он бы уже создал эти сети будущего. Тут гадать бесполезно, можно только ждать и смотреть, что происходит.

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение24.12.2017, 07:58 


12/07/15
842
Под накоплением заряда наверное понимается тот процесс, который соответствует градиентам весов.

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение27.12.2017, 15:05 


07/03/11
662
Ktina в сообщении #1278171 писал(а):
Как вы думаете, какими они станут, нейросети будущего

Примерно такими же, как сейчас SVM -- обычный алгоритм, который проигрывает почти по всем показателям GBM.
Ktina в сообщении #1278171 писал(а):
(и насколько далёким оно вам кажется)

Хайп вокруг НС значительно замедлил науку в "правильном" направлении: вместо того, чтоб придумывать новые "умные" алгоритмы (как, например, SVM), гораздо проще напридумывать новые слои/блоки/активации и погонять их на известных датасетах в надежде получить результат на $\varepsilon\to 0$ превосходящий SOTA. Надеюсь, это скоро закончится (этому способствует прогресс в области НС за последний год) и люди начнут заниматься математикой делом.

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение27.12.2017, 17:40 
Аватара пользователя


01/12/11
6092
Нацерет-Иллит
vlad_light
А что такое SVM и почему он проигрывает GBM?

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение27.12.2017, 18:52 
Экс-модератор
Аватара пользователя


23/12/05
10006
SVM - support vector machine
GBM - generalized boosted model

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение27.12.2017, 19:26 


07/03/11
662
photon в сообщении #1279203 писал(а):
GBM - generalized boosted model

Gradient Boosted Models. Например xgboost, LightGBM.
Цитата:
почему он проигрывает GBM

Это чисто эмпирический результат, см. kaggle.

 Профиль  
                  
 
 Re: Новое представление о работе мозга и будущее нейросетей
Сообщение10.01.2018, 03:09 


26/10/17
25
Ktina в сообщении #1278171 писал(а):
Израильским учёным удалось опровергнуть представление более чем столетней давности о работе нейронов головного мозга человека.
Это замечательное открытие не может не повлиять, помимо всего прочего, на искусственные нейросети.
Прочитал. Я думаю, математически это не даст ничего нового. Модель такого нейрона можно просто заменить группой классических с внутренним потенциалом и одним аксоном, способности сетки от этого не изменятся.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 8 ] 

Модераторы: maxal, Karan, Toucan, PAV, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group