Новое представление о работе мозга и будущее нейросетей

[Ktina]

Израильским учёным удалось опровергнуть представление более чем столетней давности о работе нейронов головного мозга человека.
Это замечательное открытие не может не повлиять, помимо всего прочего, на искусственные нейросети.

Как вы думаете, какими они станут, нейросети будущего (и насколько далёким оно вам кажется)? Что в них принципиально изменится по сравнению с сегодняшними нейросетями? В какой степени эти изменения повлияют на производительность и на качество их работы? Ожидается ли качественный скачок? А может, будет создан сильный ИИ? Как во всю вышеописанную концепцию вписываются так называемые капсульные сети?

Эти и многие другие вопросы не дают мне покоя, и надеюсь, что не только мне.

[alesha_popovich]

В современных нейросетях и так не используются нейроны с накоплением заряда, если я правильно понял из статьи о чем речь. Они просто суммируют поступившие на вход сигналы и сразу же отвечают. Так что с этой стороны, наоборот, настоящие нейроны приблизились к искусственным.
А то, что разные дендриты работают по разному, ну может кто-нибудь попробует искусственный нейрон такой создать, может чего и выйдет. Хотя, скорее всего, уже пробовали - мысль то очевидная, сделать нейрон с несколькими выходами. Правда не очень понятно, какой профит это может дать.

Ktina в сообщении #1278171 писал(а):

Как вы думаете, какими они станут, нейросети будущего

Я думаю, если бы кто-то знал ответ на этот вопрос, то он бы уже создал эти сети будущего. Тут гадать бесполезно, можно только ждать и смотреть, что происходит.

[Mihaylo]

Под накоплением заряда наверное понимается тот процесс, который соответствует градиентам весов.

[vlad_light]

Ktina в сообщении #1278171 писал(а):

Как вы думаете, какими они станут, нейросети будущего

Примерно такими же, как сейчас SVM -- обычный алгоритм, который проигрывает почти по всем показателям GBM.

Ktina в сообщении #1278171 писал(а):

(и насколько далёким оно вам кажется)

Хайп вокруг НС значительно замедлил науку в "правильном" направлении: вместо того, чтоб придумывать новые "умные" алгоритмы (как, например, SVM), гораздо проще напридумывать новые слои/блоки/активации и погонять их на известных датасетах в надежде получить результат на $\varepsilon\to 0$ превосходящий SOTA. Надеюсь, это скоро закончится (этому способствует прогресс в области НС за последний год) и люди начнут заниматься математикой делом.

[Ktina]

vlad_light
А что такое SVM и почему он проигрывает GBM?

[photon]

SVM - support vector machine
GBM - generalized boosted model

[vlad_light]

photon в сообщении #1279203 писал(а):

GBM - generalized boosted model

Gradient Boosted Models. Например xgboost, LightGBM.

Цитата:

почему он проигрывает GBM

Это чисто эмпирический результат, см. kaggle.

[jabra]

Ktina в сообщении #1278171 писал(а):

Израильским учёным удалось опровергнуть представление более чем столетней давности о работе нейронов головного мозга человека.
Это замечательное открытие не может не повлиять, помимо всего прочего, на искусственные нейросети.

Прочитал. Я думаю, математически это не даст ничего нового. Модель такого нейрона можно просто заменить группой классических с внутренним потенциалом и одним аксоном, способности сетки от этого не изменятся.