Самокопирование нейрона

[Mihaylo]

upgrade в сообщении #1303506 писал(а):

Например, примитивно - попался столб, его можно обойти справа, а можно обойти слева, нейрон (ну, или как он называется) рождает два новых нейрона, у одного из них веса распределены так, что столб обходим слева, а у другого - справа.

Зачем это? Оптимальное решение, как правило, одно единственное. Но вы утверждаете противоположное. Это в корне неверное суждение. Разберитесь уже в этом элементарном вопросе. Сразу пресловутое свойство вариативности потеряет всякий смысл. Потеряет смысл самокопирование нейрона и прочие волшебные свойства интеллекта...

[arseniiv]

EUgeneUS в сообщении #1303475 писал(а):

arseniiv в сообщении #1303195 писал(а):

Вы считаете, что обычные нейроны в мозгу, скажем, млекопитающих делятся? Если нет, то непонятно, чего вы требуете от нейросетей. Если да, то, видимо, сначала придётся сменить мнение.

не всё так категорично. Нейрогенез

Ну и где вы там видите копирование уже дифференцированного нейрона? Я нигде. Наверно, у меня что-то с глазами или вниманием.

-- Чт апр 12, 2018 22:43:23 --

upgrade в сообщении #1303495 писал(а):

Конечно делятся. У новорожденных нейроны появляются делением, сравните объем мозга взрослого и, например, зародыша.

К вам тот же вопрос. Кроме того, вы говорили не о делении нейронов, когда они ещё не особо в ходу, а о делении с наследованием уже полученных свойств.

-- Чт апр 12, 2018 22:47:10 --

upgrade в сообщении #1303495 писал(а):

но они закодированы в памяти нейрона, насколько я понимаю, а не в структуре обработки воздействий на нейрон.

Я утерял нить. Мне показалось, изначально вы жаловались, что нейросеть хранит данные неправильно.

[upgrade]

Процесс образования новых нейронов (восстановления нервных клеток) занимает несколько этапов. Сначала появляются стволовые клетки в определенных зонах мозга, которые делятся и образуют клетки предшественники нейронов. Далее данные клетки предшественники опять могут поделиться и образуют так называемые нейробласты, которые перемещаются в определенные зоны мозга, превращаясь в нейроны с их формой и функциями.
arseniiv
Я и не ждал что нейроны копируются, а напротив, уточнил - а точно ли что матмодель не предусматривает копирование. Ответ - точно.
Дальше - а что же предусматривает, ведь как то же они появляются. И может есть какие то модели, которые порождают нейроны с разными структурами и разными "ответами".

arseniiv в сообщении #1303563 писал(а):

Мне показалось, изначально вы жаловались, что нейросеть хранит данные неправильно.

по сути я жалуюсь, что нельзя сваять несколько нейронов, оставить их где-нибудь на время, а потом через год обнаружить, что их уже миллиарды и они усердно разрабатывают какой нибудь коллайдер.

[arseniiv]

upgrade в сообщении #1303603 писал(а):

Дальше - а что же предусматривает, ведь как то же они появляются. И может есть какие то модели, которые порождают нейроны с разными структурами и разными "ответами".

Как-то появляются, но уж очень хитростно. Нужны аргументы, что такое хитрое появление имеет смысл для нейросетей вместо простого создания изначально нужного количества нейронов. Практикующие почему-то вносят изменения куда угодно, но не сюда (и переход нейронов из слоя в слой тоже не делают, на всякий случай можно добавить).

upgrade в сообщении #1303603 писал(а):

по сути я жалуюсь, что нельзя сваять несколько нейронов, оставить их где-нибудь на время, а потом через год обнаружить, что их уже миллиарды и они усердно разрабатывают какой нибудь коллайдер

Нейросети так не работают. Вы же наверняка читали, для чего их используют и как именно?

Можно сказать, термин «нейросеть» в некотором роде неудачный. Люди ждут от них в результате того, для чего их не делали. В самом-самом начале может быть и была цель смоделировать очень упрощённо нервную систему. Но это уже давно не то, как нейросети понимаются.

[Booker48]

upgrade в сообщении #1303603 писал(а):

Я и не ждал что нейроны копируются, а напротив, уточнил - а точно ли что матмодель не предусматривает копирование. Ответ - точно.
Дальше - а что же предусматривает, ведь как то же они появляются.

Обратите внимание:

Цитата:

Но все же это не даёт ответ на то, могут ли действительно нейробласты интегрировать в сформировавшиеся нейроны. Несмотря на подтверждение того, что нейроны способны образовываться в головном мозге человека, количество новых нейронов намного меньше количества утерянных (погибших) нейронов.

Речь в статье идёт о случаях восстановления повреждённых в результате заболеваний или естественного старения нейронах. 700 новых нейронов в день у взрослого человека - это ничтожная доля от 100 миллиардов. Наиболее интенсивный их рост - внутриутробный. И далее различные зоны мозга практически полностью формируются до приблизительно 7 лет. Но разве человек к этому возрасту способен к интеллектуальной деятельности? Сотни примеров маугли доказывают, что вырывание младенца даже на небольшой относительно срок из общества людей ставит крест на его полноценном развитии. Хотя физиологически нейроны у экс-маугли ведут себя примерно так же, как и у обычных сапиенсов.
Другими словами, интеллект человека определяется не физиологическими процессами, а именно обучением и научением. Именно тем, чем и "занимаются" нейросети. См. "глубокое обучение".

[Mihaylo]

upgrade в сообщении #1303603 писал(а):

по сути я жалуюсь, что нельзя сваять несколько нейронов, оставить их где-нибудь на время, а потом через год обнаружить, что их уже миллиарды и они усердно разрабатывают какой нибудь коллайдер.

Уже сообщили вам, но я повторю более простым языком. Если в замкнутом пространстве оставить интеллект (неважно: искусственную нейросеть или несколько умных человек), то из этого ничего путного не выйдет. В замкнутом пространстве отсутствует полноценная информация для обучения. Без некоего критического объёма информации желаемого развития не будет.
Как люди (человечество) решили этот вопрос: они записывают знания, они используют педагогические технологии для передачи этих знаний, навыков. Усвоение новых знаний стимулируется, поощряется. Иначе ничего не выйдет.

[Yodine]

Mihaylo в сообщении #1303715 писал(а):

Без некоего критического объёма информации желаемого развития не будет.

Т.е. вы полагаете, что если будет несколько интеллектов без доступа к внешней среде, но в их распоряжении будет например пара-тройка энциклопедий, например, математическая, физическая и большая советская энциклопедия, то данные несколько интеллектов смогут не деградировать, а прогрессировать, развивать новые теория и все такое прочее, строить чудесные математические теории и все такое прочее. Примерно правильно?

[EUgeneUS]

arseniiv в сообщении #1303563 писал(а):

Ну и где вы там видите копирование уже дифференцированного нейрона? Я нигде. Наверно, у меня что-то с глазами или вниманием.

Что Вы понимаете под словами "уже дифференцированного нейрона"?
1. Если нейрон, как дифференцированную клетку, то именно про это там и написано.
2. Если "обученный" нейрон, причем точно такой же как родительский (то есть с точно такими же дендритами, соединенными с соседними клетками точно так же, как у родительского нейрона), то так не бывает и быть не может.

Ваша фраза могла трактоваться так, что Вы оспариваете возможность появления новых нейронов у взрослого организма (известное устаревшее представление: "нервные клетки не восстанавливаются"), а это, как оказывается не так, или не совсем так.

[arseniiv]

EUgeneUS в сообщении #1303735 писал(а):

Что Вы понимаете под словами "уже дифференцированного нейрона"?
1. Если нейрон, как дифференцированную клетку, то именно про это там и написано.

Да, по прямому значению. Ведь раз upgrade, судя по всему, говорил про копирование уже хотя бы частично поучаствовавшего в обучении нейрона, то он должен быть, разумеется, нейроном и дифференцированной клеткой, а не не(до)дифференцированной, которые и «предназначены» для деления.

EUgeneUS в сообщении #1303735 писал(а):

Ваша фраза могла трактоваться так, что Вы оспариваете возможность появления новых нейронов у взрослого организма (известное устаревшее представление: "нервные клетки не восстанавливаются"), а это, как оказывается не так, или не совсем так.

Угу, в курсе. Хотя не уверен, что моя фраза могла так трактоваться, если читать внимательно.

EUgeneUS в сообщении #1303735 писал(а):

2. Если "обученный" нейрон, причем точно такой же как родительский (то есть с точно такими же дендритами, соединенными с соседними клетками точно так же, как у родительского нейрона), то так не бывает и быть не может.

Вот это я и хотел донести до ТС.

С другой стороны, раз не важно, что там в природе, и отталкиваться от того, что там происходит, неправильно, мне не стоило в эту сторону заворачивать обсуждение.

[Mihaylo]

Yodine в сообщении #1303733 писал(а):

Примерно правильно?

Примерно неправильно. Вы сказали что-то про энциклопедию... Извините, а что будет с элементарными навыками читать, считать, писать? Энциклопедия не способна обучать этому, нужна, грубо говоря, азбука и тетрадь с прописью. Если так рассуждать, то нужно первое, второе, пятое, десятое... Короче, чем больше знаний, тем лучше.
Топик-стартер же думает, что достаточно иметь котелок мыслительных способностей, а знания сами появятся. Нетушки.

[Yodine]

Я имел ввиду, что

Mihaylo в сообщении #1304104 писал(а):

Извините, а что будет с элементарными навыками читать, считать, писать?

это тоже входи в

Mihaylo в сообщении #1303715 писал(а):

Без некоего критического объёма информации желаемого развития не будет.

некий минимально необходимый критический объем информации и плюс еще три энциклопедии.
Мне видится, что этого будет достаточно для потенциально бесконечного процесса саморазвития, математику видимо можно неограниченно развивать. И этого будет хватать.

[Mihaylo]

Yodine в сообщении #1304111 писал(а):

Мне видится, что этого будет достаточно для потенциально бесконечного процесса саморазвития, математику видимо можно неограниченно развивать. И этого будет хватать.

Ну если объекты для исследований (физические, математические, биологические, педагогические, юридические, филологические и т.д.) доступны, то почему бы и нет?

[Yodine]

Моя мысль, что без объектов. Доступна мат.энциклопедия и можно дальше математику развивать неограниченно долго. А там, где нужны эксперименты, там понятно, что не обойтись.

[Dmitriy40]

Напоминает разницу между полностью детерминированными и (частично) недетерминированными системами. При любом увеличении сложности (объёма) первых вторые из них никак не получатся. Хотя отличия могут стать и сколь угодно малыми, но всегда не нулевыми. И изолированный интеллект с объёмом знаний выше критического (впрочем это требование лишнее, а вот изолированность - критично) напоминает именно полностью детерминированную систему. С другой стороны машину Тьюринга мы интеллектом вроде бы не называем, а любая полностью детерминированная система к ней сводится.
Насчёт бесконечного развития, тут на форуме в теме про автодоказательство теорем был хороший аргумент, типа "да, можно теоремы доказывать много разных, но нельзя отобрать из всей этой кучи полезные, а с увеличением количества доказанных теорем процент полезных уменьшается". Так что неизвестно есть ли смысл в таком абстрактном развитии математики, пусть даже и бесконечном.

[jabra]

Я думаю в математических моделях нет смысла добавлять сущности на ходу. Просто берём изначально больше нейронов чем нужно, если они действительно не нужны то оптимизация (обучение) выдаст примерно примерно нулевые веса связей и всё.

Динамические модели, где размерности меняются не слишком удобно укладывать в память. Эффективнее сразу взять немного больше чем понадобится.

-- 09.05.2018, 09:37 --

upgrade в сообщении #1303603 писал(а):

Я и не ждал что нейроны копируются, а напротив, уточнил - а точно ли что матмодель не предусматривает копирование. Ответ - точно.
Дальше - а что же предусматривает, ведь как то же они появляются. И может есть какие то модели, которые порождают нейроны с разными структурами и разными "ответами".

Те модели которые принято называть нейросетями имеют очень мало общего с реальными живыми нейросетями.

Даже один живой нейрон реализует сложную функцию "со скобками" от входов и распознаёт сигналы во времени, например движение в определённую сторону если это зрительный нейрон. К тому же учится этому на раз без здоровенных обучающих сетов.