Почему "обучение" нейронной сети?

[sergey zhukov]

Нейронные сети воспринимаются, как нечто чудесное, кажется, не в последнюю очередь потому, что они "обучаются". Например, никто раньше не называл методы регрессии и аппроксимации "обучением" чего-либо. Но применительно к функциям, заданным в форме нейронной сети, настройка коэффициентов функции вдруг стала называться "обучением". Почему? Потому, что продолжается аналогия с биологическим мозгом? Или это потому, что метод подразумевает необходимость по сто раз по кругу предьявлять одни и те же примеры? Хотя для оптимального алгоритма должно хватить одного раза. Скажем, чтобы провести прямую методом МНК через десять точек, достаточно использовать их (эти точки) в расчетах только один раз.

[mihaild]

Before you ask why, ask if.

sergey zhukov в сообщении #1678544 писал(а):

Например, никто раньше не называл методы регрессии и аппроксимации "обучением" чего-либо

Название "машинное обучение" точно появилось не позже чем в 1959 году https://ieeexplore.ieee.org/document/5392560. И применительно к линейной регрессии термин "train" легко находится в 1994 году https://www.sciencedirect.com/science/a ... 1494901449, и, скорее всего, использовался и сильно раньше. Насколько я помню, в какой-то советской книге по "Экспертным системам" тоже говорилось об "обучении".

Я бы предположил, что тут важна разница в способое настройки алгоритма - для моделей машинного обучения процедура конфигурация создается из данных очень похожих на те, на которых они потом будут использоваться (в отличии от настройки nginx, где конфиги радикально отличаются от http-запросов).

sergey zhukov в сообщении #1678544 писал(а):

Хотя для оптимального алгоритма должно хватить одного раза

Любой алгоритм превращается в такой с помощью добавления шага "запомнить весь вход, и переиспользовать его".

sergey zhukov в сообщении #1678544 писал(а):

Скажем, чтобы провести прямую методом МНК через десять точек, достаточно использовать их (эти точки) в расчетах только один раз

Тем не менее, даже для штук, допускающих замкнутое решение, часто используются итеративные методы.

[Anton_Peplov]

sergey zhukov в сообщении #1678544 писал(а):

Но применительно к функциям, заданным в форме нейронной сети, настройка коэффициентов функции вдруг стала называться "обучением". Почему? Потому, что продолжается аналогия с биологическим мозгом?

Первые нейронные сети были теплыми ламповыми. То есть буквально ламповыми, аппаратными. Их делали как простейшую модель нервной системы животного. Естественно, что и термин "обучение" был перенесен на них. В математической подоплеке происходящего разобрались позже.

Ранняя история искусственных нейронных сетей очень подробно изложена в книге: Сергей Марков. Охота на электроовец: большая книга искусственного интеллекта. Гл. 4. "Нейронные сети и глубокое обучение". Читать предыдущие три главы при этом не обязательно. Эту книгу вообще можно читать с любой главы. Вот, например, выдержка оттуда:

С. Марков писал(а):

...соображения Хебба оказались важным отправным пунктом, который позволил сразу нескольким группам исследователей разработать конкретные алгоритмические версии принципа Хебба и даже воплотить их в конструкциях экспериментальных устройств.

4.4.4 ПЕРВЫЕ ЭКСПЕРИМЕНТЫ В ОБЛАСТИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

Одним из первых таких устройств стал SNARC (Стохастический Нейронный Аналоговый Калькулятор с Подкреплением, Stochastic Neural Analog Reinforcement Calculator), разработанный Марвином Минским.
По просьбе Минского, Джордж Миллер (George Armitage Miller, 1920—2012), один из основателей когнитивной психологии, договорился о финансировании проекта за счёт средств Управления научных исследований военно-воздушных сил США летом 1951 года (речь шла о нескольких тысячах долларов). <...>
Сама машина представляла собой случайное соединение из 40 искусственных нейронов и моделировала поведение крысы, пытающейся отыскать выход из лабиринта. Каждый из нейронов был реализован при помощи шести электроламп и двигателя.

Что такое правило Хебба, сами погуглите, если не знаете. Это из ранней нейробиологии.

[Mihaylo]

sergey zhukov в сообщении #1678544 писал(а):

Или это потому, что метод подразумевает необходимость по сто раз по кругу предьявлять одни и те же примеры? Хотя для оптимального алгоритма должно хватить одного раза. Скажем, чтобы провести прямую методом МНК через десять точек, достаточно использовать их (эти точки) в расчетах только один раз.

Во-первых, примеры, которые предъявляются - на 5-10-20% противоречивы, неинформативны, поэтому точность обучения не может подняться выше какого-то эмпирического предела 60-90-99%...
Во-вторых, полный перебор слишком затратен, а методы, которые реальны, часто прозябают в локальных минимумах.
Ой, если вспомню какой-нибудь третий аргумент... Но я думаю достаточно.

Практика показывает, что при наличии адекватного объёма данных для обучения, нейросеть превосходит человека в конкретной задаче как минимум на 1-2%, но только благодаря точной и большой памяти, неустанности. То есть обучение нейросети очень эффективно.

-- 17.03.2025, 19:59 --

Самое интересное, что примерно до 2012 года была зима (или осень?) искусственного интеллекта, но именно с того момента количество данных выросло до критического значения и наконец-то начался прорыв. То есть алгоритмы были, в принципе, хорошие, не хватало данных. Нужно было пережить десятилетие, с того момента, как появился Гугл, широко распространённый интернет, серверы...

-- 17.03.2025, 20:06 --

sergey zhukov в сообщении #1678544 писал(а):

Хотя для оптимального алгоритма должно хватить одного раза.

Не для оптимального алгоритма, а для оптимальных условий, когда алгоритм достаточно обучен. Если алгоритм не обучен, то ему надо сто раз повторить. Если алгоритм обучен, то только один раз намекнуть.

Здесь стереотипия у людей, некоторые считают, что они часто с первого раза понимают. Ага, идите научитесь забивать мяч по воротам с одного раза или забивать мяч в баскетбольную корзину... Гигантская ошибка - многие считают, что обучение не нужно. А оно нужно и его требуется годы.