Знакомство с обучением нейронной сети

[gevaraweb]

sergey zhukov в сообщении #1658387 писал(а):

Нет, я имел ввиду именно 5 параметров.

Тогда это просто функция от 10 переменных?

gevaraweb в сообщении #1658326 писал(а):

Это что же получается, можно взять любой закон из физики, с 5 величинами, и нагенерировать кучу датасетов и учебных задач на тему регрессии? Которые имеют физическообразный смысл. Ну и добавлять погрешности измерения к каждой величине.

Взял формулу прочности бетона, сгенерил 3000 строк данных для обучения, и 1000 строк для валидации.
Вышла задача предсказания прочности бетона.
Получилась как раз функция от 5 переменных

R_b (MPa) = f( A, A1, R_c (MPa), Ц/В, В/Ц )

Правда, две переменные обратны тут друг другу. Я думал, небольшие НС плохо видят обратные зависимости.
Но убрал В/Ц, сеть стала предсказывать лучше.
Попробовал также деревами, как и ожидал, они уверенно обгоняют НС.
Только если сохранять в ходе обучения наилучшие значения параметров, можно в НС приблизиться к результату, даваемыми деревами.
Также по сути A, A1 - категориальные переменные, можно над этим поработать.

[sergey zhukov]

gevaraweb в сообщении #1658429 писал(а):

Тогда это просто функция от 10 переменных?

Ну что, переменные и параметры - это одно и то же что-ли? Вот у функции $z=Ax+By$ две переменные $x, y$ (то, что меняется в примерах и подается на вход сети) и два параметра $A, B$ (то, что для всех примеров одинаково).

[gevaraweb]

sergey zhukov в сообщении #1658430 писал(а):

(то, что для всех примеров одинаково).

А тогда я не понимаю, как параметр может влиять на количество нейронов, если он для всех примеров одинаков.

[sergey zhukov]

gevaraweb
Нейронная сеть должна выучить параметры функции, а не ее переменные. Скажем, чтобы выучить функцию одной переменной вида $y= Ax$, сложная сеть не нужна. А чтобы выучить функцию одной переменной вида $y=Ax^2+Bx+C$, нужна уже сеть посложнее. Потому, что параметров больше (одна из причин, конечно).

[gevaraweb]

sergey zhukov в сообщении #1658433 писал(а):

Потому, что параметров больше (одна из причин, конечно).

Вот именно, непонятно, как тут разобраться, параметр играл ключевую роль или степень )

[sergey zhukov]

gevaraweb
Понятно, что можно много разных функций с тремя параметрами придумать, и не все они "одинаково сложные". Но тем не менее число весов сети должно быть как минимум не меньше числа параметров.

[gevaraweb]

sergey zhukov в сообщении #1658438 писал(а):

Но тем не менее число весов сети должно быть как минимум не меньше числа параметров.

Наверно, хотя это вроде очень слабое и по сути бесполезное утверждение ))