Можно подробнее или на примерах, хотя бы?
Например для нейронок: число нейронов, метод оптимизации и скажем регуляризации - это гиперпараметры. Зафиксировав их, мы запускаем обучение и получаем набор весов.
При этом скажем информации о регуляризации в модели вообще не остается (в явном виде; может быть, глядя на веса, ее как-то можно восстановить).
Или для деревьев / лесов: фиксируем параметры, дальше ищем разбиения данных, строим ветвления и т.д. Опять же, часть гиперпараметров (скажем, минимальное число примеров в листе) в модели вообще никак не присутствует.
Формально, предсказания нашей модели - функция трех аргументов:
- гиперпараметров, параметров и данных.
при каждом запуске алгоритма обучения фиксировано.
Можно, конечно, рассмотреть мета-алгоритм, оптимизирующий и по
(подбор гиперпараметров), но он, как правило, сильно отличается от подбора
при фиксированном
.