Про функции активации

[artful7]

Кто использовал в качестве функций активации нейросетей какие-нибудь нестандартные функции (не сигмоида, и т.д.)?

[G^a]

artful7 писал(а):

Кто использовал в качестве функций активации нейросетей какие-нибудь нестандартные функции (не сигмоида, и т.д.)?

А в чём задача?

[artful7]

А задача состоит в том, чтобы построить трехслойную нейросеть, в которой в качестве функции активации будет не классическая сигмоида, а что-нибудь более гибкое в плане настройки.

[G^a]

artful7 писал(а):

А задача состоит в том, чтобы построить трехслойную нейросеть, в которой в качестве функции активации будет не классическая сигмоида, а что-нибудь более гибкое в плане настройки.

Да, способности сети можно в этом случае улучшить, но обучение может очень сильно усложниться. И в итоге может также оказаться, что варьирование параметров ф-ции активации не обеспечивает необходимого качества классификации/распознавания, то есть сам выбор ф-ции активации - неверен. Вот такие основные проблемы всплывают. Можете ещё помимо ф-ции активации поработать с метрикой, тоже очень мощная вещь.