Слой SoftOrdering

[mihaild]

Mihaylo в сообщении #1655416 писал(а):

То есть нагенерировать синтетических данных и обучить нейронку этому же?

Нет, просто на тех задачах, на которых Вы тестируете свою модель, протестировать и вот такую.

Mihaylo в сообщении #1655416 писал(а):

Но это не будет означать, что эти же слои в составе, предназначенном для более комплексной задачи, додумаются принять вид гистограммы

Не значит, и, скорее всего, не додумаются. Вопрос в том, будет ли полученный результат лучше или хуже.

[Mihaylo]

Теперь понял.

[Mihaylo]

Mihaylo в сообщении #1655214 писал(а):

Я беру стандартно диапазон (-1, +1), данные нормализованы.

В какой-то момент я верил в BinarySoftOrdering - простая реализация гистограммы, у которой нет гиперпараметров - range_min, range_max и количество бинов - ничего этого нет принципиально. Примерно на 50% быстрее вычисляется. Но её предел ROC-AUC 0,86, может чуть выше. И всё: гиперпараметр всего лишь один - количество гистограмм, я примерно нашёл оптимум 100 гистограмм, не продвигается дальше.
Немного поменял тактику для обычного SoftOrdering: я теперь поставил сигмоиду после входного линейного слоя перед построением гистограммы. Это был решающий удар. Пространство из $(-\infty, +\infty)$ преобразуется в $(0, 1)$ и теперь нет срывов из-за выхода за пределы диапазона. Фактически я сделал нелинейным распределение бинов: около нуля они плотные, а ближе к краям растягиваются вплоть до бесконечности.

Количество бинов равно 11, количество гистограмм равно 20, рекуррентный SoftOrdering. За 25 минут достиг результата ROC-AUC 0,899. Правда приходится активно подкручивать learning_rate. Начинаю с 0.1, заканчиваю на 0.001. Да-да, такой мощный разбег. Иначе долго процесс обучения идёт.

[Mihaylo]

Добавил batchnorm после суммирования (подсчета), результат улучшился. Теперь я получаю результат лучше и даже чуть быстрее, чем у LSTM. За 5 минут ROC AUC 0.904. Надеюсь нет утечки тренинговых данных в тестовые (проблема батчнорма).

[Mihaylo]

Ещё кое-что изменил, сделал довольно логичный шаг, снижающий переобучение. Теперь я могу за 15 минут дотянуться до ROC-AUC 0,919.

Для сравнения: есть один алгоритм решения на kaggle, который решает эту задачу с ROC-AUC 0,93+ на видеокарте NVidia P100 за 2,5+ часа. Применяется Double-stacked LSTM, BiDirectional=True, длина стейта 512.

Но простой LSTM точно побежден.