Куда шагать в ML

[tac]

Mihaylo в сообщении #1710632 писал(а):

Не помните, как измеряли? На тестовых данных?

Да, конечно.

-- Ср ноя 26, 2025 08:05:07 --

mihaild в сообщении #1710596 писал(а):

Но в целом я не удивлюсь, если не очень удачная архитектура CNN, особенно без регуляризаций, даст и 1.3%, и 2.5% ошибок.

Регуляризация вообще ничего не дает. Будете наверно спорить? Может быть тогда запишу видео, где очевидно это покажу, на приведенном выше примере из гитхаба.

[Mihaylo]

tac в сообщении #1710559 писал(а):

дает в среднем 99,4%. (перепроверял)

Спасибо, исправил алгоритм. Достиг ошибки 0,27% на пятислойном CNN. Ухищрения типа шедулинга и layer-wise learning rate decay (LLRD) и SOHE поддаёт совсем чуть-чуть.

-- 26.11.2025, 07:49 --

Посмотрите внимательно на то, как ошибается нейросеть на тренировочных данных. 60000 изображений, 23 ошибки (0,04%). Красная цифра - это неправильный ответ, зелёная цифра - правильный ответ.



А вот валидационные ошибки. 10000 изображений, 33 ошибки (0,33%).

[tac]

Mihaylo в сообщении #1710682 писал(а):

Красная цифра - это неправильный ответ, зелёная цифра - правильный ответ.

В первом ряду очевидно видно, что там 66184731 ... а у вас это отмечено красным, у вас не попутан цвет?

[realeugene]

Mihaylo в сообщении #1710679 писал(а):

Характерные данные, которые чаще всего встречаются.

То есть с низкой информацией. В том числе, когда вы рассматриваете последовательности символов с высокой взаимной информацией между символами или с контекстом.

-- 26.11.2025, 10:02 --

tac в сообщении #1710686 писал(а):

В первом ряду очевидно видно, что там 66184731

Человек легче прощает машине те ошибки, которые допустил бы сам. Вполне очевидно, что эта база цифр получена из каких-нибудь почтовых индексов и изначально кросс-валидирована с рядом написанными адресами.

[mihaild]

realeugene в сообщении #1710657 писал(а):

Да, я оцениваю результаты распознавания отдельных букв и выдаю наиболее вероятные предложения, состоящие из этих букв.

Т.е. первый этап - распределение на буквах, из которого второй этап делает предложение?

realeugene в сообщении #1710657 писал(а):

Для анализа сочетаний требуется некоторая оценка похожести каждой буквы из алфавита. Чтобы заменять на единицы только похожие на единицы семёрки, и не заменять непохожие

Это, скорее всего, не понадобится. Из обучающей выборки итак будет понятно, что единицу путают с семеркой и не путают с восьмеркой.

(Оффтоп)

Примерно та же картинка в рекомендательных системах. Кажется что например жанр музыки должен быть очень полезным фактором для рекомендаций. Но на самом деле при наличии коллоборативной фильтрации он особо не нужен - если Вы и Вася слушаете примерно одни и те же треки, то Вам надо рекомендовать те треки, которые Вася послушал, а Вы еще нет - они автоматически, скорее всего, окажутся нужного жанра.

[realeugene]

mihaild в сообщении #1710698 писал(а):

Т.е. первый этап - распределение на буквах, из которого второй этап делает предложение?

Да.
Могут быть и промежуточные этапы, такие, как этап слова. Но с языковыми моделями искать в словаре наверное больше не нужно. Хотя для специальных полей с узкими словарями наверное и сейчас проще поискать в словаре, чем обучать нейронку.

mihaild в сообщении #1710698 писал(а):

Это, скорее всего, не понадобится. Из обучающей выборки итак будет понятно, что единицу путают с семеркой и не путают с восьмеркой.

Этого знания недостаточно. Семёрку пишут как похожую на единицу, так и совершенно не похожую. (К тому же в разных странах семёрки и единицы пишут по-разному: что в Америке семёрка, то в России почти единица.)

[mihaild]

tac в сообщении #1710681 писал(а):

Регуляризация вообще ничего не дает. Будете наверно спорить?

Буду. Запустил код с гитхаба, с дропаутом и без, по 10 раз, остальные параметры не трогал. Средняя точность на тесте с дропаутом 99.279%, без 99.014%, 95% CI [0.13%, 0.39%].

realeugene
Перевод текста с картинки, когда сначала одна модель распознает текст, а потом другая его переводит, подходит под вашу архитектуру?

[realeugene]

mihaild в сообщении #1710704 писал(а):

Перевод текста с картинки, когда сначала одна модель распознает текст, а потом другая его переводит, подходит под вашу архитектуру?

Так делали в досеточную эпоху.

[mihaild]

realeugene в сообщении #1710705 писал(а):

Так делали в досеточную эпоху

И в сеточную тоже. Году в 2019-2020 учить сетку сразу из английской картинки делать русский текст было можно, но отдельные работали лучше.
Там, правда, вариантов гипотез вроде бы не было, распознавалка выдавала один наиболее вероятный вариант, в рассчете, что переводящая сетка заметит опечатки (что делало невозможным перевод специально ошибочно написанного текста).

[realeugene]

mihaild в сообщении #1710707 писал(а):

Там, правда, вариантов гипотез вроде бы не было, распознавалка выдавала один наиболее вероятный вариант, в рассчете, что переводящая сетка заметит опечатки (что делало невозможным перевод специально ошибочно написанного текста).

Сорри, я вас неправильно понял. Про то, чтобы на вход переводчика подавалось несколько гипотез мне ничего не известно.

[tac]

realeugene в сообщении #1710690 писал(а):

Человек легче прощает машине те ошибки, которые допустил бы сам. Вполне очевидно, что эта база цифр получена из каких-нибудь почтовых индексов и изначально кросс-валидирована с рядом написанными адресами.

Т.е. вы хотите сказать, что это не ошибка? А я не вижу, что там за цифра? Значит это ошибка, которую допустил писавший, вот и всё. Хотя скорее всего это ошибка в выборке. Если это действительно так, и это не ошибка Mihaylo

-- Ср ноя 26, 2025 15:33:45 --

mihaild в сообщении #1710704 писал(а):

Запустил код с гитхаба, с дропаутом и без, по 10 раз, остальные параметры не трогал. Средняя точность на тесте с дропаутом 99.279%, без 99.014%, 95% CI [0.13%, 0.39%].

Слишком большой у вас разброс. Видимо выбираете случайный момент обучения, предпологаю что как и в примере 10 итераций, что конечно же не верно. Увеличьте до 30-40 итераций , обучите до конца и выберите лучший результат, с регуляризацией и без. Причем можете отключить и дропаут и нормализацию. Десять раз я не запускал, но около 3-х дают в среднем около 60 ошибок, и 70-75 без регуляризации, т.е. разница 0.01-0.02 %

P.S. Ах, да, можно даже убрать последний слой на 512, он тоже принципиально ничего не меняет.

Моё видео, если кому то будет интересно, что именно дает лучшие обобщение
Свёрточная нейронная сеть - разбор примера (CNN, Pyton, C#, Guide, MNIST)

[realeugene]

tac в сообщении #1710710 писал(а):

А я не вижу, что там за цифра?

А вы не почтовая система, сортирующая письма по индексам и написанному рядом адресу.

К тому же половина цифр в верхнем ряду ошибок просто написана очень криво в спешке и трясущимися руками карандашом.

[Mihaylo]

tac в сообщении #1710710 писал(а):

Если это действительно так, и это не ошибка Mihaylo

Представьте себе, нейросеть так хорошо переобучилась, что выучила все примеры, только некоторые экземпляры настолько кривые, что их нельзя выучить. Я согласился со всеми ответами нейросети, кроме двух.

[tac]

Mihaylo в сообщении #1710725 писал(а):

Представьте себе

А вы можете дать номера этих примеров? У нас есть обучающая выборка 60000 примеров, так вот номера вот этих 23 примеров, которые у вас якобы содержат ошибки ?

[Mihaylo]

tac в сообщении #1710736 писал(а):

А вы можете дать номера этих примеров?

[4154, 7255, 7640, 8121, 12668, 12861, 17152, 21662, 21816, 23303, 25003, 25094, 27352, 34219, 40856, 42064, 52156, 55427, 57654, 57925, 58501, 58909, 59865]