Куда шагать в ML

[mihaild]

tac в сообщении #1710559 писал(а):

Ерунда там какая та, ну впрочем что от википедии ожидать

А причем тут википедия?
В статьях правда часто пишут ошибку (но иногда и точность). Ошибки в 1.3% по приведенной сссылке вообще нет.
Но в целом я не удивлюсь, если не очень удачная архитектура CNN, особенно без регуляризаций, даст и 1.3%, и 2.5% ошибок.

tac в сообщении #1710559 писал(а):

Судя по всему, математики не различают эти ньюансы, поэтому у них эти слова синонимичны, а программистов это вводит в ступор.

Математики вообще не пользуются этими словами отдельно, они всегда являются частью словосочетаний (так же, как и слова "число" или "пространство", например).

realeugene в сообщении #1710588 писал(а):

А сейчас принято получать от сеток несколько лучших гипотез с их вероятностями чтобы скормить их более высокому уровню

Такое в общем-то как было принято только в контестах, так и осталось.
В индустрии иногда используются ансамбли со сложной моделью поверх, но там, как правило, простые берутся разной природы и на разных частях данных.

[realeugene]

mihaild в сообщении #1710596 писал(а):

Такое в общем-то как было принято только в контестах, так и осталось.

В чём?

Сложность в необходимости ручной разметки похожести в обучающей выборке, и, поэтому, если городить подобную систему, то гораздо проще запихнуть в общий фреймворк обучаемой совместно одной сетки?

[mihaild]

realeugene в сообщении #1710598 писал(а):

В чём?

В соревнованиях по машинному обучению.
Условно модели делаются в трех контекстах: индустрия (запускаем на данных, для которых ответа в принципе нет, и предсказание модели влияет на то, что делаем с пользователем), академия/статьи (полный датасет известен, нужно как-то красиво помахать руками "мы тут его разбили на две части и честно-честно во вторую не подглядывали, а просто придумали хорошо работающую модель из лягушачьей чешуи") и соревнования (есть полный датасет с признаками, но участникам дают ответы только для части примеров; нужно сдать ответы для остальных, у кого они окажутся лучше -тот молодец).
И в последнем варианте очень распространено подход "делать что угодно ради улучшения метрик в шестом знаке, никак не сверяясь со здравым смыслом". В результате чего и получаются варианты "обучим на датасете 50 моделей самой разной природы, а потом на их предсказаниях еще десять; весь этот процесс повторим 100 раз и результаты усредним".

realeugene в [url=http://dxdy.ru/pхost1710598.html#p1710598]сообщении #1710598[/url] писал(а):

Сложность в необходимости ручной разметки похожести в обучающей выборке

А возможно я неправильно понял, о чем Вы.
Я имел в виду подход "учим модель на предсказания другой модели как на признаках". Вы об этом же, или о чем-то другом?

[realeugene]

mihaild в сообщении #1710603 писал(а):

Я имел в виду подход "учим модель на предсказания другой модели как на признаках". Вы об этом же, или о чем-то другом?

Я имел в виду предложение Mihaylo :

Mihaylo в сообщении #1710487 писал(а):

Допустим у нас есть датасет, где написано "князь Милославский родился в 7564 году". Откуда этот датасет взялся? Ну да, выдрано из энциклопедий, справочников, исторической литературы, летописей, интервью и т.п. Мы можем научить выдирать подобную информацию другую нейросеть и наказывать её за ошибки. Тогда такая нейросеть будет знать, что а-я-яй, какой там 7564-й год! Да, нам не нужна генерация текстов, мы говорили о том, что нейросеть должна как-то отреагировать на этот текст, а не генерировать. Но нейросеть, которая знает особенности генерации правильных фактов, способна определять ошибки.

То есть над машиной, хорошо распознающей изолированные цифры, можно надстроить вторую машину, корректирующую эти распознанные цифры с учётом контекстной информации. Но есть один нюанс. В той же базе NIST среди ошибочно распознанных цифр на картинке выше многие неправильно распознанные цифры на самом деле распознаны почти правильно, так как они похожи на те цифры, которые машина выдала в качестве неправильного результата. Для машины верхнего уровня это полезная информация: некоторые семёрки похожи на единицы, а другие - совершенно не похожи, и превращать в единицу можно только похожую семёрку, а непохожую следует оставить как есть. Кто знает, зачем человек так написал, может быть он пользуется другим летоисчислением? Но чтобы так интегрировать две разнородные системы, распознавалка отдельных цифр должна выдавать в качестве результата не одну лучшую гипотезу, а некоторое множество гипотез, атрибутированных их похожестью на правильный результат. Мой вопрос: с сетками сейчас так не делают?

[mihaild]

realeugene в сообщении #1710610 писал(а):

Но чтобы так интегрировать две разнородные системы, распознавалка отдельных цифр должна выдавать в качестве результата не одну лучшую гипотезу, а некоторое множество гипотез, атрибутированных их похожестью на правильный результат. Мой вопрос: с сетками сейчас так не делают?

А, понял.
Как минимум несколько лет назад так делали в распознавании речи - одна модель генерирует варианты распознавания на основании просто звука плюс минимального контекста, другая, знающая больше контекста, из них выбирает (у меня даже патент есть на некоторый механизм предоставления первой модели дополнительного контекста).
В распознавании картинок такой подход тоже используется, но сейчас всё больше распротраняется native multimodality, когда одна модель и работает с изображением, и отвечает за world knowledge.

[realeugene]

mihaild в сообщении #1710616 писал(а):

Как минимум несколько лет назад так делали в распознавании речи - одна модель генерирует варианты распознавания на основании просто звука плюс минимального контекста, другая, знающая больше контекста, из них выбирает

Так делали давным-давно, вопрос был именно про сетки.

[mihaild]

realeugene в сообщении #1710618 писал(а):

Так делали давным-давно, вопрос был именно про сетки.

Так обе модели тут - нейронки.
Или Вы хотите чтобы одна модель прямо список вариантов финальных ответов с весами выдавала?

-- 25.11.2025, 14:10 --

(Оффтоп)

realeugene в сообщении #1710618 писал(а):

давным-давно

Я как раз в обратную сторону - раньше так делали, продолжают ли - не уверен.

[realeugene]

mihaild в сообщении #1710623 писал(а):

Или Вы хотите чтобы одна модель прямо список вариантов финальных ответов с весами выдавала?

Ну да. Гипотезы модели верхнего уровня состоят из гипотез нижнего уровня. И машина верхнего уровня выбирает лучшую комбинацию с использованием своих знаний.

-- 25.11.2025, 16:15 --

mihaild в сообщении #1710623 писал(а):

Я как раз в обратную сторону - раньше так делали, продолжают ли - не уверен.

Проще обучить единую огромную сетку, чем размечать обучающую выборку для нижнего уровня атрибутами правдоподобности нескольких ответов?

[Mihaylo]

tac в сообщении #1710559 писал(а):

дает в среднем 99,4%. (перепроверял)

Не помните, как измеряли? На тестовых данных?

mihaild в сообщении #1710527 писал(а):

Я говорил, что есть какое-то интересное свойство у встречающихся на практике датасетов, проявляющееся, в том числе, в том, что нейронки на них хорошо работают. И не очень понимаю - Вы предлагаете какой-то ответ на этот вопрос, или просто формулируете какое-то утверждение (какое?)?

Вы в своем исходном сообщении писали об отсутствующем где-либо описании распределений, встречающихся на практике. Так вот, нейросеть - это описатель распределений. При чем из всех алгоритмов выжили именно такие, а не другие.

realeugene в сообщении #1710588 писал(а):

А сейчас принято получать от сеток несколько лучших гипотез с их вероятностями чтобы скормить их более высокому уровню, или такое делают только между внутренними слоями одной сетки?

Всё, что угодно!

-- 25.11.2025, 18:47 --

Mihaylo в сообщении #1710632 писал(а):

Не помните, как измеряли? На тестовых данных?

А, простите, увидел.

-- 25.11.2025, 19:35 --

Хм, простите, я неправильно считал accuracy (точность)...

Я передрал модель, и она тоже выдавала не тот результат. Исправляюсь.

[mihaild]

realeugene в сообщении #1710624 писал(а):

Гипотезы модели верхнего уровня состоят из гипотез нижнего уровня

Как правило можно выбрать какой-то более удобный промежуточный формат.

realeugene в сообщении #1710624 писал(а):

чем размечать обучающую выборку для нижнего уровня атрибутами правдоподобности нескольких ответов?

Не очень понимаю, зачем. Просто применяем первый уровень на нашем же датасете, и получаем признаки. А таргет тот же.

realeugene в сообщении #1710624 писал(а):

Проще обучить единую огромную сетку,

В целом да. В крайнем случае можно отдельно обучить энкодер, чтобы основную модель проще учить было.

Mihaylo в сообщении #1710632 писал(а):

Так вот, нейросеть - это описатель распределений.

Ну да, но при чем тут гладкость?
И я бы не сказал, что описание "распределения особенны тем, что на них работают нейросети" на вопрос "что такого особенного в распределениях, что нейросети на них работают" - хороший.

[realeugene]

mihaild в сообщении #1710639 писал(а):

Как правило можно выбрать какой-то более удобный промежуточный формат.

mihaild в сообщении #1710639 писал(а):

Не очень понимаю, зачем. Просто применяем первый уровень на нашем же датасете, и получаем признаки. А таргет тот же.

Возвращаясь к примеру Mihaylo: пользователь ожидает получить на выходе связный текст, состоящий из букв и цифр, и соответствующий тому, что на самом деле было написано другим человеком, а не галюцинации о том, что этот другой человек хотел на самом деле написать.

[Mihaylo]

mihaild в сообщении #1710639 писал(а):

И я бы не сказал, что описание "распределения особенны тем, что на них работают нейросети" на вопрос "что такого особенного в распределениях, что нейросети на них работают" - хороший.

Феноменальность (особенность) данных заключается в том, что не надо давать дополнительные условия, чтобы задача "1, 2, 3, 4, ..." была решена. Если бы мы говорили об отсутствии феноменальности у данных, то продолжение последовательности могло бы быть абсолютно любым.

Феноменальность - это особое свойство. Если данные (задача) феноменальны, то интеллект решает такую задачу; если же данные произвольны (универсальны), то интеллект не решает задачу.

Если задача "1, 2, 3, 4, ..." феноменальна, то ответ "5". Если же задача универсальна, то ответ может быть любым.

Универсальные задачи во много раз мощнее феноменальных задач, но при этом феноменальные задачи встречаются чаще универсальных. На этом работает интеллект, в других случаях он бесполезен.

Нейросети - это отобранный многим годами описатель тех самых удивительных феноменальных данных.

[mihaild]

Mihaylo в сообщении #1710653 писал(а):

Феноменальность - это особое свойство

А определение у него есть? Кроме "данные, которые хорошо описываются нейросетью"?

-- 25.11.2025, 21:01 --

realeugene в сообщении #1710643 писал(а):

Возвращаясь к примеру Mihaylo: пользователь ожидает получить на выходе связный текст, состоящий из букв и цифр, и соответствующий тому, что на самом деле было написано другим человеком, а не галюцинации о том, что этот другой человек хотел на самом деле написать.

Я перестал понимать.
Вот у нас есть картинки с текстом. Мы хотим систему, которая по картинке выдает текст.
Делаем её двухуровневой. Второй уровень выдает собственно ответ. Вы накладываете какие-то ограничения на то, что должен выдавать первый уровень?

[realeugene]

mihaild в сообщении #1710654 писал(а):

Вот у нас есть картинки с текстом. Мы хотим систему, которая по картинке выдает текст.
Делаем её двухуровневой. Второй уровень выдает собственно ответ. Вы накладываете какие-то ограничения на то, что должен выдавать первый уровень?

Да, я оцениваю результаты распознавания отдельных букв и выдаю наиболее вероятные предложения, состоящие из этих букв. При этом этом есть и априорные ограничения, например, на алфавит языка, и анализ сочетаний букв, чтобы по возможности получались осмысленные слова и предложения, а не абракадабра. Первые ограничения жёсткие, заданные конфигурацией системы, вторые - мягкие, когда выбирается наиболее вероятная последовательность из близких альтернатив. Для анализа сочетаний требуется некоторая оценка похожести каждой буквы из алфавита. Чтобы заменять на единицы только похожие на единицы семёрки, и не заменять непохожие.

[Mihaylo]

mihaild в сообщении #1710654 писал(а):

А определение у него есть? Кроме "данные, которые хорошо описываются нейросетью"?

Характерные данные, которые чаще всего встречаются. Всё же обсуждение началось с вашего описания.