Нейросетевые оракулы

[Mihaylo]

$m$ оракулов обучены распознавать по изображениям цифры 0-9. Точность распознавания $i$-го оракула составляет для каждой цифры $(p_{i0}, p_{i1}, p_{i2}, p_{i3}, p_{i4}, p_{i5}, p_{i6}, p_{i7}, p_{i8}, p_{i9})$. Эти вероятности в сумме не равны единице, если что.
$k$ оракулов уже дали свои прогнозы по очередному изображению. Прогноз представляет собой похожий набор вероятностей $(p_{j0}, p_{j1}, p_{j2}, p_{j3}, p_{j4}, p_{j5}, p_{j6}, p_{j7}, p_{j8}, p_{j9})$, но в этом случае это уже распределение вероятностей и сумма вероятностей равна единице.
Нужно выбрать очередного оракула из оставшихся $(m - k)$ такого, который даст наилучшую точность распознавания изображения.

[Евгений Машеров]

Ошибки оракулов независимы?

[Mihaylo]

Вообще ошибки могут быть зависимы, но давайте представим, что мы старались сделать очень разных оракулов, т.е. независимые ошибки. И интересно, как это влияет на выбор (как зависимость влияет на выбор оракула).

-- 16.11.2024, 03:06 --

Изображение, которое оракулы получают на вход - одно и то же. Если там какая-то нестандартная загогулина, то будет зависимая ошибка и с этим ничего не поделаешь.

-- 16.11.2024, 03:13 --

Можно также сформулировать задачу №2 - отобрать $m$ наиболее независимых лучших оракулов для последующего распознавания (задача №1 выше). Какие характеристики надо измерить и как отбирать.

[Евгений Машеров]

Эмпирика в голову лезет.
Умножаем вероятности букв, выданные i-тым оракулом на вероятность того, что нет ошибки, суммируем по всем оракулам, получаем "согласованный прогноз" (который можно пронормировать к единице, но не обязательно). Затем для каждого проверяемого оракула находим вероятность правильного ответа, при условии, что вероятности предъявления букв равны "согласованным". Выбираем лучший.
При независимых ошибках может работать. При зависимых - сомнительно.

[Mihaylo]

Представим себе, что коллегия оракулов решила, что $p_4 = 0,6$ и $p_9 = 0,4$. Надо выбрать следующего оракула, который лучше "разбирается" в обеих цифрах или достаточно в цифре "4"?

[Евгений Машеров]

Думаю, надо обе учитывать, с соответствующими весами.

[Mihaylo]

Буду пробовать минимизировать информационную энтропию.

[Евгений Машеров]

Mihaylo в сообщении #1661584 писал(а):

И интересно, как это влияет на выбор (как зависимость влияет на выбор оракула).

Мне представляется, что если включить в рассмотрение зависимые ошибки, то предпочтительным может оказаться не лучший по точности из оставшихся оракул, а "антикоррелированный" с уже выбранными. Но тут надо вводить меру зависимости, более сложную, чем просто вероятности ошибок.

[Евгений Машеров]

В роде примера:
Имеется 10 равновероятных вариантов входного сигнала.
Имеющиеся оракулы ошибаются: №1 в вариантах 1, 2 и 3, №2 в вариантах 4, 5, 6.
Принято решение дополнить третьим, чтобы принимать решение голосованием.
Оракул №3 ошибается в вариантах 3 и 4, оракул №4 в вариантах 3, 7, 8, оракул №5 в вариантах 7, 8, 9, 10.
Сам по себе самый точный оракул №3, самый неточный №5, а №4 "промежуточный".
Но 1+2+3 ошибаются в 20% случаев, 1+2+4 в 10% случаев, 1+2+5 не ошибаются.
Как измерять "независимость" подобного рода, не совсем понимаю, но информационный подход может тут заработать.
Ну и усложняя задачу - оракулы могут иметь разную стоимость
("медицинская постановка" - доступные оракулы дают ответ на основе анамнеза, рутинных анализов, физикального обследования и т.п., а "дополнительные" это дорогостоящие обследования или даже диагностические хирургические вмешательства, и надо выбирать, минимизируя затраты или риск для пациента; тут ещё появляется цена ошибки)

[Mihaylo]

У меня несколько иной взгляд на применение. Обучаем множество элементарных оракулов. Ориентировочно достигаемая ошибка 44%, думаю несколько из лучших будут таковыми. Все эти оракулы будут реально разными, так как на вход будут получать разные данные об объекте.

Это, по моему представлению, должно напоминать беглое чтение. Мы читаем разные части предложения на выбор. Или смотрим на разные места изображения. Выбор оракулов должен быть умный, поэтому можно "задержать внимание", если это требуется для понимания.

Пока нейросетевой алгоритм выбора оракулов не получается. Пока я решил реализовать выбор оракулов на основе теории вероятности.