2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему
 
 вопрос о порогах при распознавании
Сообщение08.12.2014, 18:18 


02/04/09
40
Не уверен, правильно ли выбрал раздел. В общем, занимаюсь распознаванием. И возник такой философский спор с руководителем о порогах в алгоритмах.

Поясню: Предположим, ищем мы объекты на изображениях. И мне говорят: "чего ж ты реку анализируешь, ты ж видишь, что она синяя, а объект оранжевый". Или ещё: "всё что по контрасту меньше эпсилон - не анализируй".

Мне ещё понятно, когда такая логика применяется в "не опасных" задачах, когда цена ошибки невелика. А если задача "опасная"? Как я могу выбросить из рассмотрения кучу пикселов только потому, что у них контраст на несколько единиц меньше порога? или цвет не совсем такой? (ведь могут быть искажения на исходных данных)

Тогда я говорю: "давайте сделаем замешанный вариант: М = a*контраст + б*цвет и это будем сравнивать с каким-то порогом". Тогда мне говорят: "Делай проще, глупец, и ведь параметры "а" и "б" по сути тоже назначаемые параметры.". Но, как мне кажется, во втором случае параметры как бы более адаптивные, более устойчивые к шуму что ли. Где правда? Можете ли порекомендовать какую-нибудь годную статью или книжку, в которой об этом написано?
Спасибо.

 Профиль  
                  
 
 Re: философский вопрос о порогах при распознавании
Сообщение08.12.2014, 18:33 


07/08/14
4231
с философской точки зрения в обработке данных примерно так же как в добыче полезных ископаемых - добывать полезную информацию из имеющихся наборов данных имеет смысл ровно до тех пор пока результат добычи дороже стоимости добычи.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение08.12.2014, 18:37 


02/04/09
40
upgrade, это да. А если от ошибки зависит жизнь, например? Ну или скажем так, не только от этой ошибки, но и от неё в том числе.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение08.12.2014, 18:42 


07/08/14
4231
Лесной Дух в сообщении #942533 писал(а):
А если от ошибки зависит жизнь, например?

тогда вы определяете стоимость жизни и соотносите ее со стоимостью обработки.
Если Вы распознаете боеголовку на фоне неба и в случае не распознавания гибнете - это один вариант глубины обработки.
Если вы распознаете количество покупателей в затемненной зоне - другой вариант.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение08.12.2014, 19:01 


02/04/09
40
upgrade писал(а):
Если Вы распознаете боеголовку на фоне неба и в случае не распознавания гибнете - это один вариант глубины обработки.

Вот да, как раз примерно об этом и разговор. Есть мысль, что любые пороги - зло. Но некоторые пороги - более злые, чем другие. Например, когда мы говорим "контраст маленький - до свидания" - самое адское зло. А если корреляция с шаблоном ниже порога - это тоже зло, но более доброе зло. Потому что в корреляции участвует много данных.

Я и сам не совсем понимаю, в чём состоит мой вопрос. Но в чём-то он состоит.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение08.12.2014, 20:45 
Аватара пользователя


31/10/08
1244
Есть параметры надежности системы.
Они оцениваются и сравниваются с заданными.
К примеру первые ЭВМ имели показатели надежности порядка $10^{-3}$, а в современных от $10^{-12}$ до $10^{-15}$
В современных системах распознавания от $10^{-1}$ до $10^{-3}$

Есть методики ведения проектов. В которых на разных этапах разработки параметры надежности должны оцениваться. И соответствующие службы - отдел качества должен принимать меры.

Цитата:
А если задача "опасная"?

Что касается ответственных задач, то там принимают соответствующие меры разработки. Если эти системы отвечают за жизни людей, то там применяют отдельные команды для разработки и для тестирования. Причем первых изолируют от других.
А также дублируют отдельные механизмы и алгоритмы. Что повышает надёжность систем.

Цитата:
Например, когда мы говорим "контраст маленький - до свидания" - самое адское зло. А если корреляция с шаблоном ниже порога - это тоже зло, но более доброе зло. Потому что в корреляции участвует много данных.

Есть ошибки I-рода, а есть ошибки II -рода. Так вот при слабо сигнале у вас может превысить ошибка II рода. Тогда всё будет ещё хуже. Так что лучше выкидывать.
Это как с белым шумам. Используя фильтры из белого шума можно получить любой сигнал. Вот только к полезной информации он не будет иметь ни какого отношения.

Цитата:
Тогда я говорю: "давайте сделаем замешанный вариант: М = a*контраст + б*цвет и это будем сравнивать с каким-то порогом". Тогда мне говорят: "Делай проще, глупец, и ведь параметры "а" и "б" по сути тоже назначаемые параметры.". Но, как мне кажется, во втором случае параметры как бы более адаптивные, более устойчивые к шуму что ли. Где правда?

Давно известна теорема Баейса, но не все умеют ей пользоваться. А вот более устойчива формула к шуму или нет надо проверять. А это двойная работа.

Совет делать проще правильный. Вначале надо сделать хоть как-то, а потом можно будет дорабатывать систему. Смотреть где ошибок больше что влияет больше. И выбирать те места которые оптимизировать. А то иначе закопаетесь на одном месте. Учитесь планировать своё время.

Ведь по мима увеличения параметров есть и другие методы, которые более лучше работают.

Цитата:
Как я могу выбросить из рассмотрения кучу пикселов только потому, что у них контраст на несколько единиц меньше порога? или цвет не совсем такой? (ведь могут быть искажения на исходных данных)

Могут быть, а могут и не быть. Это же вероятность. Во-вторых информация дублируется. У вас я так понял спутниковые снимки. Ежедневно в космосе летает больше 100 спутников ДЗЗ и если прикинуть, то одновременно одну точку снимает от 4 до 20 спутников. Да и каждый час или сутки информация повторяется. Основная проблема как раз объемы информации - они очень большые. Да ещё растут с ускорением.

С искажениями к примеру можно бороться двойным порогом.
Цитата:
Тогда я говорю: "давайте сделаем замешанный вариант: М = a*контраст + б*цвет и это будем сравнивать с каким-то порогом".

Можно ещё и методы усиления(Ada busting) использовать. Я же говорю закопаетесь.
А ещё алгоритмы надо проектировать устойчивыми, а устойчивость бывает 3-х видов.

А вот когда диплом писать будете. То и надёжность вам считать надо будет, и устойчивость и методикой тестирования овладеть и научиться планировать: эксперимент, тестирование и разработку.

Книги, эм даже и не знаю. Просто как-то не видел маломальские книги где-бы всё это было в одном месте.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение09.12.2014, 02:32 
Аватара пользователя


22/09/09

1907
Слишком общая постановка вопроса, настолько общая, что нетрудно прийти к ошибочным выводам типа:
Лесной Дух в сообщении #942546 писал(а):
Есть мысль, что любые пороги - зло.
Двигаясь по пути подобных голословных обобщений, вообще ничего никогда распознать не получится :-) Прежде всего: есть зарекомендовавшие себя и строго обоснованные алгоритмы с использованием порогов, где можно точно оценить надежность, а есть эвристические, в которых точных гарантий дать нельзя, но они хорошо работают. Есть много гипотез, которые проверяют и пытаются использовать. Часто оправданным оказываются гибридные подходы, совмещающие строгие и нестрогие методы. И т.д. Но из всего этого не следует, что "любые пороги - зло". Напротив: факт в том, что пороги успешно применяют. При этом единичные ситуативные ошибки не исключены в любой распознающей системе. Произошла электромагнитная помеха, и четкая картинка с камеры на долю секунды сменяется беспорядочным мельканием, в котором ничего распознать невозможно - т.е. можно распознать, что невозможно ничего распознать и это тоже ценная информация. Но распознавание нужно вести не по одному кадру. (Если во многих кадрах "куча пикселов" в целом повторяется, то отбрасывать ее, возможно, и не стоит.) Даже в естественных распознающих системах, к которым искусственные долго еще не приблизятся, возможны единичные ощибки. Например, ослепит водителя свет фар встречного авто, он на секунды дорогу видеть перестает. Опасная ситуация. Если с водителем будет сидеть штурман, как на ралли, многих опасных ситуаций удастся избежать. Т.о. если поверхностно ставить вопрос о порогах (как в этой теме), то ответ - многократное дублирование. Если не поверхностно - надо дополнительно уточнять. Пока же действительно выглядит:
Лесной Дух в сообщении #942546 писал(а):
Я и сам не совсем понимаю, в чём состоит мой вопрос. Но в чём-то он состоит.
На такое отвечать удается только философски ;-)

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение09.12.2014, 11:22 


02/04/09
40
уу, Спасибо большое, всеобъемлюще! Даже не знаю, на что сначала отвечать.
bin в сообщении #942837 писал(а):
Двигаясь по пути подобных голословных обобщений, вообще ничего никогда распознать не получится

Пожалуй, Вы правы.
Pavia в сообщении #942639 писал(а):
Совет делать проще правильный. Вначале надо сделать хоть как-то, а потом можно будет дорабатывать систему. Смотреть где ошибок больше что влияет больше. И выбирать те места которые оптимизировать. А то иначе закопаетесь на одном месте. Учитесь планировать своё время.

Главную мысль я вроде понял, но, как говорится, осадок остался. Ладно, похоже все с этим живут.
Спасибо за ответ.

Открытым остался только вопрос с книгой. Может кто встречал, где об этом длинные рассуждения приводятся с примерами.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение09.12.2014, 12:33 
Аватара пользователя


31/10/08
1244
Я думаю вам надо понять, что такое "вероятность" и этого будет достаточно.
Ключевые слова вы можете найти в предыдущем моем сообщении и ищите по ним.
А так вам надо читать книги по следующим смежным дисциплинам:
- Теория вероятности;
- Метрология;
- Планирование эксперимента;
- Тестирование программ и оценка надёжности;
- Оценка надежности систем и аппаратуры;
- Распознавание образов и обработка сигналов.

Из этого списка видно насколько широко вы задали вопрос.

 Профиль  
                  
 
 Re: вопрос о порогах при распознавании
Сообщение10.12.2014, 00:27 
Аватара пользователя


22/09/09

1907
Лесной Дух в сообщении #942906 писал(а):
уу, Спасибо большое, всеобъемлюще!
Большое пожалуйста :D
Лесной Дух в сообщении #942906 писал(а):
Открытым остался только вопрос с книгой.
Посмотрите:
Г.Кимбл, Как правильно пользоваться статистикой, М.:Финансы и статистика, 1982 (Нпр, главы "Выборочный метод и познание мира", "Действительные и мнимые корреляционные связи")
Ш-К Чэн, Принципы проектирования систем визуальной информации, М.: Мир, 1994.
Это сранительно старые книги и что-то в практическом плане в них могло устареть, однако методологически они и сейчас актуальны.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Модераторы: Karan, Toucan, PAV, maxal, Супермодераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group