Детекция движущихся объектов: план изучения

[ozheredov]

Добрый день, форумчане

Возник интерес к теме в заголовке. Набросал примерно список, во что нужно вникнуть (по порядку вникания):

а) Марковские поля
б) Стохастические дифференциальные уравнения
в) Фильтры, переходные функции, поглубже копнуть свойства z-преобразования и т.п.
г) И далее уже практика (пока слышал звон, да не знаю, где он -- всякие Лукас-Канаде, Виола-Джонс, фильтры Калмана и пр.)

Подкорректируйте пожалуйста, если можно, моё направление обучения и подскажите современную литературу средней сложности по темам (предпочтительно бумажную). Гуглил долго и много -- сплошной мусор либо с тупым переписыванием откуда-то формул, так что неясна логика -- вот это вот зачем, а это вообще откуда??, либо вообще без формул и теории -- возьмём API, сунем во фреймворк --- работает! Заранее спасибо за участие.

[Pavia]

Странный у Вас список. Я так понимаю детектор движения это не самоцель?
Во-вторых хотелось бы уточнить вам детектор движения, в качестве тревожного сигнала нужен или для компрессии изображений?

а) Фильтры, переходные функции, поглубже копнуть свойства z-преобразования и т.п.
Лем Г.-Аналоговые и цифровые фильтры-Мир (1982)
А.Б.Сергиенко Цифровая обработка сигналов(2003)
Б. Яне-Цифровая обработка изображений-Техносфера(2007)

б) Стохастические дифференциальные уравнения
И.К. Волков, СМ. Зуев, Г.М. Цветкова Случайные процессы.

Думаю раз вам нужен детектор, то с него и стоит начинать. Потому что это по большей части набор эмпирика которые хорошо работают или плохо.
Для начало советую прочитать:
http://www.compression.ru/dv/course/compr_video.pdf

фильтры Калмана - достаточно открыть википедию.
Лукас-Канаде - достаточно открыть википедию или любую статью. Если проблемы с формулами, то учить линейную алгебру и векторные преобразования.

Перед марковские поля неплохо бы познакомится с деревьями решений. И видео кур Воронова посмотреть по ИИ и классификаторам.

[ozheredov]

Pavia в сообщении #1360240 писал(а):

А.Б.Сергиенко Цифровая обработка сигналов(2003)
Б. Яне-Цифровая обработка изображений-Техносфера(2007)

Спасибо!

Pavia в сообщении #1360240 писал(а):

Я так понимаю детектор движения это не самоцель?

Самоцель. На каждый объект нужна пара функций -- зависимости координат верхне-правого и нижне-левого угла минимального по включению прямоугольника, накрывающего изображение объекта, от времени.

Pavia в сообщении #1360240 писал(а):

фильтры Калмана - достаточно открыть википедию.
Лукас-Канаде - достаточно открыть википедию или любую статью.

На википедии мне не понравилось описание. Попробую прочитать вашу статью по ссылке -- возможно мои вопросы станут более предметными

Pavia в сообщении #1360240 писал(а):

Если проблемы с формулами, то учить линейную алгебру и векторные преобразования.

LOL. Таких проблем нет.

Pavia в сообщении #1360240 писал(а):

неплохо бы познакомится с деревьями решений. И видео кур Воронова посмотреть по ИИ и классификаторам.

Сам писал алгоритмы генерации решающего леса. Вы имеете в виду Воронцова?

[Paragraph]

Цитата:

Я так понимаю детектор движения это не самоцель?

Самоцель.

А как измерять успех мероприятия планируете? Я бы начал с ответа на этот вопрос.

У на сразу выкидывают резюме, гда написано "работал над ..." или "изучал ...". Ожидается "сделал [конкретная задача, публикация, и т.п.]". А если надо решать практическую задачу, то очень много чего уже есть в scikit-learn и OpenCV. Я начал бы с ознакомления существующих методов, которые уже доведены до готового софтвера. Моя рекомендация - поставьте себе конкретную задачу и начните с нее, а не с литературы вообще. Список атоматически станет конкретным.

[Pavia]

ozheredov
Раз детектор движения самоцель.
То тогда план такой
а) гистограмма ориентированных градиентов (Histogram of Oriented Gradients)
б) оптический поток (Optic Flow).
в) Решение переопределённых систем линейных уравнений(для начало алгоритм Mypa - Пенроуза, но SVD лучше).
г) Устранение движения.
д) Далее поиск или раскраска связанных компонент (Blobs Detect).
е) Поиск левого и правого угла для каждой кляксы(blobs)

Цитата:

Воронцова?

Да Воронцова.

Гистограммы градиентов:
https://www.learnopencv.com/histogram-o ... gradients/

Лукас-Канаде:
https://pdfs.semanticscholar.org/c439/0 ... 46f1a2.pdf
https://www.cv-foundation.org/openacces ... _paper.pdf

Детекторы:
http://delta-course.org/docs/delta7/Day7/Delta7D7L2.pdf
https://web.archive.org/web/20120905061 ... 1984_1.pdf
Можно ещё подобрать статьи.

Что касается фильтрации, то я так понимаю сейчас всё сводится к классификаторам. SVM или нейронные сети либо вероятностные деревья решений(Марковские поля), но это скорее продвинутый уровень. Который легко заменяется удачно подобранным сглаживанием.

Можете ещё поспрошать на compvision.ru там у ребят свой детектор есть с обучением.

[ozheredov]

Paragraph в сообщении #1360355 писал(а):

А как измерять успех мероприятия планируете? Я бы начал с ответа на этот вопрос.

Для начала сниму видео, как я катаю по паркету шарики для гольфа. Если отслеживание удастся (написать по каким критериям как я пойму, удалось ли алгоритму отследить движение? или можно не надо?), попробую отследить что нибудь геометрически сложное и менее заметное. Чёрную кошку в тёмной комнате.

Paragraph в сообщении #1360355 писал(а):

У на сразу выкидывают резюме, гда написано "работал над ..." или "изучал ...".

Это правильно. По своему опыту знаю, что ключевые фразы "изучал" и "работал над" в 100% указывают на студентоту, ленивую и хитрую.

Paragraph в сообщении #1360355 писал(а):

Я начал бы с ознакомления существующих методов, которые уже доведены до готового софтвера.

"Нажми на кнопку - получишь результат" меня не устраивает. Я хочу разобраться, на основе чего это работает.

(Оффтоп)

Полгода назад ради прикола придумал и написал свой алгоритм на усреднении и вычитании фона. Работало на троечку )

Pavia

Спасибо за ссылки. Сейчас разгружусь -- почитаю обязательно

[Paragraph]

Перед тем как нырять в глубину, загляните вот сюда: https://github.com/NVIDIA/flownet2-pytorch

Всё идет к тому, что мастерское владение киркой и лопатой в век промышленных ВВ, бульдозеров и экскаваторов уже не так актуально. "Привыкли руки к топорам", что называется :)

[ozheredov]

Paragraph
Заглянул. Меня интересует не владение, а понимание принципов. Экскаватор и лопата с этой точки зрения работают схожим образом

[Paragraph]

Я полность за понимание принципов. Меня бесят кандидаты на работу, которые на задачу простой сортировки сразу предлагают обучить глубокую нейросеть. В computer vision, хотим мы этого или нет, наиболее убедительные последние достижения получены именно через глубокие сверточные нейросети. Поэтому выбор простой: если решаем конкретную задачу, то PyTorch или TF + Keras (естественно, предполагаем достаточно большую обучающую выборку), а если из любви к искусству - то Ваш список очень даже хорош. Причем, продолжать его можно всю жизнь.
Вдогонку: посмотрите DLSS - пространственно-временной анти-алиасинг от Nvidia. Алгоритм? Огромная обучающая выборка для рендеринга игр и, как результат, нейросеть прошитая в firmware.
ЗЫ. Опять таки, ни в коем случае не хочу преуменьшить важность принципов...

[ozheredov]

Paragraph в сообщении #1373939 писал(а):

если решаем конкретную задачу, то PyTorch

Давайте я попробую объяснить с другой стороны. Вот каждая уважающая себя кошка какает в унитаз, и для этого ей нужно открывание двери в туалет. Она выучивает некую мнемоническую последовательность действий, позволяющую открыть вот этот конкретный замок. Что такое дверь, зачем её запирают, каким боком тут замок, как устроены замки и т.д. кошку не интересует. Кошка не может и не в хочет подняться на более высокий уровень абстракции. Я не буду расписывать преимущество быть человеком по сравнению с бытием кошкой, я прекрасно отдаю себе отчёт в том, что с современным уровнем науки, технологий и образования в стране это бесполезно. Скажу лишь о том, что кошка не сможет попасть в туалет, если хозяин поменяет тип замка (щеколду на ручку) или тип двери (открываемую на раздвижную). Кошка не дополучит profit, а этот недостаток уже вполне понимают « решатели конкретных задач».

Вы активно топите за кнопконажимательный (назовём это так, за более четким определением в lurkmore.to) подход, оправдывая это тем, что учиться можно всю жизнь, а денежки хочется уже сейчас. В какой то мере такая позиция мне понятна, но лично я сейчас не очень голодаю, и не вижу особой необходимости превращаться в подобие животного ради добавки к доходу.

-- 04.02.2019, 02:10 --

Paragraph в сообщении #1373939 писал(а):

DLSS - пространственно-временной анти-алиасинг от Nvidia. Алгоритм? Огромная обучающая выборка для рендеринга игр и, как результат, нейросеть прошитая в firmware.

Лучшее описание алгоритма из всех, которые я когда-либо видел

[Paragraph]

Рискуя уйти в офтоп: Я за наиболее эффективное решение задачи. Счет в уме полезен в одном случае, калькулятор в другом, а супер компьютер в третьем. Собственно, computer vision ушло из эпохи аналитических подходов в область универсальных аппроксиматоров, каковыми являются нейросети. Это, впрочем, не закрывает для Вас возможность открыть новый аналитический подход.

[ozheredov]

Paragraph

Вы серьёзно меня не понимаете или прикалываетесь? Если я понимаю что за это я получил 34568, а за другое 87659, и сумма этих цифр это мой к примеру месячный доход, которым я могу распорядиться, купив сколько то там того-сего, то зачем мне устный счёт? Естественно, я буду юзать калькулятор. Если же я не понимаю, что такое сумма, произведение, частное и т.д., но какой то дядя сказал мне: нажми вот эту кнопочку, потом вот эту и эту — то я должен отложить калькулятор и разобраться в сути того, чем собираюсь заниматься. Я снова непонятно изъясняюсь?

ИМХО, не стоит маскировать отсутствие понимания сути с помощью аналогий «устный счёт — калькулятор», «лопата — экскаватор», «изобретательство — пользование» и т.п. В настоящее время уже полностью сформировалась огромнейшая прослойка исполнителей, выучивших пошаговые инструкции «куда нажать» и нифига не смыслящих даже в самых фундаментальных основах. Я не вижу повода стесняться принадлежности к означенному контингенту, однако меня самого туда не тянуло и не тянет. У меня другие ориентиры

[Mihaylo]

Стремление мыслить фундаментально похвально. Интересно, удастся ли Вам дойти до понимания теории струн или хотя бы уравнения Дирака?

А может это все не нужно?

Наша цивилизация существует, хотя подавляющее число представителей цивилизации не знает, как работает компьютер и как устроен подшипник скольжения.

Нет, это точно не нужно.

[Paragraph]

ozheredov
Мы говорим об одном и том же. Есть задачи и есть наиболее эффективные методы их решения.

Ваша задача понять, например, как работает optical flow в разных методах его вычисления. Задача благородная и, несомненно, нужная, если заняться преподаванием или написанием академических статей.

Но это совсем не то же самое, что сегодня натренировать сеть, которая не "знает" как это работает, но вычисляет этот самый optical flow лучше, чем остальные алгоритмы и при этом работает на конретном железе. Сравнивать тут нечего и противоречия я не вижу.

[=SSN=]

Paragraph в сообщении #1374222 писал(а):

Ваша задача понять, например, как работает optical flow в разных методах его вычисления. Задача благородная и, несомненно, нужная, если заняться преподаванием или написанием академических статей.

Не нужно утрировать. Эта задача нужна не только для "преподавания или написания академических статей". Все современные видео-кодеки, начиная с MPEG-2 и заканчивая самым новым h.265 используют optical flow для сжатия видео-потока. Никакие нейронные сети и суперкомпьютеры при этом не используются. Это было бы слишком дорого и проигрывало бы конкурентам в цене. Довольно часто эти кодеки синтезируют на микросхемах программируемой логики (FPGA) для которых готовых и бесплатных библиотек просто не найти. Такая же задача стоит перед теми, кто желает изготовить свой "проприетарный" видео-кодек в ASIC'е. Поэтому если стоит задача сделать свой видео-кодек на FPGA или на ASIC, то понять как работает алгоритм optical flow все же придется. И никакие "press any key" из пакетов готовых программ тут не помогут.