По видеоряду получить углы наклона и координаты воблы

[ilghiz]

Спасибо Emergency, за вопрос!

Emergency в сообщении #1550994 писал(а):

А вы уже формализовали плоскость воблы (нулевой угол)?

не, мне это не так надо. У меня есть первый (первые несколько кадров), которые я принимаю за вариант с нулевым сдвигом и нулевыми углами, далее все пляшет именно от этого положения.

[amon]

ilghiz в сообщении #1550860 писал(а):

Мне надо для каждого кадра (или хотя бы примерно 5 раз в секунду) получить точное местоположение воблы

Вообще, задача сложная и без априорной информации (размер воблы, характеристики оптики камеры и т.п.) не решается. Попробуйте погуглить "structure from motion". Там решается похожая задача, только объект неподвижен, а камера двигается. Если не прокатит, то умные люди советуют:

Некто знающий писал(а):

Наверное можно разделить задачу на две - сделать рыбный детектор, его можно как на нейронках собрать, так и попробовать чего попроще, например в openCV есть функции тракинга по шаблону
https://pyimagesearch.com/2018/07/30/op ... -tracking/
А вторая часть будет пытаться понять ориентацию рыбы, тут уж разные методы есть, можно просто ориентацию контура рыбы искать, можно нейронкой, как больше нравится

[ihq.pl]

amon в сообщении #1551022 писал(а):

похожая задача, только объект неподвижен, а камера двигается

вот вот, и при этом движение камеры полностью определено. Если речь о стерео реконструкции, то известны углы проекции и т.д. А о нейронной сети в данном случае, как я понял, речи быть не может, её нет. Да даже если б и была и её можно было бы натаскать на воблу, то с килькой, думаю, возникли бы проблемы

[ilghiz]

Я тащюсь, дорогая редакция, пишет вам (сами подставите кто). Какая нейронка? А? Тут 6 степеней свободы? Ась?

[slavav]

Monocular Video Odometry Using OpenCV:

На картинке выбираются фичи, который трекаются из кадра в кадр. Имея один набор фич в двух кадрах можно восстановить матрицу перехода для движения камеры между кадрами.

Плюсы: работает, есть способы отбрасывать плохие фичи, Готовое решение - можно пробовать.
Минусы: невозможно восстановить масштаб. Повороты камеры будут вычислены точно, а движения только с точностью до неизвестного масштабного множителя. Нужна предобработка картинок - удаление фона.

[B@R5uk]

slavav в сообщении #1551028 писал(а):

Повороты камеры будут вычислены точно

Ой-ли? Туда встроен учёт дисторсии? Если да, то как он делается: долгой калибровкой камеры или вшитым набором характеристик некоторых популярный камер? Ладно, поворот камеры вокруг её оптической оси не требует учёта этого явления, но остальные две оси поворота (а так же все смещения, иначе распознавалка выдаст поворот объекта при параллельном переносе камеры) очень даже требуют. С двигающимся объектом та же проблема.

[ilghiz]

B@R5uk в сообщении #1560436 писал(а):

Ой-ли?

Спасибо большое, B@R5uk, за то, что тему подняли. Хоть Ваш комментарий и не ко мне относился, но я полностью согласен с Вашим мнением.

Сейчас кстати воблу забросил и пробую разобраться с аналогичной задачей, но с использованием нескольких камер, и нанесением ярких светодиодных меток на объект, или установкой нескольких камер на движущийся объект так, разбросав светодиодные метки вокруг.

Топики тут: topic150126.html topic150103.html

[B@R5uk]

ilghiz в сообщении #1560437 писал(а):

Топики тут

Я видел эти топики. Я бы на вашем месте начал с более простой задачи. Поместите маятник на фоне плоского белого листа с нанесённой на него сеткой опорных точек для распознавания и сделайте вычисление положения маятника (это может быть шарик на нитке, брусок на оси или ещё что-нибудь более сложное) по видеозаписи с камеры (или хотя бы по фото, вырезанным с этой записи). Я уверен, на этой элементарнейшей задаче вы отработаете кучу интереснейших и очень важных технических моментов распознавания изображений. В частности, учёт дисторсии.

[ilghiz]

Спасибо большое, B@R5uk, за советы!

B@R5uk в сообщении #1560443 писал(а):

Я бы на вашем месте начал с более простой задачи.

Да, верно, есть множество более простых задач, на все просто времени не хватит. У меня есть уже достаточно хорошо вычислительно оптимизированные алгоритмы распознавания больших молекулярных структур (я их сам разрабатывал, программировал, и распараллеливал), и в чем-то такую задачу можно сравнить с задачей компьютерного зрения, хотя не спорю, и там и там есть свои нюансы и в той задаче нет аберраций объектива камеры, например.

Так как на данный момент я решаю совсем другую задачу, просто в ней мне потребовалось очень точное (0.3мм или хотя бы по первости 1мм) пространственное позиционирование местоположения бруска, я решил попробовать разные методы. Я довольно много перепробовал методов, которые позволяют использовать специальную физику, например, ИК ToF, ультразвук, но они не позволили мне получить приемлемую для меня точность, поэтому я, параллельно с основной моей задачей, пытаюсь найти максимально простой в имплементации метод получения позиционирования с заданной пространственной точностью, надеясь, что кто-то да сталкивался с похожими задачами и может по крайней мере быстро ограничить направления, в которых ходить не надо, а может и посоветует какой метод сейчас считается наиболее надежным и точным.

[B@R5uk]

ilghiz в сообщении #1560445 писал(а):

на все просто времени не хватит.

Не научившись ходить бегать не сможете. Любую задачу надо сначала упростить до предела, отработать решение (не обязательно оптимальное), а потом использовать результат как вариант тестирования более общей задачи. Полученный в процессе опыт тоже не помешает.

Я понимаю ваше желание быстренько пройти проторенной тропинкой к решению. Советую поискать технические статьи про то, как киношники снимают движения человека для последующего CGI.

[ilghiz]

B@R5uk в сообщении #1560446 писал(а):

Не научившись ходить бегать не сможете.

Филосовствовать - это не мешки ворочать. Вы, кстати, хоть какую-то разпознавалку в своей жизни написали? А я - да, и не одну, и аккуратно и политкоректно прошу совета. Но совета, не как мешки ворочать, а по теме.

[ozheredov]

ilghiz

Существуют два способа получить желаемое: 1) купить его за ресурсы и 2) пройти к нему весь путь целиком. Платить Вы, очевидно, не хотите (иначе бы давно приобрели соотв. софт), но при этом наезжаете на пользователя B@R5uk, предлагающего пройти путь целиком. Ваши рассуждения понятны: "Я гений, написавший и распараллеливший кучу распознавалок -- сейчас я закину на форум вопросик, случайно подвернется залетный спец, который в двух-трех словах подаст дельную мысль. Ну а уж я то, в силу своих незаурядных способностей и опыта, по-быренькому разверну эти два три слова в концепцию, техзадание и программный продукт". Это некая разновидность воровства (типа пиратства, в смысле скачивания нелицензионок), в которой однако я не вижу ничего плохого (как и в скачивании нелицензионок), до тех пор пока "thief" не наезжает на тех добропорядочных граждан, коим его рассуждения не близки:

ilghiz в сообщении #1560447 писал(а):

Филосовствовать - это не мешки ворочать.

ilghiz в сообщении #1560447 писал(а):

Вы, кстати, хоть какую-то разпознавалку в своей жизни написали? А я - да, и не одну

Оправдывает ли Вас большие знания и большой опыт, как человека, который не готов ни платить фуллпрайс, ни проводить полный цикл разработки, а хочет стянуть (хотите в кавычки поставлю -- "стянуть") идею и воплотить ее в софте, как СССР "стянул" у США ядреную бонбу?

[ilghiz]

ozheredov

Спасибо за рассуждения!

Я исхожу из форумных правил - люди деляться информацией, я не прошу готовой реализации, но считаю, что если кто-то "в теме" то он может сказать, например, фамилию правильного автора, кто на эту тему публикуется, или дать DOI. Я также изхожу из того, что исследования финансируются государствами из средств налогоплательщиков, и, являясь налогоплательщиком, я хочу иметь доступ к "научным" знаниям.

Я также, когда возникает вопрос по моей тематике, принимаю участие и делюсь информацией, хотя я не работаю в универе и у меня нет отчетности по публикациям или по лекционным часам. Свой жалкий хирш в 11 я когда-то набрал за 9 лет работы в универе и с тех пор не занимаюсь этим, но регулярно делюсь знаниями по моей специфике на этом и еще на нескольких форумах.

Когда в какой-то моей теме происходят обсуждения, даже если никто мне не помог советом, но, на основе обсуждений, я сам додумался, я выкладываю здесь ход решения, с расчетом, что кому-то в будущем это может пригодиться.

Когда мне кто-то говорит, вот ты это сделай, этому поучись, я считаю, что - это хамство. Если не хочешь знаниями делиться, промолчи. Если не знаешь, не звизди без поводу, и не засоряй тему, к вам, ozheredov, к сожалению, это тоже относится.

[slavav]

B@R5uk, https://github.com/ethz-asl/kalibr - вычисляет в том числе модель дисторсии камеры.

[ilghiz]

slavav в сообщении #1560462 писал(а):

https://github.com/ethz-asl/kalibr - вычисляет в том числе модель дисторсии камеры.

Спасибо большое, за интересную ссылку, а, оказывается, Томас Шнайдер из ЕТХ, как раз правильными вещами занимается по теме! СПАСИБО!!!