Какие фигуры проще всего распознаются на видео?

[ilghiz]

Добрый день,

вопрос частично связан с тем, что тут по соседству обсуждается topic150103.html

Задача такова, есть движущийся объект, и
вариант 1: либо на нем находится куча видеокамер и смотрит по сторонам, а по сторонам стоят платы с ИК светодиодами, или
вариант 2: вокруг движущегося объекта стоит несколько камер, а на объекте есть несколько фигур, выложенных из ИК светодиодов.

Мне нужно максимально точное пространственно позиционирование движущегося объекта в реальном времени по видео.

Светодиоды могу выбрать довольно точечные, около 1х0.5мм, как я понимаю, детектировать фигурки проще всего по максимому градиента.

Вопрос в том, что фигурок хочется сделать несколько, например, около 10, и на видео каждой камеры далеко не все фигурки будут видны, и, скорей всего еще с разными наклонами и я заранее не могу предвидеть какая будет видна, а какая нет.

Как выбрать фигурки, чтобы каждая содержала бы поменьше сфетодиодов, но их легко было бы друг от друга отделить и вытащить максимум информации?

То есть сделать что-то типа треугольника, квадрата, звездочки, можно, но как выбрать оптимальные? Ведь такие фигурки как метки, где-то люди уже изучали, и возможно, есть какой-то стандартный набор таких фигурок.

Сам не нагуглил как такое называется, но может, кто смог бы подсобить, пожалуйста, посоветуйте!

Спасибо!

[Mihaylo]

Вам нужно хотя бы бегло посмотреть курс компьютерного зрения (computer vision). Там вы узнаете про детектор углов Харриса, признаки Хаара... Думаю, фигура должна быть такая, чтобы контрастировать с окружением. И угловатая. То есть некий многоугольник. Несколько многоугольников.

-- 18.07.2022, 01:01 --

Преобразование Хафа - для поиска точек на прямой или окружности.

[ilghiz]

Спасибо большое, Mihaylo, за ответ!

Mihaylo в сообщении #1560414 писал(а):

Вам нужно хотя бы бегло посмотреть курс компьютерного зрения (computer vision).

возможно, хотя вроде я методы сравнения картинок по особым точкам и дальнейшего поиска матрицы преобразования и вектора сдвига я уже даже имплементировал, но, не спорю, что могу что-то позабыть или пропустить и сейчас перепросматриваю современные курсы компьютерного зрения.

Mihaylo в сообщении #1560414 писал(а):

Вам нужно хотя бы бегло посмотреть курс компьютерного зрения (computer vision). Там вы узнаете про детектор углов Харриса, признаки Хаара... Думаю, фигура должна быть такая, чтобы контрастировать с окружением. И угловатая. То есть некий многоугольник. Несколько многоугольников.

я же как раз это и писал. Я как раз понимаю, что фигуры должны хорошо разпознаваться алгоритмами с особыми точками, но вот как выбрать фигуры - для меня довольно большой вопрос.

Я даже задумывался о том, чтобы взять все возможные фигуры, которые можно построить скажем из 1-10 светодиодов, и как-то разумно пространство таких фигур дискретизовать, и натравить на это все алгоритмы распознавания. Но вот есть большая вероятность, что из-за высокой вычислительной сложности такой задачи я буду вынужден ввести сколько-то пренебрежений при дискретизации, и что-то важное потеряю. Потом сравнивать просто плоскую фигуру - вроде не правильно, я буду "видеть" эти фигуры повернутые и под углом, то есть какие-то фигуры, допустим, при правильном расположении будут хорошо распознаваться, а при "неправильном" - не очень. Вот тут у меня и возникает непонимание как точнее сформулировать критерий.

Собственно из-за этих фактором я и открыл этот топик.

[B@R5uk]

Точечность светодиодов будет проблемой; гораздо эффективнее (с точки зрения точности распознавания позиционирования) использовать матовые равномерно подсвеченные шарики (или хотя бы кружочки). Чем больше пикселей занимает изображение контрольного объекта, тем точнее положение этого объекта в кадре вычисляется. Светодиоды к тому же обладают сильной анизотропией излучения. Слишком точечные могут даже дать интерферренционную картину на матрице камеры (при удачном фокусе). Так же, при хорошем фокусе яркость слишком точечного светодиода будет прыгать при движении, так как его образ на матрице будет попадать то на, то между светочуствительными областями, так как далеко не вся поверхность матрицы является светочувствительной. Тут, конечно, очень многое зависит как от самой матрицы камеры, так и от оптики.

На счёт фигур. Разместить контрольные объекты надо так, чтобы при любом повороте тела (а так же желательно при зеркальном отражении), его изображение не совпадало само с собой, даже если часть контробъектов не видна на видео. Кстати, сама по себе довольно интересная задача: нанести на сферу N точек так, чтобы изображение любых M при любом повороте и масштабировании максимально не совпало с изображением всей сферы при любом повороте и масштабировании. Каким будет минимальное N при заданном M, если сфера непрозрачна? А если прозрачна? Не думаю, что бы эту задачу кто-либо решал (тут ещё надо формализовать, что значит "максимально не совпадало"). К счастью, ТСу эту задачу решать не особо потребуется или потребуется только один раз.

За пост не благодарите. Я люблю свои диванные философствования всем на показ выставлять.

[ilghiz]

B@R5uk в сообщении #1560474 писал(а):

[b]нанести на сферу N точек так, чтобы изображение любых M при любом повороте и масштабировании максимально не совпало с изображением всей сферы при любом повороте и масштабировании.

А я бы не так сформулировал.

нанести на сферу N точек так, чтобы изображение любых M при любом повороте и масштабировании максимально не совпало с любым набором из M точек для произвольного пространственного движения и точно идентифицировало бы это движение, а также выбрать такой набор N точек, чтобы эти самые M точки бы находились в минимальном круге и расстояния между любыми этими M точками были не менее наперед заданного эпсилон.

[Mihaylo]

Ха, интересно вы сформулировали. Надо закодировать расстояниями между точками код.
Решение навскидку (неподумавши):
Есть три ортогональных единичных вектора i, $j$, $k$, которые образуют единичный куб. На его рёбрах Ox, Oy, Oz мы размещаем ещё точки, которые будут делить ребра в отношении 1/2, 1/3, 1/4.

[B@R5uk]

Если человечество когда-нибудь по-настоящему выйдет в космос, и под "по-настоящему" я понимаю хотя бы интергалактические путешествия, то перед навигаторами встанет похожая проблема: определять своё местоположение по прибытии (каким бы там ни было способом) в новые места, не имеющие маяков. Проблема осложнится тем, что звёзды будут единственными опорными объектами, которые, очевидно, нельзя расположить наиболее удобным способом, плюс они двигаются и это движение наблюдается с задержкой, пропорциональной расстоянию. Ну и остальные проблемы связанные с идентификацией космических объектов, наблюдаемых из совсем новой точки галактики. Чрезвычайно интереснейшая задача, к сожалению, не имеющая никакого практического значения.

[ilghiz]

Спасибо большое, Mihaylo и B@R5uk за суперклассное обсуждение!

Да, с космосом аналогия - просто классная, но пока совсем без практического применения. В моем же случае, применение есть, и я на вскидку могу предположить, что это же можно использовать для навигации всяких там роботизированных аппаратиков по дому - то есть там, где нет привязки к GPS.

Mihaylo в сообщении #1560496 писал(а):

Ха, интересно вы сформулировали. Надо закодировать расстояниями между точками код.

да, я сразу так хотел, но, во-первых, не мог четко формализовать это, а во-вторых, планировал получить фигуры, и их распознавать, а проще же получить звездное небо и в нем кодировать местоположение! Вот это и получилось благодаря нашим классным совместным обсуждениям!!!

Кстати, еще простая формализация, которая, как я понимаю, тоже имеет решение (точное скорей всего np-полное, а неточное может и быстро можно получить).

Имеем пано, огромное, на нем - звездное небо. Пано видно несколькими камерами, камеры на моем бруске, и смотрят в разные стороны. По информации от этих "звезд" получить точное местоположение. И вторая, самая важная задача. Для заданного размера пано, найти оптимальное расположение и число звезд (точечных светильников), чтобы по любой взгляд из одной или нескольких камер на это пано позволял бы максимально точно идентифицировать свое местоположение. При большом угле обзора с камеры и пано во весь обзор, по идее даже все 6 степеней свободы с одной камеры можно найти, а если несколько камер, то результаты с разных камер доуточнять наименьшими квадратами.

Mihaylo в сообщении #1560496 писал(а):

Есть три ортогональных единичных вектора i, $j$, $k$, которые образуют единичный куб. На его рёбрах Ox, Oy, Oz мы размещаем ещё точки, которые будут делить ребра в отношении 1/2, 1/3, 1/4.

да-да-да, как раз хочется сделать все так, чтобы и звезды были максимально далеко друг от друга (чтобы не сливались, если камера от них далеко) и небольшой кусок этого звездного неба все еще позволял бы идентифицировать местоположение.

А ведь в астрономии такая задача, наверное, уже возникала? Пошел искать, может что нарою, если найду, тут тоже обязательно расскажу!

[Mihaylo]

Я предлагал не панно (аналог звездного неба), а точки на самом объекте наблюдения. На параллелепипеде.

При этом при всем технически проще закодировать информацию цветом, например.

[B@R5uk]

Цвет может оказаться большой проблемой. Особенно, если будут использоваться открытые светодиоды, а не правильно подсвеченные матовые объекты в правильно выставленном освещении всей комнаты/помещения. Всё дело в том, что видеокамеры имеют жутко узкий динамический диапазон, ещё хуже, чем у фотоаппаратов (и просто невероятно поганый по сравнению с человеческим зрением). Даже при умелом фотографировании, когда фотограф имеет возможность и время выставить чувствительность, экспозицию и освещение, получить правильные цвета является весьма непростой задачей. На видео же светодиоды будут тупо засвеченными белыми точками с цветным ореолом. И это если повезёт, и камера не уйдёт в грубое насыщение, заменив цвет светодиода, например, с синего на жёлтый (лично на такое натыкался). Вытягивание правильного света из ореола на изображении потребует дополнительной работы в добавок к необходимости точно посчитать координаты. Гораздо проще и надёжнее работать с Ч/Б. На крайняк всегда можно отстыковаться от стартового положения (это как концевики на станках с ЧПУ). Тем более, что ТС собирается использовать акселерометр в концерте, так что даже если в каких-то кадрах будет потеряна ориентация, то ничего страшного, имея пересчитанное по времени положение всегда можно будет легко подцепить ассоциацию контрольных объектов в следующих кадрах. Работы, правда, будет много с этим.

Ответ на вопрос, где должны располагаться контрольные объекты, а где — измерительные видеокамеры, зависит от того, какая планируется у контролируемого объекта область движения. Если это инструмент роботизированной руки в рабочей области станка ЧПУ, то логичнее использовать неподвижные видеокамеры и контрольные объекты, закреплённые на подвижной части крепления инструмента. Если же это будет что-то автоматического погрузчика, передвигающегося по складу или какой-нибудь автоматизированный пылесос для многокомнатной квартиры, то логичнее разместить оптические элементы на подвижном объекте, а контрольные — на стенах.

[ilghiz]

Спасибо большое, Mihaylo, за советы!

Mihaylo в сообщении #1560504 писал(а):

Я предлагал не панно (аналог звездного неба), а точки на самом объекте наблюдения. На параллелепипеде.

это да, но тут похоже информации будет меньше. Я на днях этот брусок потаскал и видео поснимал, как-то все очень плохо - я почти всегда большую часть поверхности этого бруска загораживаю или своими руками, или телом. Брусок у меня довольно тяжелый сеЙчас - около 7кг, и его приходится держать двумя руками.

Mihaylo в сообщении #1560504 писал(а):

При этом при всем технически проще закодировать информацию цветом, например.

это да, но такая цветастая система будет очень отвлекать. На самом бруске возможно сверху будет небольшой дисплей, в котором будут появляться оператору подсказки куда еще подвигать, и цветастость освещения будет наверное отвлекать. Я именно из-за этого хочу сделать все в ИК. Заодно внутренность бруска можно засунуть в темное непрозрачное в оптическом и прозрачное в ИК стекло, чтобы и камеры не пачкать и проще протирать само стекло.

[B@R5uk]

Алсо, в случае больших помещений в качестве контрольных маркеров можно использовать QRей. Бостон дайнамикс этим во всю пользуется. Упс, не то видео, не смог удержаться. Оригинал не нашёл, так что вот пример с QRями. На 0:44 можно видеть разметку на двери и стене, а так же на коробке в самом начале.

[ilghiz]

Спасибо большое, B@R5uk за очень важную информацию!!!

Да, с разметкой в виде QRей я как-то не подумал. Хотя чисто в применении к моей задаче, скорей всего я все-таки останусь на ИК подсветке, так как бруском елозить может придется в очень темном помещении, на ветру, или еще где. Из-за этого отпал ультразвук, хотя очень подавал надежды по началу, но, стоит открыть дверь и создать сквозняк в одном направлении, как данные начинают съезжать.

B@R5uk в сообщении #1560505 писал(а):

Ответ на вопрос, где должны располагаться контрольные объекты, а где — измерительные видеокамеры, зависит от того, какая планируется у контролируемого объекта область движения. Если это инструмент роботизированной руки в рабочей области станка ЧПУ, то логичнее использовать неподвижные видеокамеры и контрольные объекты, закреплённые на подвижной части крепления инструмента. Если же это будет что-то автоматического погрузчика, передвигающегося по складу или какой-нибудь автоматизированный пылесос для многокомнатной квартиры, то логичнее разместить оптические элементы на подвижном объекте, а контрольные — на стенах.

Да, это важный вопрос, и я до конца так и не додумался в какую сторону двигаться, хотя уже многое перепробовал.

Технологически, у меня есть несколько проблем:

1. брусок - очень чувствителен к электромагнитным помехам, и имеет на борту довольно сильный источник постоянного магнитного поля (4 магнетометра по краям даже по корреляции не видят магнитное поле Земли),

2. человек-оператор держит и передвигает брусок, но на поверхности бруска будет маленький дисплей с целеуказанием где еще подвигать. Брусок на самом деле не должен касаться поверхности массажируемого, но быть максимально близко к его телу. Грубо говоря, массажируемый - может быть сильно болен и надавливание весом бруска на его тело может вызвать сильную дополнительную боль.

Массажного кабинета может и не быть - все действие может происходить где угодно, включая какие-то очень экстренные ситуации, типа где-то в горах, или на развалах какого-то крушения, поэтому огромные пано со звездами может тоже проблематично будет установить.

[B@R5uk]

Три-четыре втыкаемых в землю шеста с парой видеокамер сверху и снизу (и разметкой для начальной калибровки относительного положения этих видеокамер) таким образом, чтобы в кадр каждой камеры попадали хотя бы два других шеста. Носилки с пострадавшим помещаются в область пересечения обзоров камер. Шесты должны быть достаточно жёсткими и весомыми, чтобы исключить вибрации, вызываемые ветром. Аналогичная ерунда с креплением камер. Что вы будете делать в дождливую погоду, и как синхронизовывать во времени всю эту систему (включая аклселерометр) — ума не приложу.

На вашем месте я бы думал в сторону радиочастотных измерителей расстояния. Куда проще посчитать положение вашего секретного "диагностирующего прибора", когда есть три-четыре синхронизированных источника модулированного радиоизлучения, и достаточно точно известно расстояние от них до двух-трёх приёмников, расположенных на концах прибора. Вот первая попавшаяся статья в Гугле для затравки, как такое можно реализовать. Достаточно будет двух шестов с двумя источниками, расположенными так, чтобы медик не заслонял ваш датчик. Очень практично, на мой взгляд.

[ilghiz]

Спасибо большое, B@R5uk, за комментарии!

B@R5uk в сообщении #1560517 писал(а):

На вашем месте я бы думал в сторону радиочастотных измерителей расстояния.

Как я понимаю, именно из-за точности - это не реализуемая идея. Если я что-то не понимаю, поправьте, пожалуйста!!! Ведь надо иметь хотя бы 1/4 длины волны в миллиметре, чтобы стабильно получать точность позиционирования около 1мм. Тогда это приводит к тому, что частота должна быть 300/4=75ГГц. Я пробовал на 67ГГц радарах, но даже на них все очень и очень печально - нужна направленность или фазированная решетка, в этом случае, габариты и энергопотребление системы становится совсем не приемлемым.

Хорошей идеей был бы ультразвук на 1-2МГц, но даже в нем есть большие ошибки вплоть до 3мм, при наличии ветра в каком-то направлении.

B@R5uk в сообщении #1560517 писал(а):

Как синхронизовывать во времени всю эту систему (включая аклселерометр) — ума не приложу.

именно из-за проблем с синхронизации хочется устанавливать камеры на аппаратуре, но без пано со светодиодами тут обойтись будет сложно.

Есть конечно еще альтернатива: поставить много OPT8320, которые бы смотрели бы во все стороны, но тут не факт, что обозримо можно будет обработать поток информации с этих 20-30 ToF камер, да даже запитать их, ну то есть когда робот от Бостон Динамикса использует такие камеры - тут все понятно, у него приводы мощные, а вот когда 30 таких камер навешиваешь на планшет, то это добавляет в самом идеальном случае 5 кг, и очень сильно повышает энергопотребление, и, как следствие, опять же вес из-за дополнительных батареек.