Работа с ИК матрицей MLX90640

[A_I]

Не столько прикольно, что мерин прикинулся грилем в понимании классифицирующей тензорфло лайт мобайлнет на картинке 224х224 с вероятностью 0,37, сколько то, что время на итерацию 166 мс. А это 5-7 кадров в секунду чисто на проце малины безо всякой нейрофлешки:

(Оффтоп)

Однако, думаю так - мне нужно реалтаймовость циклов основных алгоритмов расчета с темпом не менее 200 Гц. Чтобы обсчитать основные алгоритмы, как раз одного ядра из 4-рех хватит. То есть, реалтайм алгоритмы будут крутиться на отдельном ядре. Так что его "невытесняемость реалтайм- процессов" не будет влиять на другие ядра - там будет обычная вытесняемая байда, в частности, если с такими показателями, то можно там обрабатывать с частотой неск. кадров в сек. (вполне достаточно 3-4 к/сек) картинки с видео и термо камер...
То есть, заманчиво то, что получается более универсальное решение - без нейрофлешки.
Правда, это по классифицированию объектов. А вот по детекции, как показывает опыт, в разы больше по времени нужно на обработку примерно таких же кадров. Так что посмотрим.

[A_I]

Пришел оранжевый рокчип с rk3588s на борту.
Еле завелся с образами с оф. сайта. Почти все перепробовал, только с дебианом взлетел. И то - без hdmi. Приходится через консольный порт путти юзать.
Ну то ладно, - главное убедиться, что работает, потом всё равно свое ядро собирать..
Но и тут не всё гладко - cpuinfo выдает какие-то noname ядра (хоть и 8, как положено )

[A_I]

Тулкит нейро для оранж пи предназначен для конвертации моделей сеток из всех известных форматов в понятную для NPU рокчипа 3588, их симуляции (тестировании) на компе-хосте, а также содержит драйвер NPU непосредственно для оранж пи (так как тех, кто делает платы на базе 3588 с десяток - файрфлай, тот же рокчип и т.д.) и содержит средства "переноса" с хоста, собственно на доску..

(Оффтоп)

цитата из мануала:
RKNN-Toolkit2 supports converting Caffe, TensorFlow, TensorFlow Lite, ONNX, DarkNet, PyTorch and other models into RKNN models, and then ru
ns the RKNN model through simulation on the Ubuntu PC or using the NPU
of the development board for inference. Relevant examples are provided in the example folder of RKNN-Toolkit2
to help users better understand how to operate. We take the ONNX model wi
th yolov5 function as an example to illustrate.

Так что сами сетки создавать и обучать надо в известных (в некотором роде "классических") форматах и соответствующих тулсах.
В принципе, так наверное и лучше, чем если бы китайцы стали "выдумывать" свои инструменты разработчика ИИ..

[A_I]

А вот и первый конвертированный из йоло5 пример - 76 мс обработки одного кадра с уменьшением исходной картинки до 640х640 на NPU rk3588 - вполне сносно, как минимум, 10 кадров/сек. (Правда, вместо автостоянки распознал россыпь мобильников, видимо следующий уровень распознания, если бы он был, стало бы "витрина с мобильниками" , но это нормально - сеть недообучена)..

[A_I]

Задал вчера вопрос продавцу по Аркон альфа 2 - уж больно дешево за этот девайс за полтинник:

(Оффтоп)

Китаец пока молчит.. Если бы была гарантия подлинности, - за полтишок можно было бы взять..

[A_I]

Кстати, интересно у китайцев сделано - ОС, которая единственная взлетела с образа с оф. сайта, как я понимаю, на базе Дебиана (linux orangepi5 5.10.110-rockchip-rk3588). К ядру, как и положено, прилагается и железное дерево (dtb - файл: собственно, не мудрствуя лукаво, названный rk3588s-orangepi-5.dtb).
Так вот, после запуска всё же этой десктопной, кстати, операционки (hdmi завёлся не через штатный разъем, а только через переходник hdmi - usb/type-c, но - завёлся), обнаружил, что ни одного уарта кроме консольного нет. Ну, то есть, пресловутым ls /dev.
Курение штатного мануала мало помогло - конкретные настройки ОС в паре с железом.
Но на одном из форумов советовали попробовать декомпилировать dtb и глянуть, что там творится. Если кто вдруг будет делать, чтобы долго не искать:
Магические
sudo dtc -I dtb dts -O dts -o rk3588s-orangepi-5.dtb ./rk3588s-orangepi-5.dts,
в полученном соответственно очень легко "вытаскиваем" пару уартов наружу:
было у уарта 0 и 1:
$status = disabled$
ставим:
$status = okay$
Затем - "обратная компиляция" всё той же dtc
И - вуаля! - появилось парочка уартов..
Я просто к тому, что обычно разработчики не сильно парятся насчет связки дров с реальным железом доски. В смысле простоты конфигурирования. А тут нормальненько так сделали (надо же было ещё и gpio соответствующие заранее настроить. и ещё там пару-тройку операций, которые если ты не разработчик, то в теории сделать можно, но с большим бубном )

[A_I]

По аналогии с распберри почему-то думал, что у рокчипа тоже всего два независимых канала шим. А нужно 4, поэтому придется городить связь, например, по rs-485 с каким-нибудь контроллером (stm32) с достаточным количеством шим на борту...
Но оказалось, что у рокчипа 3588 как раз 4 независимых канала шим, и не надо городить дополнительное звено преобразований (из даташита чипа):

[A_I]

Одновременная работа двух уартов - нулевой на вывод с термоматрицы с частотой 4 ГЦ, а первого - пока просто с пина рокчипа на осциллограф с частотой 100 Гц.



Кстати, насчет осциллографа - у меня настольный от 220 В два канала на 150 МГц Хантек и что оказалось немаловажным - с генератором сигналов (правда, нормально генерит с частотой не более 8МГц, хотя заявлено гораздо больше, но для нечастого его использования в нужные моменты для моих задач пока достаточно).
Так вот, а нужно скорее всего, ещё и "полевой вариант". Вобщем смотрел и читал разные отзывы и отчеты, и сообразуясь с тем, что у меня уже есть хантек, и будет скидка, заказал ещё и usb-вариант под андроид. Пока не пришел, но зато уже пришел планшет под него redmi pad se (6/128), ато с телефона как-то смотреть не айс.. Ну и до кучи, пока была "мировая премьера" и хорошая скидка, ещё и blackview mega 1 (12/256)
Тут на планшете видно прогу под андроид для хантека (в демо- режиме, т.к. пока подключать нечего - обещали 2 недели, потом сроки продлили ещё на неделю..)
https://youtu.be/QuOYmsJ0Muw

[A_I]

Пришел ослик писишный.
А что, мне понравилось.. Вообще-то тормознул чутка - был уверен, что у меня есть переходы с тип-с (как на планшете) на юсб 3. Но "оказалось, что показалось". Переходы-то такие у меня есть, только входы/выходы не те - тут "наоборот" надо. Пришлось заказать парочку нужных и, чтобы оперативно проверить, "завести" на старенький редми (кому надо - прога hscope), для чего у меня был "правильный" переход юсб - мини-юсб. Для айфона "в лоб" найти не удалось, хотя есть сборка на гитхабе из исходников OpenHantek6022, которая вроде как идл маков подойдет, но, как и сам автор говорит "это не проверялось".
Вот что получается на синусе от гены стационарного осцилла:

[A_I]

Ну вот и с айфоном удалось связать, только мягко говоря, "несколько" по-другому . Но - по-своему интересно - для удаленной работы, когда необходимо, насколько позволит вайфай..
Вобщем, пришел переходник юсб3 - юсб тип-с с "правильными" разъемами в смысле входов/выходов.
Планшет к хантеку подключился без проблем также с установкой hscope (которая только под андроид). А дальше, используя приложение apowermirror, которое и под андроид и под айос катит, удалось по вайфай к планшету, в свою очередь, подключить айфон (причем, не без "танцев" со всякими айфоновскими "пермишинами", коих у айфона вагон и телега):

Причем, с функцией полного удаленного управления:
https://youtu.be/_93v-ztTfpA

(Оффтоп)

Следующий вариант "удаленки", правда, без функции управления, а только лишь "наблюдения" хочу попробовать с часами коспет танк м3, которые заказал на али по причине исключительной защиты от внешних физ. воздействий (для полевых условий, типа сертифицированы по мил там какому-то пиндосскими вс):


Но там ещё есть функция управления камерой смартфона по блютус, и так как они поддерживают и андроид и айос, то грех не попробовать, хотя, ясно, что это "изврат".. Однако тот, кто работал в "полях", думаю, знает, что "ненужных" функций не бывает - любая в любой момент может пригодиться..

[ozheredov]

A_I в сообщении #1633118 писал(а):

Правда, вместо автостоянки распознал россыпь мобильников

<Спасаю тему от закрытия по причине превращения в личный блог>
Значит, сетка обучалась по фотам древних мобильников с маленьким экраном и большим пространством под клавиатуру. И при этом никогда "не видела" автомобилей-вид-сверху. Кстати, с квадрокоптера фоткали? С какого?

[A_I]

ozheredov в сообщении #1635500 писал(а):

<Спасаю тему от закрытия по причине превращения в личный блог>
Значит, сетка обучалась по фотам древних мобильников с маленьким экраном и большим пространством под клавиатуру. И при этом никогда "не видела" автомобилей-вид-сверху. Кстати, с квадрокоптера фоткали? С какого?

Те фото из интернета, так что не знаю, но скорее всего с коптера нафоткано. Сетка общей детекции объектов, авто распознает "в профиль" в основном. А так да - надо доучивать. С другой стороны, распознаваться авто вряд ли будут, и, скорее всего, даже оптики не будет, - один тепловизор для идентификации очагов лесных пожаров, что рассматривается как один из вариантов применения..
Но вопрос - где набрать фото- видео- данные для обучения по инфракрасному излучению очагов лесных пожаров.
С другой стороны, возможно именно с очаговыми ИК-излучениями и НС не нужно - достаточно обработки в opencv..

[ozheredov]

A_I в сообщении #1635502 писал(а):

Но вопрос - где набрать фото- видео- данные для обучения по инфракрасному излучению очагов лесных пожаров.

Нужно закорешиться с учеными, занимающимися мониторингом природных ресурсов со спутника. Возможно, Ваш (насколько я вижу) большой опыт с эмбеддингом систем распознавания мог бы им пригодиться. Скажите им, что хотите работать над мониторингом пожаров, и всё.

[A_I]

Ну, опыт не настолько уж большой, так как это всё лишь одно из трех моих хобби (другие два - коллекционирование).
В работе, конечно, некоторые вещи по системам управления пересекаются с "хоббийными" делами, но вобщем-то по работе они другие.
А эмбеддинг НС я делал сам на уровне переобучения или готовых сетей или слегка измененных (гиперпараметрами в основном) - tensorflow (pytorch).
Ну там поиграться со сверточными слоями, пуллинга, паддингом, страйдами и т.д. А также все эти "аугментации" с найденными в интернетах учебными датасетами...
Короче, много ума не надо по-крайней мере как это я делал - практически "тупым" перебором в попытке найти наименьшую ошибку и наибольшую точность, короче, классика жанра.
А желательно бы побольше понимать и находить какие-то закономерности, скажем, для повышения релевантности искомых и используемых учебных данных (т.е., выступать в качестве той самой НС, только высшего уровня ) - а тут как раз пробелы. Так что..

[A_I]

На вики firefly нашлось общее описание настроек и работы с шим. Несмотря на то, что сам продукт файрфлай а не орандж (как у меня), но есть много общего, например, описываемое ядро для сборки и соответствующий исходник драйвера шим (и там и у меня под орандж тоже линукс 5.10, драйвер pwm-rockchip.c). Надеюсь, и с настройками дерева устройств всё также будет нормально (теперь умеем файл dtb менять).
Ещё бы не пришлось драйвера править, и потом пересобирать каждый раз ядро (хотя, в принципе, и так делали - отключали какой-то нужный нам стандартный системный драйвер при сборке ядра, предварительно разработав свой собственный, а потом insmod свой "кернел обжект" - и не надо каждый раз пересобирать ядро, немного что-то подправив в драйвере)..
Но, надеюсь, стандартных функций драйвера будет вполне достаточно..