2014 dxdy logo

Научный форум dxdy

Математика, Физика, Computer Science, Machine Learning, LaTeX, Механика и Техника, Химия,
Биология и Медицина, Экономика и Финансовая Математика, Гуманитарные науки




Начать новую тему Ответить на тему На страницу 1, 2  След.
 
 Требования и методы
Сообщение14.10.2021, 20:35 


18/11/18
632
Скажите лучше как объективно и конкретно-предметно выдвигать требования и какие методы испытаний могут быть для транспортных систем распознавания объектов (препятствий и т.д.)
Речь идет о разрабатываемых ГОСТ (в какой-то теме в разделе ИИ ранее писал, что ещё долго не будет этого, а вот, поди ж ты...)

 Профиль  
                  
 
 Re: Требования и методы
Сообщение14.10.2021, 21:24 
Аватара пользователя


23/05/20
393
Беларусь
A_I в сообщении #1534947 писал(а):
Скажите лучше как объективно и конкретно-предметно выдвигать требования и какие методы испытаний


Могу вам посоветовать использовать три источника для работы:
1. Должны иметься общие стандарты на построение АСУТП. При разработке вашего стандарта, в первую очередь, надо выполнить все требования о наличии в вашей АСУТП тех подсистем, которые определяются обязательными для всех АСУТП.
2. Далее возьмите стандарт на какую-то конкретную АСУТП, посмотрите, какие в АСУТП закладываются функции и подсистемы и на этом примере можете еще что-то добавить в свой стандарт.
3. Третьим источником для определения требований и методик испытаний являются технические задания на имеющиеся системы, и на то какие и как функции они могут выполнять.

 Профиль  
                  
 
 Re: Требования и методы
Сообщение14.10.2021, 21:34 


18/11/18
632
StepV в сообщении #1534961 писал(а):
Могу вам посоветовать использовать три источника для работы:


Ну да, это понятно, и это используется, в том числе. Непонятное начинается, в принципе, даже с ключевых требований. Например, как вам такое требование:
... подсистема распознавания препятствий должна определять и категорировать объекты на пути следования с вероятностью 0,95..
Как считать эту вероятность? Я уж не говорю, - какими методами испытывать, чтобы это были объективные, исчерпывающие испытания.
И таких вопросов - масса..

 Профиль  
                  
 
 Re: Требования и методы
Сообщение14.10.2021, 22:34 
Аватара пользователя


23/05/20
393
Беларусь
A_I в сообщении #1534965 писал(а):
Например, как вам такое требование:
... подсистема распознавания препятствий должна определять и категорировать объекты на пути следования с вероятностью 0,95..
Как считать эту вероятность?


Я бы подошел к этому вопросу следующим образом!
Система распознавания похожа по принципу действия на другие подобные системы, например, радиолокация.
Чтобы я предполагал. Система с датчиков и сенсоров получает информацию, которую идентифицирует, как возможное препятствие.
Далее требуем от системы, чтобы по полученным признакам она сформировала категорийность объекта и вероятность того, насколько в соответствии с заложенными шаблонами возможно правильное определение объекта. Делает она это на основе своих алгоритмов. Давайте рассмотрим упрощенный пример.
Пример. Датчики зафиксировали на шоссе темную полосу на дальности 100 м. По виду шаблонов в программе определяем по количеству тех или иных признаков, что это: с вероятностью P=0,01 - котлован, с Р=0,3 глубокая яма, P=0,2 - отсутствие асфальта на дороге, ... и т.д.
По мере приближения к объекту, должна возрастать вероятность его идентификации системой. Если система по своим шаблонам смогла идентифицировать объект с вероятностью P=1, дальше выполняются конкретные действия в соответствии с алгоритмами системы. Если полная идентификация невозможна, система останавливается перед препятствием или его должна полностью объехать на безопасном расстоянии.

Возвращаясь к вашему вопросу о вероятностях, средства для контроля и проверки алгоритмов распознавания должны поставляться самими разработчиками этих подсистем. Это требование тогда необходимо внести в стандарт.

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 08:18 


18/11/18
632
Да, всё правильно, но тут проблема вот в чём.
Требования взяты как бы "извне". То есть, например, для всех транспортных систем, связанных с безопасностью, к коим относится и система распознавания объектов и препятствий в случае если она работает в полностью автоматическом режиме (без пилота, машиниста, водителя и т.д.), вероятность распознавания опасных ситуаций должна быть "не ниже трех девяток". Это такое общее требование безотносительно сути систем.
Несколько искусственно для систем распознавания было принято определенное значение (неважно какое, 0,8 или 0,9 или 0,95 как в конкретном случае). Но там пришли к мнению, что эта вероятность для одномоментного определения, то есть в рамках одного программного цикла. Технологии в принципе, при использовании сверточных нейросетей, например, позволяют производить несколько десятков циклов распознавания в секунду. Таким образом, условно говоря, за 100 мс могут быть достигнуты "заветные три девятки", что вполне приемлемо.
До этого момента более менее всё определенно.
Но далее начинаются непонятки, самая главная причина которых - принципиальная невозможность подготовки исчерпывающего обучающего датасета.
То есть, - слишком много неопределенности, которую можно трактовать абсолютно по-разному. А необходимо минимизировать субъективизм.
Понятно, что задача изначально "парадоксальная", но её нужно как-то решать, пока только "с грехом пополам" разработан предстандарт по требованиям. К методам ещё не приступали...

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 09:18 
Аватара пользователя


07/03/16

3167
A_I в сообщении #1534965 писал(а):
подсистема распознавания препятствий должна определять и категорировать объекты на пути следования с вероятностью 0,95.

A_I в сообщении #1534988 писал(а):
вероятность распознавания опасных ситуаций должна быть "не ниже трех девяток".

Тут надо смотреть что подразумевается под категорировать. Если человек и животное на дороге являются разными категориями, то точность отнесения их к этим категориям может быть не высока если обе эти категории попадают в категорию опасных.

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 09:27 


18/11/18
632
Emergency в сообщении #1534995 писал(а):
Тут надо смотреть что подразумевается под категорировать. Если человек и животное на дороге являются разными категориями, то точность отнесения их к этим категориям может быть не высока если обе эти категории попадают в категорию опасных.


Да, там есть таблицы по категориям в том числе - человек, транспортное средство (ещё бьется на подкатегории - легковой, грузовой), животное (крупное, среднее..) и т.д. И у всех "опасность" разная, которая ещё зависеть должна, по идее, от конкретного расположения, дальности, траектории движения и проч.
То есть, тут "куда ни ткни" - сплошные неопределенности.
Отдавать на откуп разработчикам - это с одной стороны самое простое, с другой - все понимают, что основную задачу это не решит.
Мне так видится проблема - основное это достаточность обучающей выборки. Вопрос - как оценить эту самую "достаточность"?
(хотя вопрос, наверное, риторический - я пока не вижу корректных путей).

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 09:45 
Аватара пользователя


23/05/20
393
Беларусь
A_I в сообщении #1534997 писал(а):
То есть, тут "куда ни ткни" - сплошные неопределенности. Отдавать на откуп разработчикам - это с одной стороны самое простое, с другой - все понимают, что основную задачу это не решит. Мне так видится проблема - основное это достаточность обучающей выборки. Вопрос - как оценить эту самую "достаточность"?


На производстве никто так не делает, как вы хотите. Давайте, для улучшения понимания, радикализируем ситуацию. Вам предложили написать стандарт для производства и эксплуатации звездолетов дальнего радиуса (летающих на 1000 световых лет). Сможете написать что-то конкретное? Нет!
Случай привязанный к текущему времени, который я много раз наблюдал. На производство передается программа с инструкцией по эксплуатации, объем которой 10 страниц. Через пять лет эксплуатации инструкция разрастается до 50 страниц и там нет ни грамма воды. Все из случаев на производстве.
Взять программу от разработчиков, потом отстранить их от дальнейшей работы и непрофессионалам, которые не понимают, как работает система, начать проводить ее обучение? Это путь к краху.
Опять радикализируем подход. В цирке тигров дрессирует один человек, а выступает на арене с ними другой. Какой будет результат? Съедят его тигры.
Совершенствование программной системы и стандартов на нее должно идти параллельно. Это взаимосвязанный процесс. Выявление отклонений должно приводить к одновременной модернизации программы и стандартов на нее. Поэтому взаимодействие с разработчиками необходимое условие успешности проекта, отстранение создаст только проблемы.

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 11:44 


18/11/18
632
StepV в сообщении #1535000 писал(а):
взаимодействие с разработчиками необходимое условие успешности проекта, отстранение создаст только проблемы.


Я говорил об "отдаче на откуп" разработчикам, то есть, полностью отдать им все ключевые моменты. Ну как вы предлагали, вставить в стандарты, что методы должны предоставить разработчики.
Да даже пусть так, но основные объективные критерии и условия испытаний (собственно, те же "методы" в итоге) должны быть оговорены в стандартах верхнего уровня. (Программы и методики испытаний итак представляет разработчик, но в соответствии с профильным ГОСТ).
Скажу больше - я и сам отношусь к команде разработчиков, только не чисто по ИИ и нейросетевым технологиям, но по транспортным системам управления в целом. Просто состою в комиссии по обсуждению и согласованию стандартов, в которой принимают участие с разных профильных предприятий и организаций, то есть, в комиссию входят помимо разработчиков, также и всякие испытательные лаборатории и центры сертификации и проч., это помимо профильных институтов.
Так что про "звездолеты, которые бороздят" - мимо кассы:-)...

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 12:04 


14/01/11
3058
А зарубежный опыт изучаете? Наверняка в той же Европе уже есть какие-то наработки, а то и стандарты.

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 12:08 


18/11/18
632
Sender в сообщении #1535011 писал(а):
А зарубежный опыт изучаете? Наверняка в той же Европе уже есть какие-то наработки, а то и стандарты.


Да, НАМИ (в смысле, который институт), вроде, изучает. Но по отзывам, пока и зарубежом конкретики никакой...

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 12:12 
Аватара пользователя


23/05/20
393
Беларусь
A_I в сообщении #1535008 писал(а):
основные объективные критерии и условия испытаний (собственно, те же "методы" в итоге) должны быть оговорены в стандартах верхнего уровня.


С этой вашей мыслью полностью согласен. Фактически под эти критерии и условия в своих программах разработчики должны обеспечить сбор и выдачу по запросу статистики работы программной системы, которая позволяла бы производить контроль, сертификацию и анализ работы системы.

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 12:25 


14/01/11
3058
A_I в сообщении #1535013 писал(а):
Но по отзывам, пока и зарубежом конкретики никакой...

Да, похоже, это всё ещё в стадии формирования. Тем не менее в том же ETSI уже клепают стандарты в области ITS (Intelligent transport systems), возможно, что-то можно почерпнуть.
https://www.etsi.org/standards-search#page=1&search=&title=1&etsiNumber=1&content=1&version=1&onApproval=1&published=1&historical=1&startDate=1988-01-15&endDate=2021-10-15&harmonized=0&keyword=&TB=702,,707,,708,,709,,710,,711&stdType=&frequency=&mandate=&collection=&sort=3

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 12:28 


18/11/18
632
Моё мнение в части испытаний - основной общий метод для таких систем - стендовые испытания, так как натурные всегда будут "ниачём", так как сильно затратны, длительны по времени и абсолютно нерепрезентативны по совокупности всех этих причин.
Ну, или "гибридные", когда в движении подкидываются тестовые входные данные (ну, это в основном для систем в интеграции, когда, допустим, кроме визуальных образов с видеокамер, лидаров, радаров и проч., есть ещё данные с датчиков, типа дальномеров УЗ, лазерных и т.д.)
В любом случае, хотя бы какие-то конкретные числовые критерии можно обозначить для тестовой выборки, которую за вполне разумное время уже можно "прокрутить" в программных алгоритмах испытуемой системы.

-- 15.10.2021, 13:31 --

Sender в сообщении #1535016 писал(а):
Да, похоже, это всё ещё в стадии формирования. Тем не менее в том же ETSI уже клепают стандарты в области ITS (Intelligent transport systems), возможно, что-то можно почерпнуть.


Да, ещё в феврале этого года договаривались с европейскими такими же агентствами о совместной работе, но пока что-то не видно её особо. Те доклады, что есть, сильно общие.
Вообще-то, у нас принята стратегия соответствия с основными мировыми стандартами. Но это - вдолгую, - слишком много надо будет менять (хотя работа ведётся непрерывно)

 Профиль  
                  
 
 Re: Требования и методы
Сообщение15.10.2021, 17:06 
Аватара пользователя


07/03/16

3167
A_I в сообщении #1534997 писал(а):
Мне так видится проблема - основное это достаточность обучающей выборки.

А мне видится, что основное - это принятие на себя разработчиком/производителем ответственности за все ДТП.
Иначе непонятно кто и за что будет отвечать. Сейчас - бардак - Тесла делает автопилот, но запрещает пассажиру на водительском месте снимать руки с руля, чтобы повесить ответственность на него. Но нельзя же отвечать за то, что ты не снял руки с руля делал вид, что рулишь в момент ДТП.
Перенос ответственности за ДТП на производителя самобеглой коляски логичен еще и потому, что тогда он не выпустит сырой продукт.

 Профиль  
                  
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 24 ]  На страницу 1, 2  След.

Модератор: Модераторы



Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Powered by phpBB © 2000, 2002, 2005, 2007 phpBB Group