мера сходства импульсов

[realeugene]

Andrey_Kireew в сообщении #1261907 писал(а):

а всякий случай хочу добавить, что временная шкала неравномерная.

Это как?
Если сигнал периодический, можно, выполнив преобразование Фурье, попытаться найти период импульсов.

[Walker_XXI]

Andrey_Kireew в сообщении #1261907 писал(а):

А Вы с Walker_XXI пишите .... по каким критериям..., тем самым адресуя мне мой же собственный вопрос. Выглядит это мягко говоря странно.

Вы не совсем правильно меня поняли. Для того, чтобы вести речь о выделении сигнала на фоне помех, у Вас должна быть модель идеального сигнала (и модель помех, о чём уже писал realeugene). Идеальный сигнал не несёт никакой информации (строго говоря, сигналом не является), т.к. нам известны все его параметры, но позволяет выработать критерии, что считать помехой, а что сигналом. Опять же, как отмечалось выше, одного графика недостаточно для выработки универсального критерия - нужно больше знать о чистом неискажённом сигнале. Иначе в Вашем вопросе уже и ответ содержится - ничего лучшего придумать нельзя.

[Andrey_Kireew]

realeugene в сообщении #1261911 писал(а):

Это как?
Если сигнал периодический, можно, выполнив преобразование Фурье, попытаться найти период импульсов.

Очень просто, импульсы следуют через разные промежутки времени.

Для этого сигнала преобразование Фурье сделать сложно, по выше обозначенным причинам.
С необработанным сигналом я так поступить пробовал, толку мало. Максимум получается размытый, неотчётливый. Для некоторых сигналов получше, для некоторых - совсем неразличимый. Видимо это из за непостоянных промежутков между импульсами.
К стати, для этого лучше использовать АКФ, но и на ней максимум различить удаётся не всегда.

-- 04.11.2017, 01:27 --

Walker_XXI в сообщении #1261926 писал(а):

Опять же, как отмечалось выше, одного графика недостаточно для выработки универсального критерия - нужно больше знать о чистом неискажённом сигнале. Иначе в Вашем вопросе уже и ответ содержится - ничего лучшего придумать нельзя.

Я же специально привёл пример, на котором полезный сигнал и помехи легко различить визуально.

P.S: Если Вы не знаете как подступиться к решению проблемы, это ещё не значит что она неразрешима.

[Andrey_Kireew]

И всё таки истина рождается в споре. После некоторых размышлений я пришел к одному, на мой взгляд удовлетворительному временному критерию.

Вот что получается (все импульсы расположены в координатах временной критерий $Q$ - амплитуда $U$



это "хороший" сигнал, в нем полезные импульсы легко отделяются только по амплитуде (ось Y).

А вот два самых неприятных примера из моей выборки





Здесь по амплитуде их никак не поделить, а по критерию $Q$ это можно сделать достаточно хорошо.

Конечно, это только первые результаты. После доработки, надеюсь они будут улучшены.
Но даже сейчас, с уверенностью можно сказать, что все фразы "ничего больше сделать нельзя" были сказаны преждевременно.

[realeugene]

Andrey_Kireew в сообщении #1261996 писал(а):

Очень просто, импульсы следуют через разные промежутки времени.

Для этого сигнала преобразование Фурье сделать сложно, по выше обозначенным причинам.

Но визуально на вашем графике они очень хорошо периодичны. И "временной критерий" их разделяет очень неплохо. Они всегда повторяются, или отдельные могут пропадать? Большой промежуток между вашими импульсами, в отсчётах? Может быть, строить сложную гипотезу, в которой узкие импульсы следуют друг за другом в ограниченном диапазоне промежутков, мера сходства - остаточная энергия после вырезания импульса сигнала, нормированная на число отсчётов в сумме, и, может слагаемое, пропорциональное квадрату отклонения временного интервала между соседними импульсами от среднего, и эту гипотезу строить по соответствующему этой модели графу алгоритмом Витеби?

[Andrey_Kireew]

Это только визуально, различия в периодах примерно 10%, а то и больше.
Да разделяет неплохо, по крайней мере лучше чем амплитуда. Но он не так то прост, как Вам представляется.
На счёт остаточной энергии, не знаю, будет ли это работать лучше чем построенный мной $ Q$,
нужно это всё реализовать. Но спасибо за совет.

[realeugene]

Так у вас есть хоть какая-то априорная целевая функция, основанная на каком-то априорном знании о природе этих импульсов, или эти импульсы - не пойми что, и вам интересно, что это?

-- 04.11.2017, 07:30 --

Andrey_Kireew в сообщении #1262053 писал(а):

На счёт остаточной энергии, не знаю, будет ли это работать лучше чем построенный мной

Это зависит от модели шума. Если шум гауссовый, независимый и аддитивный, то остаточная энергия эквивалентна логарифму (не)вероятности рассматриваемой гипотезы.

[Andrey_Kireew]

Где Вы вообще увидели шум, тем более гауссовый? Это последовательность импульсов, полезных и ложных. В полезных импульсах шума нет - в ложных 100%, если можно так сказать.

Моё решение получено только на основании данных, приведённых в этом посте, этого было вполне достаточно, как я и предполагал. Никаких дополнительных сведений я не привлекал. Но разумно было бы предположить, что я знаю что это за импульсы, откуда оди берутся и для чего они нужны.

[Dmitriy40]

Andrey_Kireew в сообщении #1262085 писал(а):

Моё решение получено только на основании данных, приведённых в этом посте, этого было вполне достаточно, как я и предполагал.

Вы преувеличиваете. Вот например, лично мне непонятно как получены последние картинки с распределением по частотам и амплитудам, почему там нет кратных периодов? Что именно за параметр брался по оси X, время между какими именно импульсами? Похоже на предварительную сортировку по амплитуде и лишь потом простановку точки на диаграмме. Плюс на "сигнал2" явно видно пропуски импульсов (удвоение периода), чего тоже в исходной картинке в первом посте не было.

Ну и раз уж импульсы так хорошо группированы по периоду, то снова, что мешает использовать ФАПЧ с окном захвата скажем от 600 до 1200 единиц? Да, частота ФАПЧа будет плавать где-то вокруг среднего периода, ну и что, с учётом ширины окна захвата это несущественно. Так прекрасно отфильтруются все три картинки из последнего поста. Причём правильно продетектируются даже импульсы с удвоенным периодом - один отсутствующий импульс ФАПЧ не собъёт и следующий за отсутствующим будет обнаружен. Дело лишь за правильной настройкой ФАПЧ (меры инертности/чувствительности).

-- 04.11.2017, 09:45 --

Если проблема в том что неизвестно на какую центральную частоту ФАПЧ настраивать, то это решается через Фурье: берём наименьшую частоту наибольшей амплитуды, с учётом размытости конечно (т.е. находим центр пятна).

Вообще картинки принципиально неправильные, шум должен занимать всю (вправо) горизонтальную полосу снизу по амплитуде, там ведь полно кратных (и некратных, а сумм) периодов. Соответственно будет сразу очевидно что фильтрацией только по частоте ничего не добиться, о чём говорили с самого начала. Похоже что для построения картинок данные были хитро пофильтрованы - взяты не все возможные пары импульсов, а лишь ближайшие (с минимальным периодом между ними), но для каждой амплитуды (диапазона амплитуд) отдельно.

[Andrey_Kireew]

Dmitriy40
Я имел ввиду достаточно для меня. А раз я решил - значит задача в принципе разрешима. И это опровергает все предыдущие выводы о невозможности что либо сделать.

На последних картинках нет никаких частот. По оси X отложен временной критерий, который мне всё же удалось сформировать, но это не частота, и не интервалы между импульсами и не периоды. Вычисляется он значительно сложнее, на основании соотношения позиций соседних импульсов. Ваши предположения к сожалению не имеют ничего общего с его природой.

Как Вы наверное теперь догадываетесь,группируются они хоть и хорошо, но не по периоду. В предыдущих постах я уже сообщал, что ни Фурье-спектр, ни АКФ не позволяют надёжно определить центральную частоту/ средний период для всех сигналов. Виной тому, видимо, слишком большая вариабельность периода следования импульсов.

В свете изложенного целесообразность применения ФАПЧ под сомнением. Тем более, что лучшее решение, чем уже есть, вряд ли будет получено.

[Dmitriy40]

Ну если Вы скрываете информацию и пользуетесь какими-то своими приватными знаниями и вычислениями и выкладываете непонятно как полученные картинки - то что Вы хотите тут получить от нас? Я по предоставленным вами данным вижу что связка Фурье+ФАПЧ прекрасно выделит все нужные импульсы. Вы утверждаете обратное, но на основе закрытой информации. Хорошо, пусть так. Ну тогда и разбирайтесь сами, предложений вам накидали уже.

[Pphantom]

Тема перемещена из форума «Помогите решить / разобраться (М)» в форум «Карантин»
Что Вы имели в виду, используя команды \D и \Q? Если предполагалось набрать просто заглавные буквы, то бэкслэш не нужен. Если что-то другое - сделайте так, чтобы результат был виден.

Исправьте все Ваши ошибки и сообщите об этом в теме Сообщение в карантине исправлено.
Настоятельно рекомендуется ознакомиться с темами Что такое карантин и что нужно делать, чтобы там оказаться и Правила научного форума.

[Pphantom]

Тема перемещена из форума «Карантин» в форум «Помогите решить / разобраться (М)»

[Andrey_Kireew]

Dmitriy40
Чтобы удовлетворить ваше любопытство, приведу типичный амплитудный спектр
,
а вот типичная АКФ


Можно сглаживать, использовать окна, но толку от этого мало. Только в редких случаях можно выделить отчётливый максимум. Помнится я потратил на это немало времени, но безрезультатно.
На счёт ФАПЧ не пробовал. К сожалению пока не знаю как это всё реализовать.

Моя задача сформулирована в первом посте, потом приведены уточнения.

Картинки я представил лишь для того, чтобы развеять иллюзию некоторых участников о неразрешимости задачи в моей постановке.
До сих пор, кроме Вашего предложения использовать ФАПЧ, я никаких конструктивных путей решения не услышал.

Раскрывать оригинальный алгоритм я разумеется не стану, он обладает всеми признаками научной новизны. По нему хоть дисер писать можно. Зачем это мне нужно? Я вообще то, наоборот, хотел получить совет, а не дарить всем свои разработки направо и налево.

[Dmitriy40]

Andrey_Kireew
Я не просил раскрывать Ваш оригинальный алгоритм, фактически я просил лишь честную картинку спектра (а не картинку не пойми чего), спасибо за неё. Вот теперь видно что Фурье не играет. Как и ФАПЧ тоже, нет никаких выделенных кратных частот, заметно возвышающихся над шумом, как можно было подумать по картинке в первом посте. Так что своё предложение снимаю. По такому спектру вообще не представляю как выделять импульсы, похоже потерялось много информации и надо смотреть сами исходные данные, чего мне простите лень.