Сравнение спектров

[chirik]

Здравствуйте.
Пишу диссертацию и столкнулся с проблемой сравнения спектров двух сигналов, представленных временными рядами.
Имеется эталонный и реальный сигнал, которые записаны в память ПК через АЦП. Производится БПФ в Матлабе. Как определить похожесть двух спектров?
Пробовал рассчитывать коэффициент ранговой корреляции Спирмена, но таблица его значений определена лишь для n=40, а у меня n=4096 или 8192 (т.е. за n беру количество отсчетов). Коэффициент для похожих спектров получается примерно 0.2-0.5. Поэтому возникает вопрос: как проверить достоверность коэффициента Спирмена?
Читал литературу, но что-то конкретного нигде не нашел.

[Евгений Машеров]

Например, преобразовать его z-преобразованием.
$z=\frac {1}{2} ln(\frac {1+r} {1-r})\sqrt{\frac {n-3}{1.06}}$

Полученная величина будет иметь нормальное распределение с нулевым средним и единичной дисперсией. Далее по таблице нормальных.

Ссылаются на
Choi, S.C. (1977) Test of equality of dependent correlations. Biometrika, 64 (3), 645–647
Fieller, E.C. et al (1957) Tests for rank correlation coefficients :I. Biometrika 44, 470–481

Сам эти статьи, увы, не читал, только ссылки в справочниках на них.

[chirik]

Спасибо. Но при выполнении z-преобразования по приведенной Вами формуле, значения z получаются достаточно большими, и в таблицах они не содержатся.
Можно ли производить оценку по следующим формулам:
1. $T=r {\sqrt {\frac {n-2}{1-r^2}}}$
2. $|r|=t_g \sigma$
используя t-распределение Стьюдента?

[Евгений Машеров]

Второе непонятно. Первое преобразование применимо, имея в виду, что величина Т будет иметь распределение Стьюдента с (n-2) степенями свободы.

[Chifu]

А не задача ли это распознавания образов по эталону?

[chirik]

Евгений Машеров в сообщении #384645 писал(а):

Второе непонятно. Первое преобразование применимо, имея в виду, что величина Т будет иметь распределение Стьюдента с (n-2) степенями свободы.

Да, в первом имеется ввиду именно это. Эту формулу я нашел в одной из диссертаций. Ссылка там идет на Руниор Р. "Справочник по непараметрической статистике. Современный метод". Но этой книги не нашел.
Вторую формулы нашел в книге Смирнов, Дунин-Барковский "Курс теории вероятности и математической статистики" в пункте "Проверка гипотезы об отсутствии корреляционной связи".

Chifu в сообщении #384659 писал(а):

А не задача ли это распознавания образов по эталону?

Думаю что нет. Стоит задача на основании сравнения двух спектров (их похожести) сигналов записанных с выходов контрольных точек электронного блока, сделать вывод о его работоспособности.
А что Вы имели ввиду?

[Chifu]

chirik писал(а):

Думаю что нет. Стоит задача на основании сравнения двух спектров (их похожести) сигналов записанных с выходов контрольных точек электронного блока, сделать вывод о его работоспособности. А что Вы имели ввиду?

Реальные спектры ведь размытые и вместе с шумами, если известен идеальный спектр (математический), то в том что получается его ещё распознать (выделить) надо. Если в МатЛабе работаете, то можно в примерах покопаться, посмотреть как это должно делаться. Ещё надо как-то выделить тот участок спектра, который нас интересует, так чтобы была корреляция сигнала, а не шумов.
Я статистику плохо понимаю, пытаюсь саму задачу представить, хорошо если она статистически решается.

[chirik]

Дело в том, что эталонный спектр получается с помощью БПФ (выполняется в Матлабе) реального сигнала, с реального работающего устройства. И получается так, что там действительно есть шумы и некоторые "заломы" самого сигнала, что на мой взгляд вызвано шумами АЦП плюс самой аппаратуры (стоит там кварцевый резонатор, который вырабатывает несущую). И была идея подавать на проверяемый блок идеальный (математический) сигнал, но к сожалению аппаратура с этим не справится. Поэтому приходится работать с тем что есть.

[DoctorZLO]

Chifu в сообщении #384659 писал(а):

А не задача ли это распознавания образов по эталону?

Похоже на задачу распознавания (образов, спектров, чего-угодно). Нужно получить спектр идеального сигнала без шумов и окрестность спектра, в которую может попасть реально работающий сигнал с большой (р>0,95) вероятностью. Если анализирумый сигнал вышел из этой окрестности, то с вероятностью р>0,95 он отличается от идеала.

[chirik]

chirik в сообщении #384863 писал(а):

Похоже на задачу распознавания (образов, спектров, чего-угодно). Нужно получить спектр идеального сигнала без шумов и окрестность спектра, в которую может попасть реально работающий сигнал с большой (р>0,95) вероятностью. Если анализирумый сигнал вышел из этой окрестности, то с вероятностью р>0,95 он отличается от идеала.

А как определить, что анализируемый сигнал вышел из окрестности? С помощью какого математического аппарата?
С коэффициентом корреляции Спирмена пока что некая неопределенность, ибо эталонный спектр имеет нормальный закон распределения, а реальный спектр (когда есть какая-либо неисправность) такого не имеет, и следовательно говорить о достоверности корреляции можно с большим трудом.

[Chifu]

Насколько я знаю, в отношении машин решалась задача диагностики, таким образом: нарабатывалась статистика отказов, а т.к. машины состоят из конечного числа вращяющихся деталей, то неиспраности этих деталей выдавали себя определёнными частотами (хоть вибрацией, хоть потребляемым электродвигателем электричеством), поэтому просто контролировалась амплитуда определённых частот, т.е. была таблица, в которой было указано, в каком диапазоне амплитуда частот должна быть и превышению каких частот соответствует износ или неисправность конкретной детали.

[Pavia]

Chifu
В радио технике сложнее. Просо вариантов неисправности больше. Спектр может иметь другую амплитуду. Быть смещен, иметь помехи. Может быть шире или уже чем надо.

chirik

Цитата:

ибо эталонный спектр имеет нормальный закон распределения, а реальный спектр (когда есть какая-либо неисправность) такого не имеет, и следовательно говорить о достоверности корреляции можно с большим трудом.

Если не обращать внимание на теорию, то по практике как раз хорошо работают. Если есть неисправность то сигналы не коррелируют и следовательно меньше 1. Если коррелируют то стремятся к 1.

По поводу допуска да полно методов. К примеру если использовать всю ту же корреляцию. Считаем не коэффициент, а функцию корреляции. Строится она путем смещения одного сигнала относительно другого. Реализовать очень просто через БПФ и умножение.
А дальше ищем максимум корреляции. Откуда имеем координату и сравниваем с эталонной.

[chirik]

Chifu в сообщении #386048 писал(а):

Если не обращать внимание на теорию, то по практике как раз хорошо работают. Если есть неисправность то сигналы не коррелируют и следовательно меньше 1. Если коррелируют то стремятся к 1.

Никак не получается не обращать внимания на теорию, потому что процессы случайные. И амплитудный спектр имеет некоторый разброс. Следовательно, коэффициенты корреляции получаются 0.2-0.5 для одинаковых спектров, и меньше 0.2 для остальных. Но эту гипотезу нужно как-то доказать (чисто визуально это видно), а вся проверка достоверности сводится к тому, что случайные величины имеют нормальное распределение.
Есть вариант доказать что спектр реального сигнала (с неисправным элементом) близок к нормальному закону. Но по этому поводу сказать ничего не могу, ибо только еще обдумываю.

-- Сб дек 11, 2010 16:57:11 --

Chifu
В радиотехнике, как уже писал Pavia действительно сложнее. У меня просто не получится набрать статистику отказов всех элементов устройства т.к. их (элементов) много. Да и как ломать транзистор я не знаю. Могу лишь вырубать конденсаторы. И отчетливо вижу, что при их неисправности спектр меняется, причем очень заметно, но опять же не всегда и не на всех контрольных точках.

[Pavia]

chirik
А что за устройство? А то задача очень расплывчата. Какой спектр в результате должен получиться? Что есть норма?

Цитата:

Никак не получается не обращать внимания на теорию, потому что процессы случайные. И амплитудный спектр имеет некоторый разброс. Следовательно, коэффициенты корреляции получаются 0.2-0.5 для одинаковых спектров, и меньше 0.2 для остальных.

Так нормировать надо. На интеграл (сумму) амплитуд спектора исходного и нормального.

[chirik]

Pavia в сообщении #386167 писал(а):

chirik
А что за устройство? А то задача очень расплывчата. Какой спектр в результате должен получиться? Что есть норма?

Занимаюсь проблемами железнодорожной автоматики и телемеханики. Устройство с которым работаю называется путевой приемник тональных рельсовых цепей тира ТРЦ3. Это электронный блок с определенным числом выводов (контрольных точек). Реагирует на амплитудно-модулированный сигнал (в данном случае 780 Гц несущая и 12 Гц модулирующая). Требуется по откликам с имеющихся контрольных точек определить в рабочем состоянии находится прибор или нет.
Эталон записываю (используя ацп) с контрольных точек реального работающего устройства (шумы незначительны) и храню их в матлабе. Провожу над ними БПФ, спектр получается достаточно хороший, в основном сосредоточенный на частоте 780. А затем этот спектр сравниваю с записями откликов этого прибора при нерабочих конденсаторах.
Визуально видно, что если какой либо элемент вышел из строя, то спектр меняется. Но как сравнить их (определить похожесть) автоматически? Эталонный спектр имеет нормальное распределение, а вот спектр при поломке нет.