Посоветуйте программу для построения спектрограммы речи.

[longstreet]

Наверняка есть хорошие программы для изучения звуков речи. Хочется, чтобы речь можно было записать через микрофон и для неё построить спектрограмму, на вроде той, что на картинке:



Правда, я не знаю что отображает нижняя часть картинки. Не подскажите? А верхняя часть - вроде бы обычная спектрограмма.

-- 09.10.2012, 02:23 --

В идеале нужно, чтобы программа выделяла в речи фонемы, но думаю такое вряд ли бывает.

[_Ivana]

Если есть вав-файл, то его спектр можно посмотреть во многих программах - от простеньких типа ГолдВэйв через оптимальные СпектраЛабы и СпектраПлюсы до каких угодно навороченных софтов. Фонемы выделять - не знаю, может и есть готовый софт, я бы написал свой.

[Xey]

Зелененькая кривая похожа на осциллограмму, по горизонтали время по вертикали сигнал микрофона (давление звука).

Ниже наверно спектрограмма, по горизонтали время, по вертикали частоты присутствующие в звуке в даный момент времени .

А фонема это что, сколько их, в чем различие.?

[photon]

Matlab частично может решить Вашу задачу: http://www.music.mcgill.ca/~gary/307/week1/matlab.html.

Выделить же отдельные фонемы - не знаю как.

[arseniiv]

Фонемы же зависят от языка. В одном они имеют такие аллофоны по одной области пространства признаков, в другом — другие по почти всегда довольно отличающейся области. Тут надо распознаватель образов, наверное, строить, которому за эталоны дают большое количество реализаций каждой из фонем.

Да и взгляды на фонематический инвертарь отдешльного языка могут отличаться: напр., для русского 5 гласных фонем от МФШ и 6 от ЛФШ.

[photon]

погуглите по ключевой фразе "компьютерный транскрайбер" - возможно удастся найти что-то, что в каком-то приближении решает поставленную задачу

[longstreet]

Сегодня спросил у специалиста. Говорит, программы хорошо выделять фонемы не умеют. omg!

-- 09.10.2012, 22:47 --

arseniiv в сообщении #628824 писал(а):

Фонемы же зависят от языка.

По-моему, не совсем. От языка зависит то, какие фонемы в нём присутствуют - во всех языках разные наборы фонем.
В то же время фонемы часто повторяются, то есть в разных языках часто можно встречать одинаковые фонемы. Существует Международный Фонетический Алфавит. В нём конечное (небольшое) число фонем, все которые только могут встречаться в естественных языках. Поэтому, если бы по спектрограмме можно было бы выделять фонемы в принципе, то не было бы проблемы и с конкретными языками.

-- 09.10.2012, 22:48 --

arseniiv в сообщении #628824 писал(а):

Да и взгляды на фонематический инвертарь отдешльного языка могут отличаться: напр., для русского 5 гласных фонем от МФШ и 6 от ЛФШ.

Что такое "МФШ" и "ЛФШ"?

-- 09.10.2012, 22:48 --

Xey в сообщении #628773 писал(а):

Зелененькая кривая похожа на осциллограмму, по горизонтали время по вертикали сигнал микрофона (давление звука).

Ниже наверно спектрограмма, по горизонтали время, по вертикали частоты присутствующие в звуке в даный момент времени .

А цвет что именно указывает? Вроде бы интенсивность, но я не понимаю что это значит в точности и зачем нужно для выделения фонем (и нужно ли).

[arseniiv]

longstreet в сообщении #628926 писал(а):

По-моему, не совсем.

Видимо, вы фонемами называете что-то отличное от того, что называют фонемами как правило.

longstreet в сообщении #628926 писал(а):

Что такое "МФШ" и "ЛФШ"?

Московская и Петербургская (была Ленинградская) фонологические школы.

longstreet в сообщении #628926 писал(а):

В то же время фонемы часто повторяются, то есть в разных языках часто можно встречать одинаковые фонемы.

Фонемы можно рассматривать только для каждого языка в отдельности. Это «логические», не «физические» объекты.

longstreet в сообщении #628926 писал(а):

Существует Международный Фонетический Алфавит. В нём конечное (небольшое) число фонем, все которые только могут встречаться в естественных языках.

В нём небольшое число символов для обозначения звуков, которые можно модифицировать диакритикой — и вариантов станет намного больше. Хотя он используется для записи фонем — и тогда эти символы не стоит понимать более чем абстракцию — он используется и для записи вариантов фонем — аллофонов, и один и тот же аллофон может быть реализацией разных фонем — так что программа на фонемы разделить не сможет, потому что для этого нужно иметь какие-то сведения о языке. Да и не нужны вам именно фонемы, скорее всего.

longstreet в сообщении #628926 писал(а):

А цвет что именно указывает? Вроде бы интенсивность

Да, её.

[longstreet]

arseniiv, посоветуйте учебник по фонетике.

-- 10.10.2012, 17:41 --

longstreet в сообщении #628926 писал(а):

Сегодня спросил у специалиста. Говорит, программы хорошо выделять фонемы не умеют. omg!

А почему по форме спектрограмм не удаётся определять фонемы? Вы говорите, что нужно иметь дополнительную информацию о языке. Но, насколько я понял ответ специалиста, у которого спрашивал, программы, достаточно хорошо выделяющей фонемы нет и для конкретных языков.

-- 10.10.2012, 17:45 --

Гуглил. Оказалось, что невозможно однозначно воспроизвести спектрограмму (т.е. по данной спектрограмме восстановить звучание). omg, это почему ещё?

-- 10.10.2012, 17:47 --

arseniiv в сообщении #629128 писал(а):

Да и не нужны вам именно фонемы, скорее всего.

Не нужны. Мне просто интересно стало. Читал учебник Реформатского, встретил, захотел соответствующие современные программы посмотреть (учебнику лет 50).

-- 10.10.2012, 17:49 --

arseniiv в сообщении #629128 писал(а):

эти символы не стоит понимать более чем абстракцию — он используется и для записи вариантов фонем — аллофонов, и один и тот же аллофон может быть реализацией разных фонем

То есть, фонем самих по себе в языке нет, это абстрактное понятие? Только их варианты, различные реализации есть непосредственно?

[arseniiv]

longstreet в сообщении #629143 писал(а):

arseniiv, посоветуйте учебник по фонетике.

Не могу…

longstreet в сообщении #629143 писал(а):

А почему по форме спектрограмм не удаётся определять фонемы? Вы говорите, что нужно иметь дополнительную информацию о языке. Но, насколько я понял ответ специалиста, у которого спрашивал, программы, достаточно хорошо выделяющей фонемы нет и для конкретных языков.

Чтобы выделить фонемы, если выделены аллофоны, надо знать, в каких местах данным аллофоном что может реализоваться, а что нет (это зависит от языка), а для определения аллофонов нужно знать, какие звуки в языке считаются за разные аллофоны, а какие за один. Например, не изучавший русский англичанин почти наверняка воспримет реализации [л] и [л'] как равноценные, хотя и заметит, естественно, некоторую разницу — но она ему будет не важна. Если можно достаточно хорошо разделить запись речи на отдельные звуки (органы речи принимают новое положение за конечное время — поэтому некоторое время между двумя соседними звуками произносится нечто среднее), то, мне кажется, хороший результат для разделения на аллофоны должны дать алгоритмы распознавания образов.

longstreet в сообщении #629143 писал(а):

Гуглил. Оказалось, что невозможно однозначно воспроизвести спектрограмму (т.е. по данной спектрограмме восстановить звучание). omg, это почему ещё?

Странно. Вот это должно быть возможным.

longstreet в сообщении #629143 писал(а):

То есть, фонем самих по себе в языке нет, это абстрактное понятие? Только их варианты, различные реализации есть непосредственно?

Это смотря где. В потоке речи есть только звук. А что там в голове… (и в языке — это же вещь не материальная) В общем, эта модель с фонемами и аллофонами достаточно хорошо применима.

[longstreet]

arseniiv в сообщении #629165 писал(а):

longstreet в сообщении #629143 писал(а):

Гуглил. Оказалось, что невозможно однозначно воспроизвести спектрограмму (т.е. по данной спектрограмме восстановить звучание). omg, это почему ещё?

Странно. Вот это должно быть возможным.

И мне странно. Однако же так (вроде бы)! Даже конкурсы видел, где выкладывают спектрограмму и неделю дают на расшифровку звучания (и в конечном итоге текста), который ей соответствует. Вроде бы даже специалисты плохо "читают" спектрограммы, в основном, насколько я понял, люди большей частью догадываются (иногда в помощь задаётся контекст).

[arseniiv]

А, по картинке с урезанной информацией неудобно читать, конечно! А если картинка содержит мало информации, то и действительно никак. Я подумал, по более-менее полным данным с помощью программы синтезировать.

[longstreet]

arseniiv в сообщении #629212 писал(а):

А, по картинке с урезанной информацией неудобно читать, конечно! А если картинка содержит мало информации, то и действительно никак.

А что именно урезано? Какие характеристики звука на динамической спектрограмме не отображаются важные для восстановления звуковой речи?

[arseniiv]

Детализация области частот — наверно, в первую очередь. И остального: детализация времени и громкости — но тут, наверно, людям обычно хватает.

Ещё не знаю, насколько звуки с большой долей шума отличаются по такой картине на глаз — тут может не хватить детализации громкости, возможно.

-- Чт окт 11, 2012 00:06:45 --

Ну и ещё влияет не-очень-то-и-удобство представления информации в таком виде и то, что для работы надо сравнивать частоты с какими-нибудь справочными. Человек это не быстро сделает.

[longstreet]

arseniiv в сообщении #629237 писал(а):

Детализация области частот — наверно, в первую очередь. И остального: детализация времени и громкости — но тут, наверно, людям обычно хватает.

Громкость в речи не играет большой роли.
Что такое детализация времени? Там по одной из шкал как раз время откладывается, а спектрограмма представляется классически с подписями значений по оси времени и по оси частот. Так что время есть.
Что такое детализация частот? Частоты можно определить из спектрограммы. Саму спектрограмму можно растянуть по горизонтали-вертикали, получая подробности. Т.е. именно спектрограмму дают (я так думаю), а не картинку спектрограммы.

arseniiv в сообщении #629237 писал(а):

Ну и ещё влияет не-очень-то-и-удобство представления информации в таком виде и то, что для работы надо сравнивать частоты с какими-нибудь справочными. Человек это не быстро сделает.

Компьютеру сравнивать частоты со справочными - не проблема. Мы же про компьютерные программы говорим.

-- 10.10.2012, 21:41 --

GoldWave строит осцилограммы и спекрограммы, интуитивно понятная программа для меня. Играюсь. http://www.goldwave.com