фраза на спектрограмме

[Cos(x-pi/2)]

В 1970-х будучи студентом прочитал книжку "Видимый звук" (на неё есть рецензия в УФН: https://ufn.ru/ru/articles/1975/3/n/ ). В этой книжке впервые увидел спектрограммы. Уже в то время упоминалось, что спектрограмма позволяет распознавать человеческую речь с помощью ЭВМ.

Ну, это так, просто вспомнилось к слову. Нынче люди не удивляются возможностям компьютеров. Теперь многие со школьных лет умеют программировать и пользоваться ИИ.

Вот, придумалась забава: по спектрограмме отгадать фразу. Конечно, такое специфическое занятие мало кого может увлечь (разве лишь любителей упражнений по "цифровой обработке сигналов", притом тех, кому нечего делать от слова "совсем")).

Вложение:

spectrogram.jpg

Этот файл содержит всю нужную для расшифровки фразы информацию. Например, видно, что по вертикали отложены герцы, по горизонтали — секунды. Если картинку в рамке выделить в файл bmp и суметь подходящим образом преобразовать в аудио, то хотя звучание будет сильно искажено, расслышать слова удастся. Вообще допускается пытаться отгадать фразу любым способом, в том числе — с помощью ИИ, или прямо по изображению (если вдруг "глаз намётан" на распознавание звуков речи по спектрограммам), ну или просто отгадать :)

[lel0lel]

С помощью https://melobytes.com/en/app/spectrogram2sound:

(Оффтоп)

Ребята, давайте жить дружно

Только нужно загружать без координатных осей, иначе они тоже будут озвучены, и диапазон частот указать с длительностью.

[Cos(x-pi/2)]

lel0lel


Да, точно. Спасибо!
Потрясающе... (А я-то дурак напрягался, в Маткаде чего-то мудрил целый вечер; думал, супертрудная задачка получится :))

[mihaild]

(Gemini Argon (в Antigravity))

Recognized Speech

Russian:

Цитата:

«Ребята, давайте жить дружно!»

• Transliteration: Rebyata, davayte zhit' druzhno!
• Translation: "Guys, let's all get along!" / "Kids, let's live in harmony!"
• Source: The signature closing catchphrase of Leopold the Cat (Кот Леопольд), complete with the gentle background melody from the animated series.

Segment Breakdown

• 0.00s – 1.08s: Background organ/flute melody (~680 Hz sustained note)
• 1.10s – 1.85s: «Ребята,» (Re-bya-ta)
• 1.85s – 3.25s: Pause with background melody (~750 Hz sustained note)
• 3.30s – 5.15s: «давайте жить дружно!» (da-vay-te zhit' druzh-no!)
• 5.15s – 5.66s: Closing melody note (~1650 Hz)

Extracted Audio & Reconstruction Method

• Format: WAV (16 kHz, 16-bit PCM, 5.659 s)

How the waveform was recovered:

1. Axis Calibration & Border Removal: Cropped to the exact plot grid (x = 94.5..703.5 for 0..5.659 s, y = 346.5..5.5 for 0..4000 Hz), calibrated so voice harmonics align at exact integer multiples of F₀, and stripped green border chroma bleed.
2. Phase Reconstruction: Subtracted the dark background floor, mapped pixel brightness to STFT magnitudes (32 ms Hann window, 8 ms hop, 0–4000 Hz band within a 16 kHz stream) with mild upper-formant emphasis, and ran 300 iterations of Fast Griffin-Lim (β = 0.99).

[lel0lel]

Cos(x-pi/2)
Она и получилась весьма трудная. Только вы поспешили с разрешением использовать всевозможные инструменты. А если бы без них, то пришлось бы ни один вечер потратить. Гугл-ИИ сначала мне сказал, что первое слово "всем", а потом предложил воспользоваться инструментами для проверки. Кстати, есть более продвинутые программы, которые преобразуют спектрограммы в звук. Их можно установить на компьютер.

[Cos(x-pi/2)]

mihaild в сообщении #1737088 писал(а):

Source: The signature closing catchphrase of Leopold the Cat (Кот Леопольд), complete with the gentle background melody from the animated series.

mihaild, да, верно; спектрограмму я сделал именно из этого музыкального фрагмента. :) (В самодельной программке. Однако, как говорится, пора "сливать кипяток", т.е. - прощаться с самоделками. Уже отчётливо видно, что теперь везде рулит ИИ; даже как-то грустно становится... )

[Mihaylo]

(Оффтоп)

Cos(x-pi/2) в сообщении #1737090 писал(а):

даже как-то грустно становится... )

Умные грустнеют, необразованные становятся счастливыми.

[ozheredov]

Cos(x-pi/2)
Получается, ухо человека реагирует только на мощность сигнала внутри спектральных диапазонов из определённого набора, а на фазу ему пофиг? Аналогично реакции палочек и колбочек на свет?

[Cos(x-pi/2)]

ozheredov
По-видимому да. Уши и глаза (и органы осязания) это наверное лишь датчики - преобразователи внешних воздействий в какие-то сигналы, поступающие затем в мозг по нервам. Основную "обработку сигналов" выполняет мозг - как-то добывает интересующую его информацию. По-видимому, фазы спектральных составляющих звука не играют важной роли (хотя любители виниловых пластинок и тёплого лампового звука утверждают обратное :)

Притом машина (с программой, изобретённой человеческими мозгами) может делать "обработку сигналов" лучше мозга.

Например, в науке о сигналах есть такое понятие: частотное уплотнение. Это когда весь доступный приёмному датчику диапазон частот разбивают на несколько полос, а источник в эти частотные полосы переносит (заданным сдвигом по частоте) спектры разных сигналов - с разной информацией.

При восприятии ухом мозг в такой смеси сигналов сможет понять фразу только из низкочастотной полосы. Перенести же выше лежащие полосы частот обратно вниз и получить отдельно из каждой полосы желаемую информацию мозг человека не может.

А программа в машине может. И не только это. Например, в простейших шифраторах речи применяли (раньше, а как сейчас - не знаю) инверсию спектра в каждой полосе. Т.е. программно или аппаратно переставляли спектральные составляющие на шкале частоты в обратном порядке. На слух, т.е. для мозга, такой сигнал звучит как полностью неразборчивое курлыканье. На спектрограмме же можно и увидеть полосы частот с разнымии сигналами, и заметить инверсию спектра, если она есть; и затем программно выделить из такой смеси разборчивые сигналы.

(Возможно, попробую сделать полосатую спектрограммку, притом с инверсией спектра не в каждом канале (полосе); если получится приемлемая картинка такого типа, то интересно будет: сможет ли какой-нибудь ИИ распознать каналы и фразы в них.)

[wrest]

ozheredov в сообщении #1737106 писал(а):

Получается, ухо человека реагирует только на мощность сигнала внутри спектральных диапазонов из определённого набора, а на фазу ему пофиг?

Да, потому что в ухе природой установлен спектральный анализатор и сигналы в мозг идут об амплитудах в каждой полосе. Фазы там могут как-то влиять если источников звука несколько и есть интерференция.
Ещё говорят есть такие люди, которыем можно подать в одно ухо один сигнал, а во второе его же в противофазе и они это замечают. Верится с трудом.

[Cos(x-pi/2)]

О фазах знаю ещё вот что (потому что проверял это на себе и на знакомых людях). Если пропустить электрический аудио-сигнал через фазовращатель (изменяющий только фазы спектральных составляющих, но не их амплитуды), то форма сигнала во времени (осциллограмма) может измениться до неузнаваемости, а на слух сигнал при этом никак не меняется; если в аппаратуре не возникают нелинейные искажения.

Меломаны наверное могут заметить некое влияние фазовых сдвигов при определённой громкости звуковоспроизведения. Потому, что в зависимости от конкретики фазовых сдвигов, могут увеличиваться или, наоборот, уменьшаться, выбросы на пиках сигнала. При большой громкости усилитель и аудио-система в какой-то мере перегружаются на пиках сигнала - возникают более или менее ощутимые на слух нелинейные искажения. Наверное и в ухе тоже возможны нелинейные искажения. Они зависят от формы сигнала - от наличия или отсутствия пиков в разные моменты времени, а форма сигнала зависит от фаз. Это и может восприниматься меломанами как "некое влияние фазы на окраску звучания".

[wrest]

Cos(x-pi/2) в сообщении #1737115 писал(а):

то форма сигнала во времени (осциллограмма) может измениться до неузнаваемости, а на слух сигнал при этом никак не меняется; если в аппаратуре не возникают нелинейные искажения.

Да, вот в многополосных колонках фазы разбредаются в полосах, т.к. перед динамиками стоят полосовые фильтры, после них усилители, и что они там делают с фазами - за этим кажись никто и не следит.

-- добавлено через 59 минут --

Cos(x-pi/2) в сообщении #1737115 писал(а):

Наверное и в ухе тоже возможны нелинейные искажения.

Тут как-то трудновато говорить об этом - слух же изначально нелинеен по громкости (субъективно воспринимаемая громкость это логарифм от звукового давления) и по частоте (звуковое давление равной громкости существенно зависит от частоты).

[EUgeneUS]

Прям удивительно такое читать от столь уважаемых участников.

Фаза звукового сигнала критически важна не для разбора речи (хотя тут не уверен), а для восприятия направления на звук.
Меломаны (именно, меломаны, а не любители "теплого лампового звука", впрочем множества могут пересекаться) "слышат фазу" в виде объемной картины, т.н. "сцены". Точнее - разницу фаз справа и слева.
Например, переполюсовка одной колонки в стереосистеме (изменение фазы на 180 градусов на одной колонке) ни к чему не приведет, кроме того, что "сцена" развалится, то есть объемного звука не будет. Поэтому контакты на усилителях и колонках метят и провода в аудиокабелях метят, типа "горячий" (обычно красный) и "холодный" (обычно черный).

Кстати, в старые времена были такие устройства, как "расширитель стереобазы". Работа их основана на том, чтобы немного подкрутить разницу фаз в каналах и какгбэ расширить "сцену".
Работали так себе, но окраску звука меняли забавно.

-- добавлено через 6 минут --

EUgeneUS в сообщении #1737132 писал(а):

Работа их основана на том, чтобы немного подкрутить разницу фаз в каналах и какгбэ расширить "сцену".

ГуглоИИ уточняет:

Цитата:

Работа с разностным сигналом: Классический принцип работы основан на выделении и усилении разности между левым и правым каналами (L - R) с одновременным частичным подавлением центрального (моно-) сигнала.
...
Фазовые искажения: Чрезмерное расширение стереобазы может привести к размытию центрального образа (вокал или бас потеряют четкость) и проблемам при суммировании трека в моно

-- добавлено через 19 минут --


"Меломан" различает фазу звукового сигнала.

[wrest]

EUgeneUS в сообщении #1737132 писал(а):

Например, переполюсовка одной колонки в стереосистеме (изменение фазы на 180 градусов на одной колонке) ни к чему не приведет, кроме того, что "сцена" развалится, то есть объемного звука не будет. Поэтому контакты на усилителях и колонках метят и провода в аудиокабелях метят, типа "горячий" (обычно красный) и "холодный" (обычно черный).

А переполюсовка одного наушника? Развалит сцену?

[EUgeneUS]

wrest в сообщении #1737146 писал(а):

А переполюсовка одного наушника? Развалит сцену?

Никогда не проводил такого опыта. Но из общих соображений - развалит сцену, было бы что разваливать.
То есть при нормальном подключении сцена должна быть: вокал по центру, рояль правее, скрипки слева, флейты правее рояля, большой барабан - везде, но треугольник между вокалом и флейтами. А не "источник звука где-то между ушами".