Принципы и технологии обработки звуковой информации – Технологии обработки графической и мультимедийной информации

Звуковая информация чрезвычайно важна для человека. Именно с помощью звука люди осуществляют коммуникации между собой, на основе человеческой речи возникла письменность и культура в целом. Особую роль речь, звуки играют в обучении и воспитании. Учебный процесс основан на речевом общении учителя и учащихся. Важную роль в культуре человечества играет музыка. Все значительные моменты человеческой жизни, важные события сопровождаются музыкой. Мы не можем обойтись без музыки длительные промежутки времени, а молодежная субкультура поистине построена на современных музыкальных течениях. Среди молодых людей есть и такие, которые с трудом могут обходиться без музыки в течении занятий. Они слушают любимые музыкальные композиции и группы при каждом удобном случае с помощью гарнитуры, мобильного телефона, плеера.

Подготовка и прослушивание с помощью компьютера звуковых записей — одна из важных мультимедиатехнологий.

Большую популярность приобрели программы проигрывания и обработки звуковой информации.

Прежде чем рассмотреть эти программы и реализуемые ими технологии обработки звуковой информации, приведем некоторые необходимые сведения относительно природы звука как физического явления.

Звук — это волны давления, которые распространяются в материальной среде. Мы, люди, имеем дело со звуковыми волнами, которые распространяются в воздухе. Однако звуковые волны распространяются и в жидкостях (например, в воде “переговариваются” рыбы, дельфины, киты), и в твердых телах (например, приложив ухо к рельсу, можно услышать приближение поезда на очень большом расстоянии).

“Волны давления” означает, что звуковая волна представляет собой как бы “сгустки” молекул воздуха с повышенным давлением, чередующиеся с областями разрежения молекул, где давление пониженное. Эти сгустки и разрежения движутся в воздушной среде с определенной скоростью, зависящей только от характеристик молекул. Эта скорость и есть скорость звука в данной среде. Частота колебаний давления может быть выше или ниже. Единицей частоты является 1 Герц (Гц).

Герц — фамилия немецкого ученого, внесшего большой вклад в изучение колебаний.

С точки зрения восприятия звука человеком частота колебаний определяет высоту тона. Человеческое ухо различает звук с частотой от 20 Гц (низкий рокот) до 20 000 Гц (тонкий комариный писк), чем ниже частота — тем ниже по тону нам кажется звук, чем выше частота — тем выше тон звука. Речь и музыка находятся в диапазоне 1000–5000 Гц.

Если поставить на пути звуковой волны тонкую мембрану, связанную с очень чувствительными пружинными весами или динамометром (рис. 8.17), то мембрана начнет колебаться с частотой звука. Амплитуда колебаний мембраны и стрелки будет связана с громкостью звука. Громкость всех звуков находится между порогом слышимости (самым слабым звуком, который способен различить человек) и звуком, который вызывает болевое ощущение. Отношение относительных давлений в волнах таких звуков составляет 100 000 000 раз. Для удобства отношение силы звука к порогу слышимости измеряют не в разах, а в логарифмических единицах — децибелах (дБ, dB).

Звуковые волны и звуковое давление

1 дБ = 20lg(p2/p1)

где p2 — звуковое давление измеряемого звука, а p1 — звуковое давление, соответствующее порогу слышимости.

Болевой порог в таком случае составляет примерно 140 дБ.

С небольшими оговорками уровень звука можно называть и просто громкостью. Слух человека устроен так, что субъективно мы оцениваем гром кость именно в логарифмическом масштабе: увеличение мощности сигнала в десять раз ощущается как увеличение громкости всего в два раза. Минимальное различие уровня двух сигналов, которое способен заметить человек, составляет 1 дБ. Отсюда вытекает понятие динамического диапазона, то есть разницы между самыми тихими и самыми громкими звуками. Человеческий слух обладает динамическим диапазоном около 120 дБ. Точно так же можно говорить о динамическом диапазоне какого-либо музыкального фрагмента. Если самые тихие звуки в нем имеют громкость 10 дБ, а самые громкие — 60 дБ, то динамический диапазон составит 60 – 10 = 50 дБ.

Первое устройство звукозаписи — фонограф — было изобретено в начале 20 века американским изобретателем Эдисоном. Оно основывалось на фиксации колебаний мембраны (рис. 8.18) с помощью связанной с ней иглы и валика, покрытого воском. Игла выцарапывала на восковом валике извилистую бороздку — график изменения давления, графическое изображение звуковых колебаний, их временную развертку. Оказалось, что если вновь провести иглой по бороздке, то мембрана начнет колебаться в соответствии с ее изгибами, и звук, который звучал при создании бороздки, будет воспроизведен.

С появлением электронных устройств — микрофонов — звуковые волны стали преобразовывать в электрические колебания. Чувствительный элемент — мембрана микрофона — колеблется под воздействием звуковых волн и передает это движение на преобразователь — электромагнитную катушку, пластину конденсатора или пьезоэлемент. В результате на выходе микрофона возникают колебания электрического тока или напряжения, повторяющие во времени колебания давления на поверхности мембраны. Эти электрические колебания можно усиливать и записывать на какой-нибудь носитель, например на магнитную ленту, при этом колебания намагниченности магнитной ленты точно повторяют форму звуковых колебаний. Такая запись называется аналоговой. В процессе воспроизведения носитель движется через воспроизводящую головку, записанный на нем сигнал преобразуется в головке в электрические колебания, которые затем усиливаются электроникой и заставляют колебаться диффузор динамика.

Звук, представляющий собой колебания одной, строго определенной частоты, имеет “чистый тон”. Развертка такого звука имеет форму правильной синусоиды (рис. 8.18), кривой, описываемой формулой y = sin(x). Это гармоническое колебание. Таким является, например, звук, издаваемый камертоном или вырабатываемый простейшим генератором. Чистый тон характеризуется всего двумя параметрами — частотой и амплитудой. Субъективно частота воспринимается как высота тона, а амплитуда — как его громкость.

Синусоида — график звуковых колебаний

На практике подобные звуки встречаются редко. Реальные звуки, вроде звучания музыкальных инструментов, содержат множество “обертонов”, придающих звукам различную эмоциональную окраску. Звуки голоса или шума образуются сочетанием множества колебаний разных частот. Графическая развертка таких колебаний выглядит как кривая сложной формы (рис. 8.19).

Разложение колебания на гармонические составляющие

Понятие частоты или тона здесь неприменимо. Математическое описание сложения колебаний с разными частотами лежит за пределами школьной программы, но практический вывод достаточно прост: любой, даже самый сложный, колебательный процесс можно представить как результат сложения нескольких гармонических колебаний или синусоид. Так называемое преобразование Фурье позволяет выделить из реального звука отдельные синусоидальные составляющие, то есть полностью разложить этот звук на множество отдельных синусоидальных колебаний, каждое со своей частотой и амплитудой. Если частоты составляющих кратны друг другу, то такие составляющие обычно называют гармониками.

Разложив звук на гармонические составляющие, можно (теоретически) измерить амплитуду каждой из них, а затем перечислить в порядке частот эти составляющие, указав амплитуду каждой из них. На практике поступают несколько иначе: разбивают весь диапазон слышимых частот на несколько участков (от… и до…) и указывают средние уровни всех составляющих, попадающих в каждый диапазон. Уровень звука в пределах диапазона принято выражать в тех же децибелах. Такое описание звука называется спектром. Обычно спектр изображают в виде столбчатой диаграммы.

Субъективно спектр воспринимается как тембр или окраска звука: чем больше доля высших гармоник, тем более звонким, “металлическим” является звучание. В зависимости от наличия и соотношения разных гармонических составляющих звук может казаться “прозрачным” или, наоборот, хриплым.

Усиление или ослабление звукового сигнала в целом или изменение уровня отдельных его гармонических составляющих называют линейным преобразованием звука. В результате может меняться соотношение уровней отдельных гармоник, но новые гармоники при этом не возникают.

В противоположность этому о нелинейных преобразованиях говорят, когда в измененном звуковом сигнале появляются такие частоты или гармоники, которые в исходном звуке отсутствовали. Нелинейные преобразования специально используются для создания определенных эффектов, в противном случае их считают искажениями. Нелинейными искажениями сопровождается как оцифровка звука, так и восстановление сигнала из цифрового вида в аналоговый.

В настоящее время аналоговая запись и обработка звука сдала позиции цифровым технологиям. Аналоговыми устройствами остаются только микрофоны, звукосниматели электромузыкальных инструментов и предварительные усилители, иногда микшеры. В них звук представляется непрерывным, меняющимся во времени электрическим сигналом. Далее звуковой сигнал оцифровывается, и вся последующая работа ведется уже с цифровыми данными.

Естественно, что компьютер позволяет обрабатывать звуковую информацию только в цифровом виде.

Важнейшую роль играет оцифровка звука — преобразование звуковых колебаний из аналоговой формы в цифровую. Оцифровку звука способна выполнять звуковая карта любого компьютера.

В процессе оцифровки аналоговый сигнал, поступающий от микрофона, звукоснимателя или другого источника разбивается на отдельные, очень короткие участки (дискретизация или выборка), а уровень сигнала на каждом участке измеряется и записывается в виде целого числа (квантование) — рис. 8.20.

Принцип оцифровки аналогового сигнала

Частота дискретизации показывает, сколько раз за секунду измеряется моментальное значение сигнала. Например, если сигнал оцифровывается при частоте дискретизации 44 кГц, то измерения производятся 44 000 раз в секунду.

Очевидно, что чем чаще делаются замеры (чем выше частота дискретизации), тем более точным окажется представление сигнала в цифровой форме. Частота дискретизации по меньшей мере в два раза должна превышать частоту самых высокочастотных составляющих оцифровываемого сигнала. Для оцифровки речи, например в телефонии, еще приемлема частота дискретизации около 8 или 12 кГц, для обычной “домашней” оцифровки музыки уже нужна частота дискретизации не менее 22,5 кГц, а “студийное качество” оцифровки начинается с 48 кГц. Наиболее качественной оцифровке соответствуют частоты дискретизации 88, 96 и даже 192 кГц, хотя оцифровывать сигнал с такой частотой способны лишь дорогие “профессиональные” звуковые карты.

Каждое полученное значение уровня должно быть записано в виде целого двоичного числа фиксированной длины или разрядности. Разрядность двоичного числа выражается в битах и показывает, сколькими двоичными знаками (нулями и единицами) записано это число. Например, 16 бит — это последовательность из 16 двоичных знаков. Таким образом, аналоговый сигнал превращается в последовательность чисел, которая является почти готовым файлом.

Файл формата WAVE (несжатый звуковой поток), помимо такой последовательности, содержит также сведения о том, с какой частотой и разрядностью оцифровывался сигнал, и некоторую другую служебную информацию. Легко рассчитать, какой объем информации занимают данные о звуке. Если, например, в секунду производилось 44 000 замеров уровня сигнала, а каждый замер занимает 16 бит, то для хранения одной секунды фонограммы нужно 44000 Ч 16 = 704 000 бит, то есть примерно 690 Кбит, или 86 Кбайт.

Значения уровня аналогового сигнала — из непрерывного множества. При оцифровке они округляются до ближайшего целого. Точность измерения или ошибка округления зависит от того, какая задана разрядность (bit depth, буквально — глубина битов). Если оцифровка производится с разрядностью 8 бит, то доступно всего 28 = 256 различных значений уровня, а при разрядности 16 бит уровень может принимать одно из 65 536 значений. Чем выше разрядность, тем ближе оказываются округленные значения к реальным, физическим значениям, тем более высокое качество имеет цифровое представление звука.

В конечной частоте дискретизации и округлении полученных значений уровня сигнала кроется причина неизбежной потери информации и возникновения искажений при оцифровке.

Оба взаимосвязанных действия — дискретизацию и квантование — выполняет микропроцессор звуковой карты, точнее, его часть, являющаяся аналого-цифровым преобразователем (АЦП). Возможности звуковой карты выражаются максимальными значениями частоты дискретизации и разрядности и зависят от ее класса. Встроенные в материнскую плату или распространенные недорогие звуковые карты способны оцифровывать сигнал с частотой дискретизации до 48 кГц и разрядностью 8 или 16 бит. Дорогие полупрофессиональные или профессиональные карты поддерживают частоту дискретизации до 192 кГц и разрядность 24, 32, вплоть до 64 бит.

Перед записью или оцифровкой сигнала звуковая карта настраивается (задается разрядность записи и частота дискретизации) с помощью собственного драйвера, а пользовательский интерфейс для настройки предоставляет операционная система (так задаются настройки по умолчанию) или та программа, с помощью которой управляют записью.

Вся обработка и преобразования оцифрованного звука сводятся к математическим действиям над этими потоковыми данными. Иногда формулы преобразования бывают очень сложны, но программы, которые мы рассмотрим далее, позволяют задавать параметры обработки простым и наглядным образом.

Формат WAVE достаточно точно сохраняет данные исходного аналогового сигнала, но является очень нерациональным в отношении объема, занимаемого информацией. Тем не менее, этот формат предпочтителен для первоначальной записи звуковых данных, которые впоследствии нужно будет обрабатывать.

На практике обычно прибегают к сжатию звукового потока, которое почти всегда сопряжено с потерей части информации, а иногда и с появлением дополнительных искажений. Не вдаваясь в подробности алгоритмов сжатия, отметим, что в основе их лежит учет особенностей субъективного восприятия звука человеком. Эти особенности позволяют упростить оригинальный сигнал так, чтобы объем данных уменьшился существенно, а качество звучания оставалось на приемлемом для большинства слушателей уровне. В частности, применяется удаление из сигнала наименее заметных частотных составляющих, искусственное сужение динамического диапазона и другие приемы.

Среди алгоритмов сжатия широко известны MPEG-1 Layer I, II, III (последний также называют MP3), MPEG-2 AAC (Advanced Audio Coding), Ogg Vorbis, Windows Media Audio (WMA). Сжатие оцифрованного звука по этим методам позволяет уменьшить объем данных в десять и более раз.

Применительно к сжатому звуку, помимо частоты дискретизации и разрядности, используют третье понятие — битрейт — объем данных, соответствующий одной секунде звучания и измеряющийся в килобитах в секунду (Кбит/с, kilobits per second). При прочих равных параметрах, чем ниже битрейт, тем больше степень сжатия и, соответственно, ниже качество.

На практике нужно стараться по возможности обрабатывать звуковые данные в несжатом виде, а сжимать их уже на завершающем этапе. Каждая последующая перекодировка неизбежно только ухудшает качество: сжатие — процесс односторонний и необратимый. Точно так же ресэмплинг (от англ. resampling — изменение частоты дискретизации оцифрованных аудиоданных) не способен восстановить в сигнале изначально отсутствующие в нем данные.

В Windows имеются простые инструменты для ввода звука с микрофона и оцифровки, проигрывания звука c помощью проигрывателя Windows Media, регулятор громкости. Интерфейс и возможности этих программ интуитивно ясны и не требуют пространных описаний. Однако для выполнения каких-либо работ по преобразованию звука, его редактированию и кодированию необходимо пользоваться специальными программами, такими как Adobe Sound Forge, Adobe Audition и т. п. Эти программы предназначены для нелинейного редактирования звука, т. е. изменения порядка следования фрагментов звукозаписи, коррекции различных искажений. Вот список операций, которые можно выполнять со звуком в цифровом представлении:

• — начальная запись и оцифровка звука с различных источников — микрофона, магнитофона, проигрывателя виниловых дисков и т. п. с заданным качеством, получение исходных, необработанных фонограмм;
• — монтаж фонограмм: удаление, вырезание и вставка, “склеивание” фрагментов;
• — наложение одних фонограмм на другие, целиком или частями, микширование;
• — исправление дефектов фонограммы: удаление или существенное снижение шума, щелчков, посторонних или нежелательных звуков в полуавтоматическом режиме; ручная “подчистка” отдельных участков фонограммы;
• — частотная коррекция: изменение тембра, маскировка или подчеркивание отдельных частотных составляющих;
• — нормализация уровня (громкости), изменение динамического диапазона записей;
• — восстановление “срезанных” пиков” — искажений, возникающих при записи фонограмм с чрезмерно большим уровнем сигнала;
• — изменение продолжительности фонограмм или отдельных их фрагментов;
• — применение специальных эффектов: вибрато, реверберации, эха.