Раздел: Документация
0 ... 9 10 11 12 13 14 15 ... 55 - иерархического кодирования, предполагающего различные степени разрешающей способности при преобразовании изображения. Стандарт предполагает выбор пользователем последовательности процедур обработки и собственно самих этих процедур. Так, возможно использование режимов сжатия как «с потерей», так и «без потерь» качества. В первом случае применяется двумерное дискретно-косинусное преобразование блоков 8x8 пикселов [24], квантование компонент ДКП с помощью таблиц коэффициентов квантования, после чего следует этап хаффменовского статистического кодирования. Во втором случае применяется кодирование с предсказанием на основе ДИКМ с последующим статистическим кодированием. Компрессия в стандарте JPEG может быть использована и для сжатия подвижного цифрового видео при соответствующей аппаратной поддержке, обеспечивающей скорость передачи до 30 кадров/с. Однако в этом случае обработка не является оптимальной, т.к. каждый кадр обрабатывается как неподвижное изображение, и не делается никаких попыток сжатия на межкадровом уровне. Достигаемый коэффициент сжатия видеопотока не превосходит 20-30 при незначительных потерях качества и достигает величины 200 при существенных искажениях изображения. 2.8.2. Стандарты MPEG Эти стандарты разрабатываются группой Motion Picture Expert Group (MPEG) ISO специально для компрессии подвижных изображений с аудиосопровождением [25]. Работа группы MPEG первоначально была организована в рамках трех проектов: MPEG-1, MPEG-2, MPEG-3. В последующем работа над проектом MPEG-3 была прекращена, поскольку цели этого проекта (цифровая передача синала телевидения выской четкости) были полностью реализованы в рамках проекта MPEG-2, но была начата работа над новым проектом MPEG-4. Проекты закончились разработкой одноименных стандартов ISO: -MPEG-1: Coding of Moving Pictures and Assosiated Audio for Digital Storage Media at up to About 1,5 Mbps (Кодирование подвижных изображений и звукового сопровождения для запоминания в цифровой форме при скорости обмена до 1,5 Мбит/с) -MPEG-2: Generic Coding of Moving Pictures and Assosiated Audio Information -MPEG-4: Very Low Bit Rate Audio-Visual Coding С октября 1966г. началась работа над проектом MPEG-7 (Multimedia Content Description Interface). При разработке первых стандартов MPEG-1, MPEG-2 предполагалось, что они должны обеспечить [14]: -как симметричную, так и асимметричную компрессию/декомпрессию -воспроизведение записей изображения при произвольном доступе -ускоренный просмотр «вперед/назад», обычный просмотр «назад» -поддержку синхронизации аудио/видео -управляемую задержку при компрессии -возаложность редактирования -гибкость формата -использование дешевых специализированных микросхем В определенном смысле эти стандарты могут рассматриваться как расширенный стандарт Н261, т к. во многом они идентичны [14], однако их более сложный метод межкадрового предсказания требует большего объема памяти и большего быстродействия. Как результ, их особенностью является больший уровень задержки. Основной отличительной чертой стандартов MPEG является метод межкадрового кодирования. Прежде всего из последовательности кадров подвижного изображения примерно через каждые 10-15 кадров выбираются так называемые опорные кадры, или 1-кадры (Intra frames), которые рассматриваются как основные и кодируются независимо от остальных кадров. Стандарт кодирования 1-кадров идентичен стандарту JPEG, т.е. производится двумерное ДКП. Все остальные кадры подвергаются сравнительному анализу как между собой, так и с опорными кадрами с целью выработки сигналов различия на основе алгоритмов предсказания. В свою очередь эти кадры разбиваются на две группы. Первую из них составляют Р-кадры (predictive), закодированные относительно ближайшего предыдущего I- или Р-кадра. Вторую группу, в отличие от стандартов Н.261 и JPEG, составляют В-кадры, закодированные относительно как предыдущих, так и последующих (bidirectionally predictive) I- или Р-кадров. При этом кодирование предполагает компенсацию движения в макроблоках 16x16 пикселов, на которые разбиваются В- и Р-кадры, на основе процедур предсказания (Р-кадры) и интерполяции (В-кадры). Поскольку В-кадры занимают меньший объем, больший уровень компрессии достигается при большем числе таких кадров. Однако для декодирования В-кадра требуется обеспечить передачу последующих I- и (или) Р-кадров, что приводит к дополнительной задержке. Различия между реальным и предсказанным изображениями в В- и Р-кадрах также подвергаются процедуре ДКП с квантованием компонент ДКП с помощью таблиц коэффициентов квантования Стандарт MPEG-1 рассчитан на применение в широком диапазоне скоростей передачи, однако основное внимание всегда уделялось скорости около 1,2 Мбит/с, связанной с режимом работы CD- ROM. При передаче 30 кадров/с и размере 352 пике, х 288 строк качество видео оказывается на уровне качества бытового видеомагнитофона. Аудио компонента кодируется с использованием частот дискретизации 32 кГц, 44,1 кГц, 48 кГц и 16-битовой ИКМ. Стандарт MPEG-2 предназначен, в основном, для телевидения (в том числе спутникового, а также телевидения высокой четкости) при скоростях передачи цифрового потока 2-15 Мбит/с и совместим со стандартом MPEG-1, поддерживая, в отличие от MPEG-1, также и режим черезстрочной развертки. Предполагается также полная совместимость со стандартом Н.262. Звуковая компонента стандарта MPEG-2 обеспечивает качество компакт-дисков по пяти стандартным каналам звукового сопровождения. Особое место применительно к системам КВКС может занять новый стандарт MPEG-4. 2.9. СТАНДАРТ MPEG-4 Методы кодирования видео/аудио сигнала, определяемые стандартами Н.320, MPEG-1 и MPEG-2, применимы к регулярной последовательности двумерных видеокадров и отсчетов аудиосигнала. В отличие от этого, стандарт MPEG-4 имеет дело непосредственно с аудиовизуальными объектами, используя технику объектно-ориентированного кодирования ОВС (Object-based coding) [87]. 2.9.1.Объектно-ориентированное кодирование Одним из недостатков методов кодирования подвижного изображения, применяемых в соответствии со стандартом Н.261, являются искажения, проявляющиеся на границе изображений подвижного объекта и неподвижного фона. Это, в частности, вызвано тем, что границы кодируемых блоков не связаны непосредственно с границами подвижных объектов. Метод ОВС призван уменьшить такие искажения путем идентификации и кодирования непосредственно изображений подвижных объектов любой формы. При этом развиты два класса методов ОВС: применительно к объектам неизвестной формы (object-based analysis/synthesis coding - OBASC) и применительно к известным объектам типа, например, «говорящая голова» (knowledge-based coding - КВС) [87]. Общая архитектура устройства кодирования по методу OBASC подобна Н.261-кодеру, те. включает передачу вычисленной ошибки междукадрового предсказания. Однако применяемая процедура является более сложной, т.к. предполагает сравнение парметров, определяемых изображениями собственно объектов - текущими и синтезируемыми. Каждому объекту ставятся в соответствие три группы параметров, определяемых соответственно формой, движением и цветом. В дополнение к этому каждый объект классифицируется либо как соответствующий некоторой исходной модели (model complient), когда изменения его параметров могут рассматриваться лишь как изменения, связанные только с движением, либо не подпадающий под какую-либо исходную модель (model failed). Простейшие модели ограничиваются двухмерным форматом. Более сложные требуют использования трехмерной (3D-flexible) структуры. Отдельным направлением применения общего подхода ОВС является так называемое «область-ориентированное» (region-based) кодирование. При этом понятие «область» определяет часть кадра, имеющую одинаковую величину яркости, а сам объект задается совокупностью таких областей. Тем самым ограничивается набор элементов, составляющих объект, однако возрастает набор элементов, имеющих различные формы. В отличие от рассмотренного выше метода, предназначенного идентифицировать и кодировать объекты любой формы, метод КВС использует то обстоятельство, что, например, в видеоконференцсвязи, некоторые объекты являются стереотипными и часто повторяющимися (например, плечи, голова и т п.). Наличие априорной информации об объекте позволяет несколько снизить объем передаваемой информации. В процессе кодирования изображения на первом этапе определяется наличие одного из известных объектов, причем модель известного объекта задается в виде, подобном проволочному каркасу (wireframe model). Затем производится адаптация модели в соответствии с измеренными параметрами реального объекта. С этого момента, по существу, начинает использоваться процедура OBASC с передачей параметров движения, формы и цвета. Отдельное направление исследований в области ОВС связано с развитием методов так называемого «семантического кодирования» (semantic coding - SC), представляющих собой развитие метода КВС применительно к объектам с ограниченным числом подвижных элементов. Так, для объекта типа «голова-плечи» к числу таких элементов могут быть отнесены глаза (открыты/закрыты) и рот (открыт/закрыт). 2.9.2.Общие характеристики стандарта Стандарт MPEG-4, первоначально ориентированный на применение лишь в низкоскоростных системах передачи аудио/видео, в окончательном варианте должен распространяться на три основных области применения: цифровое телевидение, интерактивная графика, интерактивные мультимедиа приложения, причем область используемых скоростей передачи расширяется до диапазона от единиц кбит/с до десятков Мбит/с при использовании в широком диапазоне приложений от видеотелефона в системах мобильной связи до мультимедиа презентаций в Интернет, телевизионного вещания и цифровых гибких дисков. Стандарт призван обеспечить: -кодирование смешанных потоков данных, относящихся к. композиции текста, графики, видео, неподвижных изображений, аудио и речи, составляющих содержание аудиовизуальных объектов (audiovisual objects - AVO) -создание ллультимедиа презентаций путем композиции аудиовизуальных объектов -кодирование аудиовизуальных объектов произвольной формы -мультиплексирование и синхронизацию потоков данных, связаных с передачей AVO, с целью их передачи по сетям с обеспечением заданного качества (QoS) в соответствии с природой аудиовизуальных объектов -интерактивное взаимодействие пользователя с элементами AVO на приемном конце -помехоустойчивость при передаче данных по каналам с шумом Используя методы объектно-ориентированного кодирования, стандарт MPEG-4 поддерживает кодирование не только прямоугольного видеокадра, но также и видеообъектов произвольной формы[89]. Так, используя этот стандарт, возможно сегментировать входную видеопоследовательность на семантически осмысленные видеообъекты и закодировать отдельно каждый из них. При этом сам по себе стандарт MPEG-4 не определяет метод сегментирования кадра. Кодер выбирает тот или иной метод, используя режим автоматического, полуавтоматического или ручного сегментирования. В зависимости от полосы частот предоставляемого канала, а также от специфики каждого из выделенных объектов возможен выбор степени разрешения независимо для каждого объекта. Тем самым достигается более эффективное использование пропускной способности канала передачи. Основные функциональные особенности стандарта перечислены ниже. Кодовое представление мультимедиа объектов. Аудиовизуальные сцены, представляющие отдельные объекты, организуются в иерархические структуры. На вершинах иерархии находятся примитивные объекты, такие как неподвижное изображение (например, статический фон), видеообъекты (например, голова говорящего человека без статического фона), аудиообъекты (например, речь человека, изображение которого передается в данный момент) и пр. MPEG-4 стандартизует ряд таких примитивных объектов, способных соответствовать как натуральному, так и синтетическому двух- и трехмерному источнику. Важнейшей особенностью кодового представления объектов является их независимость, в частности, возможность представления подвижных объектов независимо от фона. Композиция индивидуальных мультимедиа объектов Обеспечивается возможность изменять положение объектов в заданной системе координат, изменять геметрические размеры и акустические параметры объектов, группировать различные примитивные объекты с целью создания более сложных, вводить различные виды анимации и т.д. и, наконец, в интерактивном режиме изменять виртуальное местоположение пользователя, наблюдающего за передаваемой сценой. При этом широко используются возможности языка VRML. Описание и синхронизация потоков данных, соответствующих мультимедиа объектам. Потоки данных состоят из одного или более элементарных потоков, связанных с объектом. Система специальных «сортировщиков» (descriptors) обеспечивает доставку информации о конфигурации потока, сообщая о требуемых ресурсах декодера и требуемой точности временной синхронизации, а также и о требуемом уровне качества обслуживания QoS при передаче (максимальная скорость передачи, уровень вероятности ошибок, приоритеты и т.п.) Доставка потока данных. Синхронизированный поток данных доставляется от источника к получателю на основе двухуровневого мультиплексирования. Первый из этих уровней является опциональным и реализуется с помощью определяемого стандартом MPEG-4 инструмента FlexMux, позволяющего мультиплексировать элементарные потоки, имеющие, например, одинаковые требования по качеству обслуживания. Второй уровень - TransMux (Transport Multiplexing) призван обеспечить транспортировку потока с заданным уровнем качества через коммуникационную среду. С целью обеспечения максимальной шбкости в отношении приложений стандарт определяет лишь интерфейс, допуская передачу потока с использованием любого стека транспортных протоколов - RTP/UDP/IP, AAL5/ATM или MPEG-2. Протоколом сессионного уровня, обеспечивающим управление мультимедиа потоками, является Delivery Multimedia Integration Framework - DMIF. Его функции обеспечиваются интерфейсом DAI (DMIF-Application Interface) и транслируются в протокольных сообщениях, которые могут отличаться в зависимости от типа сети. Интерфейс DAI позволяет пользователю обозначить требования к потоку данных и обеспечить выполнение этих требований. Интерактивное взаимодействие с мультимедиа объектами В зависимости от степени свободы, предоставленной создателем объектов, пользователь имеет возможность взаимодействия с ними, осуществляя навигацию внутри «сцены» (изменение точки наблюдения), изменение местоположения объекюв, остановку и запуск видеопотока, выбор по желанию того или иного языка и т.д. Идентификация интеллектуальной собственности. Имеется возможность произвести такую идентификацию путем использования параметров международной системы нумерации (ISAN - International Audio-Visual Number, ISRC - International Standard Recording Code). 0 ... 9 10 11 12 13 14 15 ... 55
|
