Раздел: Документация
0 ... 111 112 113 114 115 116 117 ... 122 их перемеженне и передачу по IP-сети (с использованием UDP в качестве базового транспортного протокола). Форматы загрузки данных RTP определяются для различных стандартов кодеков видео и аудио, включая MPEG-4 Visual и Н.264. Структура единицы NAL для Н.264 (см. гл. 6) была разработана с учетом эффективной дальнейшей пакетизации, так как каждый элемент NAL можно поместить в его собственный пакет RTP. Часть 6 протокола MPEG-4 определяет дополнительный протокол сессии, который называется Delivery Multimedia Integration Framework (основа для интегрированной доставки мультимедиа). Он поддерживает сессионное управление потоками данных MPEG-4 (например, визуальными или звуковыми) через различные сетевые транспортные протоколы. Инструмент FlexMux (часть MPEG-4 Systems) обеспечивает гибкий механизм с пониженной перепол-няемостью для совместного мультиплексирования различных элементарных потоков в единый, перемежающийся поток. Такой инструмент может оказаться полезным при мультиплексировании отдельных аудиовизуальных объектов до их пакетизации, например, в пакеты PES MPEG-2. 7.6.2. Форматы файлов Более ранние протоколы MPEG-1, MPEG-2 и Н.264 не определяли явно форматы для хранения сжатых аудио-, видеоданных в файлах. Обычно единственная сжатая видеопоследовательность записывается в файл просто путем отображения закодированного потока в последовательность байтов файла. В этом заключается общепринятый механизм обмена тестовыми битовыми потоками. Однако совместное сохранение одновременно проигрываемых аудио- и видеоданных требует более изощренной файловой структуры, особенно когда эти данные предполагается пересылать по сетям и когда в одном файле необходимо хранить несколько аудиовизуальных объектов. Формат файлов MPEG-4 и формат файлов AVC (они оба стандартизованы в рамках MPEG-4) разработаны специально для хранения видеоданных соответственно MPEG-4 Audio-Visual и Н.264. Оба формата происходят от формата BMFF (Base Media File Format, базовый формат файлов медиа) ISO, который, в свою очередь, основан на формате QuickTime компьютерной платформы Apple. В формате MFF ISO закодированный поток (например, видеопоследовательность Н.264, видеообъект MPEG-4 Visual или звуковой поток) хранится в виде дорожки, которая состоит из последовательности кодированных единиц данных (сэмплов, например зако- участки звуковой дорожки  участки видеодорожки Рис. 7.42. Формат файла медиа ISO. 7.6.3. Кодирование и транспортные выпуски Многие инструменты стандартов MPEG-4 Visual и Н.264 были изначально нацелены на улучшение эффективности сжатия. Однако давно была обнаружена необходимость сделать практические выпуски по транспортировке в системах видеокоммуникаций. Поэтому некоторые инструменты этих стандартов были специально разработаны для таких изданий. Масштабирование доставляемого видеопотока, который может быть декодирован декодерами с разными техническими возможностями и/или на разных битовых скоростях, делается обоими стандартами по-своему. Стандарт MPEG-4 Visual включает несколько инструментов масштабируемого кодирования (см. гл. 5), в которых видеопоследовательность или объект кодируется несколькими слоями. Обычно имеется один базовый слой (который можно декодировать для получения версии последовательности «базового» качества) и несколько уточняющих слоев, каждый из которых требует повышения скорости передачи, но он же повышает качество (т.е. визуальное качество изображения, пространственную или временную разрешимость) декодированной последовательности. В стандарте Н.264 реализован альтернативный подход. В нем нет масштабируемого кодирования, но здесь имеются слои SI и SP (см. гл. 6), которые позволяют декодеру эффективно переключаться между различными версиями одного и того же потока. Это особенно полезно при передаче видеопотоков по сетям, имеющим непостоянную пропускную способность, например через Интернет. Декодер может выбрать наивысшую скорость, доступную в каждый конкретный промежуток времени. дириванных VOP или слоев) с временными отметками (рис. 7.42). Форматы файлов обеспечивают такие действия, как синхронизация дорожек, случайный доступ по индексу или передача файла по цифровым сетям. Время ожидания и задержек особенно важно для двухсторонних приложений реального времени, например в видеоконференциях. Инструменты типа В-снимков (кодирование кадров с использованием прогнозов компенсации движения по прошлым и будущим ссылочным кадрам) могут повысить компрессию, но они же вносят временные задержки длиной в несколько кадров в «цепь» кодирования и декодирования, что может оказаться недопустимым для двухсторонних приложений с малой латентностью. Латентность также влияет на выбор алгоритма контроля скорости (см. § 7.5), поскольку буферы предварительной и последующей обработки (необходимые для сглаживания скачков битовой скорости) увеличивают время ожидания текущего изображения собеседника. В каждом стандарте заложено несколько возможностей, которые помогают справляться с: ошибками передачи. Битовые ошибки бывают характерны для сетей с коммутацией каналов, а сети с: коммутацией пакетов страдают от потерь пакетов (зто связано с тем, что битовые ошибки в пакете приводят к его утрате при передаче). Ошибки могут сильно повлиять на качество декодирования [44], так как эффект ошибки может иметь пространственное распространение (портится область на текущем декодируемом кадре) и временное распространение (ошибки распространяются по цепочке ссылочных прогнозных кадров). Для борьбы с таким сортом ошибок разработаны специальные инструменты, описанные в гл. 5 и 6, которые включают разделение данных и независимое декодирование слоев (для ограничения и локализации эффектов ошибок), избыточные слои (посылаются дублирующие копии данных), коды переменной длины, которые можно декодировать в обе стороны (сокращается вероятность перехода возникшей ошибки в следующие кодовые единицы) и гибкое упорядочение макроблоков и слоев (для того, чтобы упростить декодеру задачу погашения эерфектов ошибок, интерполируя данные по их безошибочным соседям). 7.7. Выводы Различные варианты разработки кодеров и многообразие стратегий контроля кодирования могут привести к существенным различиям по степени сжатия и вычислительной эффективности, достигаемой разными реализациями видеокодеков. Однако наилучшая достигаемая производительность всегда ограничена возможностями доступных инструментов. Примеры исследования производительности, изложенные в этой главе, а также во многих других публи- 0 ... 111 112 113 114 115 116 117 ... 122
|
