Раздел: Документация
0 ... 14 15 16 17 18 19 20 ... 122 Видеодекодер реконструирует видеокадр по сжатому битовому потоку данных. Коэффициенты и векторы движения декодируются энтропийным декодером, после чего пространственная модель декодирует полученные данные, формируя некоторую версию остаточного кадра. Декодер использует параметры векторов движения вместе с одним или несколькими ранее декодированными кадрами для построения прогноза текущего кадра, а сам кадр реконструируется добавлением остаточного кадра к этому кадру-прогнозу. 3.3. Временная модель Целью временной модели является удаление избыточности между передаваемыми кадрами. Для этого создается кадр-прогноз, который вычитается из текущего кадра. Выходом этого процесса является остаточный кадр (разность кадров). При этом, чем лучше прогноз, тем меньше энергии содержится в остаточном кадре. Остаточный кадр кодируется и посылается декодеру, который воспроизводит кадр-прогноз по некоторым уже построенным кадрам, складывает его с остаточным кадром и, таким образом, восстанавливает текущий кадр. Кадр-прогноз формируется по одному или нескольким прошлым или будущим кадрам («ссылочным кадрам»). Как правило, точность прогноза может быть улучшена компенсированием движения между ссылочными кадрами и текущим кадром. 3.3.1. Прогноз по предыдущему видеокадру Простейший метод временного прогнозирования основан на предыдущем кадре, который и служит кадром-прогнозом текущего кадра. Два последовательных кадра некоторой видеопоследовательности показаны на рис. 3.4 и 3.5. Кадр 1 является прогнозом кадра 2, и остаточный кадр, полученный вычитанием прогноза (кадра 1) иэ текущего (кадра 2), показан на рис. 3.6. На этом рисунке нейтральный серый цвет соответствует нулевым разностям пикселей, а более яркий или более темный оттенок серого цвета соответствует положительным или отрицательным разностям. Видно, что при таком простейшем прогнозе остаточный кадр содержит много энергии (на что указывают яркие и темные области кадра), а это означает, что в нем остался значительный объем информации, которую можно будет сжимать после временной модели. Много оставшейся энергии образуется из движения объектов в кадре, т.е. лучший прогноз можно построить на основе компенсации движения между двумя этими кадрами.  3.3.2. Изменения вследствие движения Отличия между кадрами могут появиться из-эа движения объектов (не меняющих свою форму, например автомобилей, и деформируемых например рук или ног прохожих) перемещения видеокамеры (панорамная съемка, наклоны, наезды, изменения фокуса, повороты и т.п.). изменения перекрытия объектов (например, части сцены, закрытой движущимся предметом), изменения освещенности и в силу многих других причин. За исключением изменений перекрытия и освещенности объектов съемки, эти отличия соответствуют перемещению групп пикселов по кадру. Имеется возможность проследить траекторию каждого пиксела между последовательными кадров. Порождаемое при зтом поле траекторий пикселов называется оптическим потоком [2]. На рис. 3.7 показано поле оптического потока для кадров на рис. 3.4 и 3.5. Полное поле образуется векторами потока для всех пикселов, но для ясности это поле прорежено и на рисунке; изображены векторы для каждого второго пиксела. Если точно знать эте> поле потока пикселов, то можно построить точный прогноз для большинства пикселов текущего кадра, перемещая каждый пиксел ссылочного кадра вдоль его вектора оптического потока. Однако этот метод не очень практичен для компенсации движения по ряду причин. Точное вычисление оптического потока является довольно долгим (более точные методы используют итеративные процедуры для каждого пиксела), кроме того, придется пересылать все векторы оптического потока декодеру для декодирования и восстановления кадра-прогноза (в результате чего повышается объем пересылаемой информации, сводящий на нет преимущества маломощного остаточного кадра).  Рис. 3.7. Оптический поток. 0 ... 14 15 16 17 18 19 20 ... 122
|
