Сайт о сжатии >> Раздел по видео

WIN | KOI | LAT

Проект: Дмитрий Ватолин
Алгоритм, реализация: Сергей Гришин

Алгоритмы FRC (Frame Rate Conversion, Преобразование Частоты Кадров) широко используются в сжатии, преобразовании форматов видео, алгоритмах повышения качества видео и др. Наиболее частым вариантом использования этих алгоритмов является преобразование форматов видео. В данном случае алгоритм FRC используется для изменения частоты кадров видео потока. Это необходимо, например, для корректного воспроизведения видео потока с частотой кадров 50 кадр./сек. на видео дисплее с частотой вертикальной развертки 100 кадр/сек. Использование FRC делает движение объектов более плавным и потому более приятным для зрения. Также алгоритм FRC делает возможным снижение скорости воспроизведения видео, при котором движение объектов становится замедленным.

Рис.1 Общая схема работы FRC

Алгоритм FRC увеличивает общее число кадров видео последовательности. Это производится вставкой новых (интерполированных) кадров между каждыми двумя соседними кадрами исходной видео последовательности. Число интерполированных кадров между кадрами исходного видео определяется кратностью интерполяции (преобразования FRC). Кратность интерполяции задается пользователем и может быть равной любому положительному целому числу.

Основным достоинством разработанного алгоритма является использование нескольких приемов повышения качества интерполированных кадров:

• адаптивное маскирование артефактов делает артефакты менее заметными для глаз, таким образом повышая общее визуальное качество обработанного видео;
• обработка черных полос позволяет избежать появления артефактов, возникающих на интерполированных кадрах в случае присутствия черных полос на краях кадров;
• трекинг наложений производит высококачественное восстановление интерполированных кадров возле краев в случаях наличия движения, направленного перпендикулярно краю кадра;

Примеры

В данном разделе представлены результаты работы предлагаемого алгоритма и его сравнение с методами, разработанными в других компаниях.

Первый пример (рис. 2-4) демонстрирует результат работы алгоритма на тестовой видео последовательности "schumacher". Интерполированный кадр (рис. 4) вычислен с использованием разработанного алгоритма по двум опорным кадрам. Показанный интерполированный кадр во времени находится в центре между опорными кадрами.

Рис.2 Предыдущий опорный кадр

Рис.3 Следующий опорный кадр

Рис.4 Интерполированный кадр

Рис.5 Предыдущий опорный кадр

Рис.6 Следующий опорный кадр

Рис.7 Результат Retimer	Рис.8 Результат Motion Perfect
Рис.9 Результат Twixtor	Рис.10 Результат AFRC

Следующий пример демонстрирует результаты работы алгоритмов на последоваетльности "foreman". Интерполированные кадры получены в результате двукратного увеличения количества кадров последовательности, первоначально прореженной вдвое (в результате такого преобразования общее число кадров не изменяется). Номер интерполированного кадра в обработанном видео потоке - 171.

Рис.11 Предыдущий опорный кадр

Рис.12 Следующий опорный кадр

Рис.13 Результат Retimer	Рис.14 Результат Motion Perfect
Рис.15 Результат Twixtor	Рис.16 Результат AFRC

На диаграмме ниже (рис. 17) приведен результат объективного сравнения алгоритмов. Для измерения объективного качества обработанных последовательностей использована метрика PSNR, все измерения произведены только для яркостной компоненты. Для вычисления метрики PSNR использовались только интерполированные кадры последовательностей. Для этого исходные видео последовательности сначала прореживались в два раза, затем пропущенные кадры восстанавливались при помощи FRC. После этого интерполированные кадры сравнивались с кадрами исходных видео последовательностей с использованием метрики Y-PSNR.
По вертикальной оси графика отложены средние по последовательностям значения метрики Y-PSNR, по горизонтальной - название тестовых видео последовательностей. Легко видеть, что разработанный алгоритм (AFRC) демонстрирует лучшее объективное качество на большинстве последовательностей.

Рис. 17 Объективное сравнение

Публикации

• Д.Ватолин, С.Гришин, "Алгоритм N-кратного увеличения частоты кадров видео на основе пиксельной компенсации движения с обработкой наложений", Международная конференция по компьютерной графике и машинному зрению Графикон, Июль 2006, стр. 112-119.
• Д.Ватолин, С.Гришин, "Алгоритм преобразования частоты кадров на основе интерполяции скомпенсированных кадров", материалы девятого научно-практического семинара "Новые информационные технологии в автоматизированных системах", Март 2006, стр. 32-46.

Download

По вопросам лицензирования обращайтесь по электронной почте:

• Предыдущий проект FRC: MSU FRC Project
• Бесплатный фильтр FRC: MSU Frame Rate Conversion

Другие материалы

Материалы по видео

Выложена MSU Video Quality Measurement Tool 2.7.1!
Сравнение H.264 кодеков на 2010 год (с кодеками MS & Theora), дополненное VP8 (WebM codec)!

Общедоступные видеофильтры Доступные фильтры для VirtualDub и AviSynth. Обычно мы разрабатываем семейства фильтров. Свяжитесь с нами для получения версий, оптимизированных под ASIC/FPGA/DSP. MSU Cartoon Restore (New!) MSU Noise Estimation MSU Frame Rate Conversion MSU Image Restoration MSU Denoising (Top!) MSU Old Cinema MSU Deblocking (Top!) MSU Smart Brightness and Contrast (Top!) MSU Smart Sharpen (Top!) MSU Noise generation MSU Noise estimation MSU Motion Estimation Information MSU Subtitles removal (New!) MSU Logo removal (Top!) MSU Deflicker (Top!) MSU Field Shift Fixer AviSynth plug-in MSU StegoVideo MSU Cartoonizer (Top!) MSU SmartDeblocking (Top!) MSU Color Enhancement MSU Old Color Restoration MSU TV Commercial Detector (New!) Частые вопросы (Прочти меня!) Статистика фильтров	Коммерческие видеофильтры Мы работаем с Intel, Samsung, Real Networks и другими компаниями над адаптацией наших фильтров для специфических видеопотоков и аппаратного обеспечения, такого как телевизоры, видеокарты и т.д. Свяжитесь с нами, если Вам нужна лицензия на такие фильтры. 3D Displays Video Generation (New!) 3D Displays Video Capturing (New!) Stereo Video Depth Map Generation (New!) Automatic Objects Segmentation Semiautomatic Objects Segmentation New Frame Rate Conversion New Deinterlacer MSU-Samsung Deinterlacing Project Digital TV Signal Enhancement Old Film Recovery Tuner TV Restore Panorama Video2Photo SuperResolution SuperPrecision High quality image and video resampling Frame Rate Conversion Motion Phase filter Deshaker (video stabilization) Film Grain/Degrain filter Deblurring filter Fast/Hi-Fi Face Detection
Сравнения кодеков Объективные и субъективные сравнения качества видеокодеков и кодеков изображений. 6-е сравнение видеокодеков MPEG4-AVC/H.264 (New!) 5-е сравнение видеокодеков MPEG4-AVC/H.264 Анализ видеокодеков для компаний(англ.) (New!) Анализ опций видеокодека x264 стандарта MPEG-4 AVC/H.264 (New!) 4-е ежегодное сравнение видеокодеков MPEG4-AVC/H.264 (Top!) Сравнение кодеков без потерь 2007 3-е ежегодное сравнение видеокодеков MPEG4-AVC/H.264 Windows Meda Photo vs JPEG-2000 Сравнение декодеров стандарта MPEG-2 на потоках с ошибками (Top!) Субъективное сравнение современных видеокодеков (Top!) Второе ежегодное сравнение видеокодеков стандарта MPEG-4 AVC/H.264 (Top!) FAQ 2-го сравнения H.264-x Первое ежегодное сравнение видеокодеков стандарта MPEG-4 AVC/H.264 FAQ 1-го сравнения H.264-x Сравнение 9 кодеров JPEG 2000 (Top!) Сравнение видеокодеков без потерь 2004 Сравнение кодеков MPEG-4 SP/ASP (Top!) Сравнение видеокодеков (старое) См. также (старые) сравнения аудиокодеков: Сравнение аудиокодеков на 32 kbps Сводное тестирование 10 кодеков по разным метрикам ("тест метрик")	Метрики качества видео Различные реализации объективных и субъективных метрик качества видео. MSU Video Quality Measurement Tool - объективные метрики для сравнения кодеков и видеофильтров. (New!) (Top!) Краткая информация по реализованным метрикам: PSNR, Delta, MSAD, MSE, SSIM, VQM, MSU Blurring Metric, MSU Blocking Metric MSU Brightness Flicking Metric MSU Brightness Independent PSNR MSU Drop Frame Metric MSU Noise Estimation Metric MSU Scene Change Detector MSU VQMT FAQ MSU Perceptual Quality Metric - несколько метрик для измерения субъективного качества видео (Top!) Краткая информация по реализованным метрикам: ITU-R BT.500-11: DSIS, DSCQS I & II, SCACJ; EBU: SAMVIQ; MSUCQE MSU PVQ Metric Tool FAQ
Проекты по видеокодекам Проекты по исследованию и разработке видеокодеков. MSU Lossless Video Codec (Top!) MSU Screen Capture Lossless Codec (Top!) MSU MPEG-2 Video Codec Улучшение кодека x264 FAQ по кодеку x264	Разное Другая информация. Crazy gallery (приколы с фильтрами :-) Лицензия на ПО Видеогруппы Около 1000 слайдов лекций курса "Методы сжатия и обработки медиаданных" (Top!) Страница курса на ВМиК МГУ "Методы сжатия данных"
Статьи по темам Фильтрация: Deinterlacing Фильтрация: Шумоподавление Фильтрация: Предобработка видеопотока Фильтрация: Постобработка видеопотока Фильтрация: Преобразование частоты кадров Фильтрация: Масштабирование видео Преобразования: Использование DCT и альтернативных преобразований Преобразования: Квантование Преобразования: Wavelet для видео Bitrate: Управление битрейтом Bitrate: Сильное сжатие (Low Bitrate) Метрики: Общие сведения и метрики для изображений Метрики: Измерение качества видео	Hardware: Аппаратное ускорение видео Hardware: Особенности работы на разных дисплеях Энтропийное сжатие и видео Компенсация движения Преобразование форматов видео Сегментация и индексирование видео Потоковая передача видео Стереоскопичеcкое и 3D видео "Объектный" подход к видео Разное

Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000

Последнее обновление: 12-October-2007