Сайт о сжатии >> Раздел по видео

WIN | KOI | LAT

Проект:	Дмитрий Ватолин
Реализация, алгоритмы:	Сергей Гришин, Карен Симонян, Сергей Матюнин

Введение

Технологии 3D дисплеев в настоящее время развиваются все более и более динамично. Автостереоскопические 3D мониторы, не требующие для просмотра специальных очков, уже доступны на рынке, в то время как видеоматериалов для них очень мало. Большая их часть сгенерирована искусственно. Для создания трехмерного эффекта автостереоскопические дисплеи используют несколько ракурсов одной и той же сцены (чаще всего 8-9), поэтому съемка трехмерного материала остается дорогой и технически сложной задачей. Получить стерео видео (2 ракурса) намного проще. Съемка стерео кино обретает все больший размах. Нашей лабораторией был создан метод преобразования стерео видео в многоракурсное, пригодное для просмотра на автостереоскопических 3D дисплеях без очков. С его помощью значительно упрощается задача создания трехмерного контента.

Описание работы

Для создания 3D видео из стерео, необходимо генерировать промежуточные кадры по двум данным.

С помощью разработанного алгоритма были обработаны несколько профессионально снятых стерео фильмов. Мы также исследовали проблемы съемки 3D видео (подробнее о MSU 3D video capture).

Интерполяция промежуточных видов

При генерации промежуточных ракурсов не строится карта глубины. Благодаря этому, достигается корректная обработка полупрозрачных объектов. Мы также разрабатываем алгоритм генерации карт смещения и карт глубины, которые можно использовать для преобразования обычного видео в стерео.

Наш алгоритм преобразования стерео видео не итеративный и подходит для потоковой обработки. Возможна реализация алгоритма для работы в реальном времени. Для достижения большей скорости работы мы также разрабатываем GPU версию алгоритма.

Разрабатывается также технология преобразования обычного видео в стерео или многоракурсное. Создан алгоритм, который использует только временную и пространственную информацию одного видео для генерации 3D: MSU Depth Map Generation and Stereo video creation.

 

Как смотреть 3D изображения

Для просмотра 3D изображения вам потребуется автостереоскопический монитор и специализированный плеер. В зависимости от того, сколько ракурсов поддерживает Ваш монитор, Вам необходимо скачать видео с 5-ю или 9-ю ракурсами. Кроме того, при просмотре имеет значение порядок ракурсов: от левого к правому или от правого к левому. Нужно выбрать тот порядок ракурсов, который поддерживается вашим плеером.

Расположение 5 ракурсов:	Расположение 9 ракурсов:
От левого к правому	От левого к правому	От правого к левому

Screenshot

Кадр для 9 ракурсов

Выходной формат преобразования может быть задан также как набор видеопоследовательностей для каждого ракурса или другим требуемым способом.

Download

Здесь вы можете скачать результаты работы алгоритма.

MSU 3D video

MSU 3D Demo Video 5 Views. From left to right.
Frame 600

MSU 3D Demo Video 5 Views. From right to left.
Frame 600

MSU 3D Demo Video 9 Views. From left to right.
Frame 600

MSU 3D Demo Video 9 Views. From right to left.
Frame 600

Видеопоследовательности закодированы кодеком XVID.

Подробнее о съемке 3D видео: MSU 3D Video Capture

Другое многоракурсное видео

Авторы фильмов:
Skydiving - Eric Deren, Dzignlight Studios
Skull Rock - Red Star Studio
Heidelberg, Mouldpenny - Meinolf Amekudzi, Dongleware Verlags GmbH

Контакты

Выложена MSU Video Quality Measurement Tool 2.7.1!
Сравнение H.264 кодеков на 2010 год (с кодеками MS & Theora), дополненное VP8 (WebM codec)!

Общедоступные видеофильтры Доступные фильтры для VirtualDub и AviSynth. Обычно мы разрабатываем семейства фильтров. Свяжитесь с нами для получения версий, оптимизированных под ASIC/FPGA/DSP. MSU Cartoon Restore (New!) MSU Noise Estimation MSU Frame Rate Conversion MSU Image Restoration MSU Denoising (Top!) MSU Old Cinema MSU Deblocking (Top!) MSU Smart Brightness and Contrast (Top!) MSU Smart Sharpen (Top!) MSU Noise generation MSU Noise estimation MSU Motion Estimation Information MSU Subtitles removal (New!) MSU Logo removal (Top!) MSU Deflicker (Top!) MSU Field Shift Fixer AviSynth plug-in MSU StegoVideo MSU Cartoonizer (Top!) MSU SmartDeblocking (Top!) MSU Color Enhancement MSU Old Color Restoration MSU TV Commercial Detector (New!) Частые вопросы (Прочти меня!) Статистика фильтров	Коммерческие видеофильтры Мы работаем с Intel, Samsung, Real Networks и другими компаниями над адаптацией наших фильтров для специфических видеопотоков и аппаратного обеспечения, такого как телевизоры, видеокарты и т.д. Свяжитесь с нами, если Вам нужна лицензия на такие фильтры. 3D Displays Video Generation (New!) 3D Displays Video Capturing (New!) Stereo Video Depth Map Generation (New!) Automatic Objects Segmentation Semiautomatic Objects Segmentation New Frame Rate Conversion New Deinterlacer MSU-Samsung Deinterlacing Project Digital TV Signal Enhancement Old Film Recovery Tuner TV Restore Panorama Video2Photo SuperResolution SuperPrecision High quality image and video resampling Frame Rate Conversion Motion Phase filter Deshaker (video stabilization) Film Grain/Degrain filter Deblurring filter Fast/Hi-Fi Face Detection
Сравнения кодеков Объективные и субъективные сравнения качества видеокодеков и кодеков изображений. 6-е сравнение видеокодеков MPEG4-AVC/H.264 (New!) 5-е сравнение видеокодеков MPEG4-AVC/H.264 Анализ видеокодеков для компаний(англ.) (New!) Анализ опций видеокодека x264 стандарта MPEG-4 AVC/H.264 (New!) 4-е ежегодное сравнение видеокодеков MPEG4-AVC/H.264 (Top!) Сравнение кодеков без потерь 2007 3-е ежегодное сравнение видеокодеков MPEG4-AVC/H.264 Windows Meda Photo vs JPEG-2000 Сравнение декодеров стандарта MPEG-2 на потоках с ошибками (Top!) Субъективное сравнение современных видеокодеков (Top!) Второе ежегодное сравнение видеокодеков стандарта MPEG-4 AVC/H.264 (Top!) FAQ 2-го сравнения H.264-x Первое ежегодное сравнение видеокодеков стандарта MPEG-4 AVC/H.264 FAQ 1-го сравнения H.264-x Сравнение 9 кодеров JPEG 2000 (Top!) Сравнение видеокодеков без потерь 2004 Сравнение кодеков MPEG-4 SP/ASP (Top!) Сравнение видеокодеков (старое) См. также (старые) сравнения аудиокодеков: Сравнение аудиокодеков на 32 kbps Сводное тестирование 10 кодеков по разным метрикам ("тест метрик")	Метрики качества видео Различные реализации объективных и субъективных метрик качества видео. MSU Video Quality Measurement Tool - объективные метрики для сравнения кодеков и видеофильтров. (New!) (Top!) Краткая информация по реализованным метрикам: PSNR, Delta, MSAD, MSE, SSIM, VQM, MSU Blurring Metric, MSU Blocking Metric MSU Brightness Flicking Metric MSU Brightness Independent PSNR MSU Drop Frame Metric MSU Noise Estimation Metric MSU Scene Change Detector MSU VQMT FAQ MSU Perceptual Quality Metric - несколько метрик для измерения субъективного качества видео (Top!) Краткая информация по реализованным метрикам: ITU-R BT.500-11: DSIS, DSCQS I & II, SCACJ; EBU: SAMVIQ; MSUCQE MSU PVQ Metric Tool FAQ
Проекты по видеокодекам Проекты по исследованию и разработке видеокодеков. MSU Lossless Video Codec (Top!) MSU Screen Capture Lossless Codec (Top!) MSU MPEG-2 Video Codec Улучшение кодека x264 FAQ по кодеку x264	Разное Другая информация. Crazy gallery (приколы с фильтрами :-) Лицензия на ПО Видеогруппы Около 1000 слайдов лекций курса "Методы сжатия и обработки медиаданных" (Top!) Страница курса на ВМиК МГУ "Методы сжатия данных"
Статьи по темам Фильтрация: Deinterlacing Фильтрация: Шумоподавление Фильтрация: Предобработка видеопотока Фильтрация: Постобработка видеопотока Фильтрация: Преобразование частоты кадров Фильтрация: Масштабирование видео Преобразования: Использование DCT и альтернативных преобразований Преобразования: Квантование Преобразования: Wavelet для видео Bitrate: Управление битрейтом Bitrate: Сильное сжатие (Low Bitrate) Метрики: Общие сведения и метрики для изображений Метрики: Измерение качества видео	Hardware: Аппаратное ускорение видео Hardware: Особенности работы на разных дисплеях Энтропийное сжатие и видео Компенсация движения Преобразование форматов видео Сегментация и индексирование видео Потоковая передача видео Стереоскопичеcкое и 3D видео "Объектный" подход к видео Разное

Смотрите также материалы:
- По цветовым пространствам
- По JPEG
- По JPEG-2000

Последнее обновление: 19-February-2010