#семинары на неделе
ЧЕТВЕРГ (20 июня) — Семинар сектора репродукции и синтеза цвета №11.1
◾️17:00, аудитория 307 ИППИ + онлайн-трансляция
Докладчик: Перевозчиков Г.П. (Würzburg Universität)
Тема: Rawformer — непарное преобразование raw-to-raw для обучаемых конвейеров обработки сигналов изображений (ISP)
Аннотация: Качество современной мобильной фотографии в значительной степени зависит от конвейера обработки сигналов изображения (Image Signal Processing (ISP) pipeline). На сегодняшний день сквозные, одношаговые конвейеры обработки на основе нейронных сетей (end-to-end deep-learning-based ISP) предлагают высокую производительность, постепенно замещая собой традиционные конвейеры, благодаря способности работать без необходимости тщательной настройки каждого отдельного блока классических ISP и увеличению вычислительной мощности смартфонов.
Однако, ключевой проблемой обучаемых конвейеров является необходимость сбора больших парных наборов данных для каждой отдельной модели камеры из-за влияния внутренних характеристик камеры на формирование входных необработанных (raw) изображений.
В докладе будет рассмотрено возможное решение данной проблемы — новый метод непарного обучения преобразованию raw изображения для разных камер. В частности, предлагается архитектура Rawformer — авто-кодировщика на основе Transformer для преобразования raw-to-raw на основе непарного обучения. Подход точно сопоставляет необработанные raw изображения, снятые определенной камерой, с целевой камерой, облегчая применение обучаемых ISP для новых камеры. Подход демонстрирует лучшую (State-of-The-Art (SoTA)) производительность на наборах данных реальных камер.
Оригинальная работа: ссылка (Preprint, рекомендован для публикации на ECCV)
| 17.06.2024 | |