Сотрудники сектора репродукции и синтеза цвета ИППИ РАН заняли второе место на международном соревновании по реконструкции спектров человеческой кожи (ICASSP 2024 Grand Challenge on Hyperspectral Skin Vision). Всего в соревновании приняла участие 51 команда из таких стран как Китай, Бразилия, Италия, США, Сингапур. Решение команды будет представлено и опубликовано в сборнике материалов международной конференции по обработке сигналов ICASSP 2024. Конференция, организованная ассоциацией инженеров IEEE, будет проходить в Сеуле в середине апреля 2024 года.
Что такое гиперспектральное изображение?
Гиперспектральный снимок — это изображение, в котором каждому пикселю соответствует не тройка каналов кодирования цвета (красный, зеленый и синий или RGB), как в привычных цифровых камерах, мониторах или смартфонах, а целый спектр света, пришедший из соответствующей точки снимаемого объекта.
Спектры, в отличие от цвета RGB, дают больше информации о вещественном составе поверхности объекта. Применительно к коже это означает, что по спектральному снимку можно точнее различать, например, различные типы покраснений или злокачественных образований, что применимо в дистанционной медицине.
Реконструкция спектра — важная задача вычислительной фотографии. Поскольку гиперспектральные камеры — это дорогое и сложное оборудование, возникла идея восстанавливать гиперспектральные изображения из снимков, полученных на обыкновенную цифровую фотокамеру. Процесс этого восстановления и называется спектральной реконструкцией.
К настоящему моменту придумано множество методов спектральной реконструкции. Ни один из них не является точным, потому что однозначно восстановить спектр по цвету RGB невозможно.
Условия соревнования
Участникам соревнования нужно было придумать оптимальный метод реконструкции спектров человеческой кожи, используя три канала в видимом спектре и один канал в ближнем инфракрасном диапазоне. Датасет для обучения модели реконструкции состоял из 240 пар четырёхканальных и гиперспектральных снимков человеческих лиц с закрытыми глазами, снятых с шести разных углов. Каждый снимок был размером 1024×1024 пикселей; гиперспектральные снимки содержали спектры в диапазоне от 400 до 1000 нм.
Что было сделано?
В качестве решения команда ИППИ РАН предложила мало параметризованную модификацию уже существующей архитектуры. Это диаметрально противоположный подход в сравнении с современными нейросетевыми трендами, где новые архитектуры чаще всего получаются за счёт соединения уже имеющихся архитектур в более масштабные.
«В ходе переборов различных архитектур нейросети мы обнаружили, что модели с меньшим числом параметров работают лучше. Это неудивительно, ведь тренировочный набор данных был весьма одноообразен, и слишком объёмные архитектуры провоцировали переобучение. Поэтому мы решили ограничиться одной из лучших на сегодняшний день моделей спектральной реконструкции MST++ — и попробовать ее упростить», — рассказывает дин из членов команды Даниил Владимиров.
На фото слева направо: Павел Пищев, Даниил Владимиров, Егор Ершов, Даниил Реутский, Всеволод Плохотнюк
Участники соревнования — Даниил Владимиров и Павел Пищев — студенты базовой кафедры ИППИ на Физтехе и начинающие исследователи. В секторе репродукции и синтеза цвета они занимаются компьютерным зрением и разработкой новых функций для камер смартфонов.
«Отрадно видеть как, еще полтора года назад я собеседовал студентов второго курса Даниила и Павла на нашу базовую кафедру, а сейчас в нашем секторе вырастает два крепких специалиста по машинному обучению и компьютерному зрению, авторы научных работ и участники международных исследовательских проектов. Ребята круто поработали и заслуженно удостоились этой награды! Нельзя не отметить значимый вклад научного куратора Всеволода Плохотнюка (магистра МФТИ) и научного консультанта Даниила Реутского (аспиранта МФТИ). Наша группа не первый год занимается вопросами прямой и обратной вычислительной фотографии, радостно видеть, что накопленные нами компетенции находятся на мировом международном уровне» — поделился руководитель сектора Егор Ершов.
| 18.01.2024 | |