Уважаемые студенты, предлагаем вам ознакомиться со списком задач прошлого года. В ближайшее время будет выложен список задач для грядущего поступления.

1. FC4: Fully convolutional color constancy with confidence-weighted pooling

Предлагается разобраться со статьей об алгоритме оценки освещения в сцене, предложенным командой из Microsoft Research.

Необходимо разобраться со следующими частями:

    - модель формирования цветового изображения

    - в чем заключается задача color constancy

    - как авторы предлагают использовать оценку освещения в каждом пикселе

    - в чем основная идея работы

    - какие недостатки у этой работы?

    - почему изображение, использованное для иллюстрации на рисунке 2 - плохое для иллюстрации задачи?

    - большим бонусом при решении данной задачи будет демонстрация работы собственной реализации описанной нейросети и анализ качества её работы.

Так как время доклада существенно ограничено, не следует акцентировать внимание на базовых вещах. Тем не менее, подразумевается, что вы полностью понимаете то, о чем говорите. Лучше, если вы подготовите слайды презентации. Крайне желательно не только разобраться в статье, но и реализовать описанный подход самостоятельно. 

Вопросы по задаче: ershov@iitp.ru с темой письма: “собеседование ИППИ”

Удачи!

2. Оценка спектральных чувствительностей камеры мобильного телефона

Предлагается изучить работу группы ученых из японии посвященную оценке спектральных чувствительностей камеры. 

Необходимо разобраться с ответами на следующие вопросы:

    - согласно какой модели формируется отклик камеры?

    - что такое спектральные чувствительности камеры? какие способы оценки спектральной чувствительности существуют? какие у них плюсы и минусы?

    - как измеряется точность в решении данной задачи? Чем оценка отличается от аппроксимации?

    - к каким выводам приходят авторы статьи? 

Большим бонусом при работе над данной задачей будет реализация одного из алгоритмов калибровки на синтетических спектральных данных.

Вопросы по задаче: ershov@iitp.ru с темой письма: “собеседование ИППИ”

Удачи!

3. On the properties of some low-parameter models for color reproduction in terms of spectrum transformations and coverage of a color triangle

Предлагается разобраться с математической статьей группы из ИППИ о свойствах спектральных моделей в задачах цветовой репродукции.

Необходимо разобраться со следующими моментами:

    - модель формирования цветового изображения, цветовой треугольник, спектральный локус

    - в чем заключается задача color constancy и color correction?

    - что такое спектральные модели и какими свойствами они должны обладать, в чем важность этих свойств?

    - упомянуть, какой еще подход(-ы) существует для решения тех же задач?

    - каковы основные результаты работы?

    - рассказать доказательство Утверждения 3.1

Статья будет особенно интересна студентам, чувствующим влечение к математическим и теоретическим аспектам машинного обучения и обработки изображений, а также статистике и функциональному анализу. Наличие выдающихся математических способностей не требуется. Не нужно рассказать доказательства всех утверждений и теорем. Будет достаточно продемонстрировать понимание того зачем эта статья написана и зачем соответствующие утверждения доказаны (необходимый для этого формализм должен быть объяснен аудитории и, главное, понятен самому докладчику). Тем не менее, для чувствующих в себе силы и имеющих мотивацию хорошо зарекомендовать себя желательно понять большую часть статьи.

Вопросы по задаче: ershov@iitp.ru с темой письма: “собеседование ИППИ”

Удачи!

4. Analysis of Properties of Dyadic Patterns for the Fast Hough Transform

Предлагается разобраться с математической статьей авторов из ИППИ о свойствах диадического паттерна Быстрого Преобразования Хафа.

Необходимо разобраться со следующими моментами:

    - что такое преобразование Хафа, какова его связь с преобразованием Радона и преобразованием Фурье? Кратко его история и приложения

    - что такое Быстрое Преобразование Хафа? Какова поэтапная схема этого преобразования?

    - что такое диадический паттерн, в чем его преимущества и недостатки?

    - рассказать доказательство Теоремы 1, введя необходимые определения и обозначения

Доказательства всех вспомогательных утверждений, требующихся для доказательства Теоремы 1, не требуются. Достаточно упомянуть формулировки и ясно изложить идейный процесс подхода к доказательству Теоремы 1. Подготовьте дополнительные слайды со вспомогательным материалом на основе доказательств остальных утверждений на случай если возникнут вопросы.

Вопросы по задаче: ershov@iitp.ru с темой письма: “собеседование ИППИ”

Удачи!

5. Аугментация обучающей выборки растровых примеров

Допустим, перед вами стоит задача обучить нейросетевую модель классифицировать изображения символов из фиксированного алфавита. Из обучающих данных вам доступен только набор из одного изображения на класс. Эти растровые примеры идеальны – на них нет шума, смаза, неравномерности освещения, геометрических искажений и т.д., а их разрешение достаточно велико, чтобы символы были легко различимы человеком. Известно, что придётся распознавать изображения в значительно более плохом качестве, однако возможности пополнить обучающую выборку настоящими реальными данными нет.

Предложите последовательность преобразований, приближающих идеальные растровые примеры к реальным, и реализуйте алгоритм генерации новых примеров из одного имеющегося. 

(*) Обучите классификатор на выборке, синтезированной из одного примера на класс. Продемонстрируйте примеры работы на реальных данных.

Вопросы по задаче: bocharov@visillect.com с темой письма: “собеседование ИППИ”.

Удачи!

6.  Реконструкция пунктиров

Предложите и реализуйте фильтрацию изображений, дополняющую пунктиры до сплошных линий. Пример правильной работы приведен ниже (вход-выход). Требований к вычислительной эффективности нет.

Упрощение: работайте в предположении, что все разрывы только на прямолинейных участках.

Подсказка: один из методов решения этой задачи можно было бы назвать steerable morphological filter.

Вопросы по задаче: study@ansgri.com с темой письма: “собеседование ИППИ”.

Удачи!

7.  Индекс структурированности

Предложите и реализуйте способ (способы — чем больше и разнообразней, тем лучше) оценки «структурированности» изображения. Т.е. индикации того, что на изображении не случайный шум, а на самом деле что-то изображено.

Вход: одноканальное изображение.

Выход: число, высокие значения соответствуют изображениям с очевидной структурой, низкие — случайному шуму без явной пространственной структуры.

Ниже приведены примеры изображений в порядке возрастания требуемого числа (слева направо, сверху вниз).

Вопросы по задаче: study@ansgri.com с темой письма: “собеседование ИППИ”.

Удачи!

7. Event sequence metric learning.

Автор задачи: Алексей Зайцев

Предлагается разобраться со статьей "Event sequence metric learning". От вас требуется рассказ о предлагаемом методе и его использование для транзакционных данных.

Необходимо разобраться со следующими частями:

• Идея подхода Metric Learning. Его модификации и приложения.
• Особенности применения Metric Learning для последовательных данных. Основная идея метода, предложенного в статье (MeLES).
• Принцип работы MeLES:

  Архитектура энкодера.

Функции потерь, используемые для оценки получаемых эмбеддингов.

Отрицательные и положительные пары. Стратегии выбора наиболее релевантных отрицательных пар.

Генерация батчей для обучения без учителя. Различные стратегии генерации подпоследовательностей для этого

Сравнение работы предложенного метода с другими, в чем состоят его преимущества и недостатки.

Так как время доклада существенно ограничено, не следует акцентировать внимание на базовых вещах. Тем не менее, подразумевается, что вы полностью понимаете то, о чем говорите. Лучше, если вы подготовите слайды презентации.

Вопросы по задаче: elizaveta.kovtun@skoltech.ru с темой письма: “собеседование ИППИ”.

Материалы для подготовки:

Dmitrii Babaev, et al. "Event sequence metric learning". https://arxiv.org/abs/2002.08232

8. M-Statistic for Kernel Change-Point Detection.

Автор задачи: Алексей Зайцев

Предлагается разобраться со статьей "M-Statistic for Kernel Change-Point Detection ". От вас требуется рассказ о предлагаемом методе и его использование для детектирования разладок.

Необходимо разобраться со следующими частями:

• Постановка задачи change point detection
• Использование ядерных методов для ее решения
• Теоретическое обоснование работы статистики MMD
• Постановка вычислительных экспериментов для проверки качества метода
• Сравнение предложенного подхода с другими, его преимущества и недостатки

Так как время доклада существенно ограничено, не следует акцентировать внимание на базовых вещах. Тем не менее, подразумевается, что вы полностью понимаете то, о чем говорите. Лучше, если вы подготовите слайды презентации.

Вопросы по задаче: e.romanenkova2@skoltech.ru с темой письма: “собеседование ИППИ”.

Материалы для подготовки:

Li, Shuang, et al. "M-statistic for kernel change-point detection." Advances in Neural Information Processing Systems 28 (2015).

9.  Unsupervised Domain Adaptation for Medical Image Segmentation

Задача domain adaptation (DA) является одной из наиболее актуальных в применении к обработке мед. данных (МРТ, КТ, УЗИ и т.д.) при помощи методов глубокого обучения. Алгоритм, обученный на данных с одного томографа, работает существенно хуже на данных с другого томографа, что делает невозможным его применение в широком спектре мед. учреждений. Студенту предлагается разобраться и сравнить несколько классических алгоритмов доменной адаптации:

• Unsupervised domain adaptation by backpropagation [1];
• Maximum classifier discrepancy for unsupervised domain adaptation [2];
• CyCADA: Cycle-Consistent Adversarial Domain Adaptation [3].

Основная задача (презентация на 5-7 минут):

• Рассказать про постановку задачи классификации изображений с помощью нейросетей. Рассказать про постановку задачи unsupervised Domain Adaptation.
• Рассказать про gradient reversal подход [1] к этой задаче.
• В чем основные отличия или улучшения метода [2] по сравнению с gradient reversal [1]?
• Сравнить альтернативный подход к адаптации основанный на CycleGAN [3] с предыдущими двумя методами.

Как эти алгоритмы можно обощить на задачу семантической сегментации вместо классификации? Для примера обощения [1] на задачу сегментации медицинских изображений см. [4].

Так как время доклада существенно ограничено, не следует акцентировать внимание на базовых вещах. Тем не менее, подразумевается, что вы полностью понимаете то, о чем говорите.

Вопросы по задаче можно присылать на почту boris.shirokikh@phystech.edu с темой письма “собеседование ИППИ”.

Материалы для подготовки:

[1] Ganin Y., Lempitsky V. Unsupervised domain adaptation by backpropagation //International conference on machine learning.

[2] Saito K. et al. Maximum classifier discrepancy for unsupervised domain adaptation //Proceedings of the IEEE conference on computer vision and pattern recognition.

[3] Hoffman J. et al. Cycada: Cycle-consistent adversarial domain adaptation //International conference on machine learning

[4] Kamnitsas K. et al. Unsupervised domain adaptation in brain lesion segmentation with adversarial networks //International conference on information processing in medical imaging.