Семинар "Структурные модели и глубинное обучение"

16 июня (четверг), 16³⁰, аудитория 615 ИППИ РАН

 

Сергей Бартунов (ВШЭ)

 

Вероятностные модели со скрытыми переменными широко применяются в различных областях машинного обучения и анализа данных: тематическом моделировании, кластерном анализе, глубоких генеративных моделях и т.д. Введение скрытых переменных позволяет существенно увеличить выразительную силу модели, однако требует построения процедуры вывода, то есть, моделирования апостериорного распределения на скрытые переменные при известных значениях наблюдаемых переменных и параметров. Методы вариационного вывода рассматривают задачу вывода как задачу приближения истинного апостериорного распределения другим распределением из заранее определенного семейства, что для каждой конкретной модели, вообще говоря, является отдельной математической задачей. В данном докладе будут рассмотрены алгоритмы вариационного вывода для важных байесовских моделей: модели смеси на основе последовательного метрически-обусловленного процесса китайского ресторана (англ. sequential distance-dependent chinese restaurant process) и непараметрическом байесовском расширении модели Skip-gram на основе процесса Дирихле. Также будет рассмотрена программная библиотека для низкоуровневого вероятностного программирования, позволяющая конструировать сложные вероятностные модели и реализовывать для них вывод с использованием нейросетевых вариационных приближений, которые недавно стали прорывом в связи с возможностью выполнять вывод в традиционного сложном классе несопряженных моделей.