Семинары >> Архив >> Структурные модели и глубинное обучение
Совместный семинар ИППИ РАН, НИУ ВШЭ и Сколтеха
Евгений Бурнаев, куратор, научный руководитель семинара
Владимир Спокойный, научный руководитель семинара
Иван Назаров, ученый секретарь семинара
Проходит по вторникам, в 1830, в аудитории 615 ИППИ РАН
2017
2016
26 декабря
Тема: Конференция NIPS 2016 и прогресс в Машинном Обучении и Приложениях
Аннотация: Обзорные рассказы затронут следующие темы:
- Deep Learning for 3D,
- Inverse Graphics,
- Neural Abstraction Machines and Program Induction,
- Deep Sequence Learning (Phased LSTM + Fast Weights),
- Reinforcement Learning,
- Time-constrained Decision-Making,
- Learning with Feature Side-Information,
- Stochastic Variational Deep Kernel Learning, and Probabilistic Theory of Deep Learning.
6 декабря
Евгений Быков (МФТИ)
Тема: Smart Resource Allocation with Concurrent Learning Scheme for Heterogeneous LTE Smallcell Networks [ видеозапись доклада]
Аннотация: We propose a distributed multi-agent strategy, where small cells locally control resource usage to maximise the overall system capacity. The main goal is to provide each cell with the ability to make its decision autonomously while taking into account the resource occupation of the surrounding cells. We study the coexistence with non-cooperative macro-environment and propose a mechanism to increase the efficiency of Q-learning with a smart safe-shift procedure. We illustrate the application of this distributed learning strategy for the subband allocation and propose several mechanisms to improve the convergence speed in the absence of communication.
29 ноября
Владимир Спокойный (WIAS, Сколтех, ИППИ, ВШЭ)
Аннотация: The talk revisits the structural adaptive approach to dimensionality reduction from Hristache, Juditsky, Polzehl and Spokoiny (2002) for a multiple index regression model. It appears that the proposed method can be naturally extended and implemented using Deep Neural Networks.
22 ноября
Тема: Tensorizing Neural Networks
Аннотация:
Convolutional neural networks excel in image recognition tasks, but this comes at the cost of high computational and memory complexity. CNNs require millions of floating point operations to process an image and therefore real-time applications need powerful CPU or GPU devices. Moreover, these networks contain millions of trainable parameters and consume hundreds of megabytes of storage and memory bandwidth. Thus, CNNs are forced to use RAM instead of solely relying on the processor cache – orders of magnitude more energy efficient memory device – which increases the energy consumption even more. These reasons restrain the spread of CNNs on mobile devices. I will talk about our work on tensor factorization framework to compress fully-connected and convolutional layers of CNNs. Another research direction (besides compression) is to increase the size of the layers by training them in the compact tensor format to increase the accuracy.
15 ноября
Евгений Бурнаев (совместная работа с Ерофеевым П.Д., Назаровым И.Н., Смоляковым Д.С.)
Тема: Anomaly-to-failure Matching for Predictive Maintenance of Complex Systems
Аннотация:
Predictive analytics and modeling become more and more important for maintenance of complex technical systems. Introduction of condition-based maintenance strategies in different industries significantly reduces overall maintenance costs and improves reliability. Modern complex technical systems, e.g. aircraft engines, are fully equipped with batches of sensors and detectors allowing for real time monitoring and diagnostics. Typically equipment falls into pre-failure state starting with some minor flaws, e.g. cracks or leaks, that evolve in time and lead up to critical failure events such as complete engine destruction. Natural need of the maintenance engineers is to be able to identify this flaws as early as possible and thus try to prevent or even avoid critical events. Or at least be able to prepare for the event on time. In some cases based on real time sensor observations it is possible to indirectly identify anomalies in system behavior related to the minor problems. That is where development of accurate and reliable mathematical models and tools comes up to the stage. In some industries, e.g. aviation, it is crucial to have models with maximum predictive power and strictly limited false alarm rate. In this presentation we specify generic validation framework for failure prediction models and propose a novel exhaustive methodology for anomaly-to-failure matching. We prove effectiveness and reliability of the proposed methodology in the specified validation framework on the real test case from aerospace industry.
1 ноября
Зайцев Алексей (ИППИ, Сколтех)
Тема: Minimax approach to modelling variable fidelity data (совместная работа с Бурнаевым Е.В.)
Аннотация:
Engineering problems often involve data sources of variable fidelity with different costs of obtaining an observation. In particular, one can use both a cheap low fidelity function (e.g. a computational experiment with a CFD code) and an expensive high fidelity function (e.g. a wind tunnel experiment) to generate a data sample in order to construct a regression model of a high fidelity function. The key question in this setting is how the sizes of the high and low fidelity data samples should be selected in order to stay within a given computational budget and maximize accuracy of the regression model prior to committing resources on data acquisition. In this presentation we discuss minimax interpolation errors for single and variable fidelity scenarios for a multivariate Gaussian process regression. Evaluation of the minimax errors allows us to identify cases when the variable fidelity data provides better interpolation accuracy than the exclusively high fidelity data for the same computational budget. These results allow us to calculate the optimal shares of variable fidelity data samples under the given computational budget constraint. Real and synthetic data experiments suggest that using the obtained optimal shares often outperforms natural heuristics in terms of the regression accuracy.
Доклад делается по мотивам статей:
25 октября
Тема: Intrinsically-motivated Reinforcement Learning
Аннотация: В докладе будет рассмотрена расширенная постановка задачи обучения с подкреплением, в которую введено понятие "внутренних" (intrinsic) наград или мотиваций для решений агента. Данная постановка особенно актуальна для случаев, когда награда среды за действие агента сильно отложена во времени (reward sparsity). Будут рассмотрены различные подходы к описанию ""внутренней мотивации"" (intrinsic motivation) агента, и разобран подход к обучению и мотивации через "взаимную информацию" (mutual information). "Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning"
Тема: Efficient Domain Exploration Methods for Reinforcement Learning
Аннотация: В докладе рассматривается проблема исследования среды через подсчет числа посещенных состояний (модель псевдо-подсчета состояний, pseudo counts) и установлена связь с обучением через "внутреннюю мотивацию" (intrinsic motivation) агента. Результаты продемонстрированы на примере игр Atari. "Unifying Count-Based Exploration and Intrinsic Motivation"
18 октября
Алексей Артемов (Яндекс)
Mathematical Models for Time Series with Trend in Change-point Detection Problems
Будучи системами массового обслуживания, большие информационные системы испытывают циклы нагрузки на множестве масштабов времени, в связи с чем для успешного решения задачи обнаружения отказов реальных систем необходим эффективный аппарат моделирования квазипериодических сигналов. Другой значимой характеристикой потоков данных в больших информационных системах является длинная память (long-range dependence), являющаяся основной причиной возникновения всплесков нагрузки и присутствующая на чрезвычайно большом диапазоне масштабов времени. Для идентификации и оценивания целого класса реальных сигналов необходимо использование специальных стохастических моделей, включающих свойство длинной памяти. Более того, на практике зачастую не представляется возможным определить точную математическую модель возникающего отказа. В связи с этим известные процедуры следует рассматривать как ``слабые"" детекторы в задаче обнаружения разладок реальных систем. Таким образом, когда имеется множество ``слабых"" детекторов, разумно использовать ансамбль ``слабых"" детекторов для получения лучшей предсказательной силы. В докладе будут обсуждаются свойства и гарантии ансамблей слабых детекторов, основанных на квазипериодичности и свойствах самоподобия и длинной памяти временных рядов.
11 октября
Ермек Капушев (Сколтех, ИППИ)
Deep Gaussian Processes
Gaussian processes is a powerful tool for regression and classification. However, for more complex and abstract data sets deep architectures have proven to be more efficient. In the seminar we will discuss how GP-based deep architecture can be implemented. We will consider different approaches to learning model parameters: expectation propagation, variational inference and its autoencoded version. The resulting model is no longer a Gaussian Process, but allows to learn much more complex interactions between data. Such fully Bayesian treatment allows to model complicated data even when the data set is scarce, in contrast to deep networks which usually require large data sets. Some applications of the model to artificial and real data sets will also be considered.
6 октября
Massih-Reza Amini,
Professor of Computer Science
Head of (dAta analysis, Modeling and mAchine learning) team, Grenoble Alpes University
Multi-class to Binary reduction of Large-scale classification Problems
In the context of large-scale problems, traditional multiclass classification approaches have to deal with class imbalancement and complexity issues which make them inoperative in some extreme cases. In this talk we present a transformation that reduces the initial multiclass classification of examples into a binary classification of pairs of examples and classes. We present generalization error bounds that exhibit the interdependency between the pairs of examples and which recover known results on binary classification with i.i.d. data. We show the efficiency of the deduced algorithm compared to state-of-the-art multiclass classification strategies on two large-scale document collections especially in the interesting case where the number of classes becomes very large.
4 октября
Денис Беломестный (Duisburg-Essen University, ВШЭ)
Approximative Dynamic Programming and Deep Learning
Modeling of optimal control is one of the most challenging areas in applied stochastics, since typical real-world control problems, for example dynamic optimization problems in finance, are too complex to be treated analytically. In this talk we will discuss a general approach applicable to any discrete-time controlled Markov processes. The idea is to simulate a set of trajectories and to use the Bellman optimality principle combined with functional optimization and fast regression- based methods approximating conditional expectations without nested simulation. We will discuss why and how deep learning can be used to accurately approximate the dynamic optimization problem and demonstrate the applicability of the approach on an example from finance industry.
17 июня
На дополнительном заседании были представлены несколько коротких сообщений о различных интересных направлениях машинного обучения.
===================
Author: Denis Volhonskiy (HSE, IITP)
Title: Deep Convolutional Generative Adversarial Networks in Steganography
Annotation: Steganography is the way of hiding information within other information (called container). Steganalysis is the study of detecting messages hidden using steganography --- usually it is binary classifier (detect if there is some information / no information in container).
We propose a new model based on Deep Convolutional Generative Adversarial Networks for generating images, that could be used for more safety information embedding (in terms of steganalysis accuracy) using steganography algorithms. Our model allows increasing steganalysis error on a test set of generated images in comparison with an original test set.
=================== Author: Vladislav Ishimtsev (HSE, IITP)
Title: Conformalized density- and distance-based anomaly detection in time-series data
Annotation: Most of the world"s data is streaming, time series data, where anomalies give pertinent information in critical situations; Examples abound in such fields as finance, IT, security, health and energy. However, detection of anomalies in time-series data is a difficult task, requiring detectors to process data in real-time, not batches, and learn while simultaneously making predictions.
We consider new approaches to detect anomalies in time-series data using conformalized density- and distance-based anomaly detection algorithms.
Testing and comparison of algorithms will be done on Numenta Anomaly Benchmark (NAB), which attempts to provide a controlled and repeatable environment of open-source tools to test and measure anomaly detection algorithms on streaming data.
===================
Author: Albert Matveev (HSE)
Title: Experts Aggregation for Time Series Prediction
Annotation: Time series prediction is one of the most significant problems in applied mathematics. Estimation of a future outcome of some sequence is desired in many scientific and practical fields, especially in finance. Regression-type forecasters are usually used in order to solve this problem. However, it is essential to note that for different regimes we need to use different methods. It is obvious that without knowing true future value of a time series, the learner cannot select a method and corresponding forecast, which would provide the best accuracy among available ones. Therefore, we consider a set of independent base forecasting algorithms which we call experts and formulate a problem of prediction with expert advice. We would like to construct an aggregating algorithm that will adaptively aggregate available expert forecasts so that aggregated forecast is close to the best expert in terms of loss process.
In this talk the main aggregating schemes and loss bounds for them will be presented. These aggregating algorithms will be compared on several datasets and the results of computational experiments will be provided.
===================
Author: Oleg Maslennikov (HSE)
Title: Deep Features based Image Retrieval
Annotation: Computer vision tasks are common in today"s world, for example, OCR tasks (optical character recognition), license plate recognition with traffic cameras, image processing in medicine and others. One of these tasks is CBIR - content base image retrieval. Examples of such tasks are the image search in Google, recently appeared service “Findface”, which allows finding a person in social networks by his/her photo.
In the presentation we will review approaches to deep learning based solution of CBIR tasks, discuss various architectures of corresponding neural networks, as well as the choice of a metric distance and its influence on obtained results.
16 июня
Вариационный вывод в непараметрических и несопряженных байесовских моделях
Вероятностные модели со скрытыми переменными широко применяются в различных областях машинного обучения и анализа данных: тематическом моделировании, кластерном анализе, глубоких генеративных моделях и т.д. Введение скрытых переменных позволяет существенно увеличить выразительную силу модели, однако требует построения процедуры вывода, то есть, моделирования апостериорного распределения на скрытые переменные при известных значениях наблюдаемых переменных и параметров. Методы вариационного вывода рассматривают задачу вывода как задачу приближения истинного апостериорного распределения другим распределением из заранее определенного семейства, что для каждой конкретной модели, вообще говоря, является отдельной математической задачей. В данном докладе будут рассмотрены алгоритмы вариационного вывода для важных байесовских моделей: модели смеси на основе последовательного метрически-обусловленного процесса китайского ресторана (англ. sequential distance-dependent chinese restaurant process) и непараметрическом байесовском расширении модели Skip-gram на основе процесса Дирихле. Также будет рассмотрена программная библиотека для низкоуровневого вероятностного программирования, позволяющая конструировать сложные вероятностные модели и реализовывать для них вывод с использованием нейросетевых вариационных приближений, которые недавно стали прорывом в связи с возможностью выполнять вывод в традиционного сложном классе несопряженных моделей.
16 мая
Максим Борисяк (ВШЭ, Яндекс)
Эксперимент CRAYFIS: космическая обсерватория на основе мобильных телефонов
Изучение космического излучения - одно из главных направлений астрофизики. В то время как излучение в области низко энергетического спектра хорошо изучено, космические лучи ультра-высоких энергий (> 10^18 эВ) остаются загадкой для астрофизиков. Основная проблема с которой сталкиваются при их изучении - частицы таких энергий крайне редки: предсказываемые частоты начинаются от 1 частицы на квадратный километр в год.
Эксперимент CRAYFIS (Cosmic RAYs Found In Smartphones) предлагает уникальную схему обсерватории: использование мобильных телефонов добровольцев в качестве наземного массива детекторов. Проходя через атмосферу, космические лучи высоких энергий порождают ливень вторичных частиц, к которым чувствительны камеры мобильных телефонов. Расположенная в небольшом радиусе, группа из всего несколько активных телефонов обладают чувствительностью достаточной для регистрации исследуемого излучения. По предварительных расчетам всего миллион активных телефонов обладает покрытием сравнимым с крупнейшей космической обсерваторией.
В докладе рассмотрены общая схема эксперимента и задачи, возникающие при обработке данных, а также подробно разобраны две задачи: калибровка камер и мюонный триггер.
1) Первая задача состоит в обнаружении аномалий в поведении пикселей камеры (горячих пикселей).
2) Вторая задача посвящена обнаружению следов мюонов на камере телефона и работе с данными Монте-Карло.
18 апреля
Michael Chertkov
Adjunct Professor at Center for Energy Systems, SkolTech; Los Alamos National Laboratory
Physics Informed Machine Learning
Machine Learning (statistical engineering) capabilities are in a phase of tremendous growth. Underlying these advances is a strong and deep connection to various aspects of statistical physics. There is also a great opportunity in pointing these tools toward physical modeling. In this presentation I illustrate the two-way flow of ideas between physics and statistical engineering on three examples. First, I review the work on structure learning and statistical estimation in power system distribution (thus physical) networks. Then I describe recent progress in constructive understanding of graph learning (on example of inverse Ising model) illustrating that the generic inverse task (of learning) is computationally easy in spite of the fact that the direct problem (inference or sampling) is difficult. I conclude speculating how macro-scale models of physics (e.g. large eddy simulations of turbulence) can be learned from micro-scale simulations (e.g. of Navier-Stocks equations).
4 апреля
Михаил Фигурнов
Acceleration of Convolutional Neural Networks through Elimination of Redundant Convolutions
We propose a novel approach to reduce the computational cost of evaluation of convolutional neural networks, a factor that has hindered their deployment in low-power devices such as mobile phones. Inspired by the loop perforation technique from source code optimization, we speed up the bottleneck convolutional layers by skipping their evaluation in some of the spatial positions. We propose and analyze several strategies of choosing these positions. Our method allows to reduce the evaluation time of modern convolutional neural networks by 50% with a small decrease in accuracy.
4 марта
Ольга Малюгина, Семен Карпенко
Еще раз о рекуррентных сетях, или что уже можно и чего пока не получается предсказать, глядя на сигнал изменчивости сердечного ритма
Последовательность расстояний между R пиками кардиограммы называется сигналом изменчивости сердечного ритма (heart rate variability, HRV). Его получают либо как выходной сигнал пульсометра, либо как результат резкого сокращения размерности достаточно длительного сигнала ЭКГ. В известных (благодаря К.Воронцову) работах В.Успенского использовался более богатый сигнал - с учетом амплитуды пика. Однако, на сегодняшний день существует достаточно большой по медицинским меркам массив доступных именно HRV сигналов. Насколько нам известно, факт наличия/отсутствия пика считается гораздо более устойчивым признаком, нежели его высота. Для анализа HRV обычно используется множество нетривиальных характеристик сигнала, вплоть до оценок  -энтропии и фрактальной размерности. Оказывается, многообщающие результаты на массиве HRV данных удается получить, вычисляя исключительно простые базовые признаки - но с использованием рекуррентных сетей в качестве инструмента. Попутно планируется еще раз обсудить современные архитектуры RNN и проблемы их обучения.
12 февраля
Ермек Капушев и Максим Панов
Автоматический выбор алгоритма машинного обучения и настройка его гиперпараметров на основе данных и рекомендаций пользователя
В докладе будет рассмотрена задача автоматического выбора алгоритма машинного обучения для решения задачи анализа данных. Такой выбор может осуществляться на основе имеющейся выборки данных, априорных представлениях о характере и особенностях наблюдаемой зависимости, а также исходя из пожеланий к свойствам модели. Особое внимание будет уделено подбору гиперпараметров конкретного алгоритма машинного обучения на основе современных подходов байесовской оптимизации. Общие подходы будут проиллюстрированы на примере решения задач регрессии.
|
|
 | НОВОСТИ И ОБЪЯВЛЕНИЯ |
|
Семинар сектора репродукции и синтеза цвета №11.1
четверг (25 апреля) - 17:00, аудитория 307 ИППИ
... |
|
Семинар «Глобус»: 11 апреля (четверг), 15:40, ауд. 401 НМУ. Михаил Цфасман «Конфигурации квадратичны... |
|
Совместный семинар ИПЭЭ РАН и ИППИ РАН по проблемам сенсорной физиологии: 11 апреля (четверг), 14:30... |
|
Московский телекоммуникационный семинар: 5 апреля (пятница), 17:00, онлайн. Роман Бычков (Сколтех) «... |
|
Совместный семинар ИПЭЭ РАН и ИППИ РАН по проблемам сенсорной физиологии: 28 марта (четверг), 14:30,... |
|
Открытый семинар сектора репродукции и синтеза цвета: 21 марта (четверг), 17:00, ауд. 307. Владимир ... |
|
Семинар «Глобус»: 21 марта (четверг), 15:40, ауд. 401 НМУ. Александра Скрипченко (ВШЭ) «Задача Новик... |
|
Совместный семинар ИПЭЭ РАН и ИППИ РАН по проблемам сенсорной физиологии: 14 марта (четверг), 15:30,... |
|
Семинар Добрушинской математической лаборатории ИППИ РАН: 12 марта, вторник, 16:00, ауд. 307. Михаи... |
|
Семинар лаборатории № 8 по проблемам сенсорной физиологии: 7 марта, 14:30, малый конференц-зал ИПЭЭ.... |
Все новости
 |
|
