|
Здесь будут собраны некоторые вспомогательные материалы к моем новому спецкурсу Стохастическое оптимальное управление. Не ожидайте полного конспекта лекций, поскольку они будут читаться на какой-то виртуальной доске с записью этого процесса. Тем не менее, какие-то краткие комментарии на этой страничке должны будут появляться.
Данный спецкурс является частью программы Института Вега (https://www.vega-institute.org/ru/), и также, видимо, каким-то образом входит в программу мехмата МГУ (можно сдавать как ск по выбору студента).
Лекции будут проходить по четвергам в 16:45 по зуму (вероятно, частично в аудитории), начиная с 14.09.2023. Линк будет послан (не лектором) зарегистрировавшимся на курс студентам. Предусмотрены также семинары, в другой день и время.
К лекции 1: это будет краткое повторение того, что слушатели должны уже знать прежде, чем приступать к основной тематике - диффузии с управлением. Поэтому доказательств почти не будет. Последняя версия моего полного курса СДУ для 5го курса находится на страничках Ск весна 2023 и Ск осень 2021; там можно найти все доказательства (правда, читать придется много). Помимо сайта самой Веги, новые материалы по данному курсу можно искать здесь: https://disk.yandex.ru/d/mXPKwNSzeshTaQ (на https://fileinfo.com/extension/tldr вы найдете инструкцию как открывать tldr файлы)
13.11.2023: Скоро будет выложен первый листок лектора с упражнениями.
17.11.2023: Выложен первый листок лектора с упражнениями, название файла Stochcontrol_problems1.pdf. Решения всех трех задач следует прислать лектору и Евгению Колосову (evgeny.kolosov@math.ethz.ch) до конца дня пятницы 24.11.23.
02.12.2023: Приславшим решения листка №1 выслан линк на решения. Больше решения не принимаются. Для следующего листка №2 будут действовать специальные правила, о чем будет объявлено на следующей лекции и в самом листке №2.
05.12.2023: Скоро - видимо, через два-три дня после лекции 07.12 - будет выложен второй листок лектора с упражнениями. Срок для решения - неделя, и при опоздании будут действовать штрафы, которые за 7 дней обнулят любое самое идеальное решение. Точные правила будут приведены в самом листке.
09.12.2023: Выложен второй листок лектора с упражнениями, название файла Stochcontrol_problems2.pdf. Решения всех трех задач следует прислать лектору и Евгению Колосову (evgeny.kolosov@math.ethz.ch) до конца дня субботы 16.12.23.
19.12.2023: Вопросы к экзамену выложены на облаке в виде odt файла; они почти в точности повторяют программу ниже. Экзамен для немосквичей (если таковые пожелают его сдавать) будет организован по-видимому, в зуме (или по телемосту) вскоре после основного экзамена в аудитории (но не в тот же день!); дата последнего в процессе определения.
21.12.2023: Назначен день основного экзамена: среда 27.12.2023 с 16:45, аудитория 1415. Конспект исправленной версии лекции 14 в латеховской форме (pdf) выложен на облаке. Рукописный вариант (pdf & goodnotes) выложен тоже.
23.12.2023: Выложены решения задач листка-2 лектора. Экзамен в зуме для немосквичей будет назначен на 28.12.2023.
25.12.2023: Сделана перезапись лекции 14. Видео выложено на том же облаке.
26.12.2023: Сделана попытка объединить все теховские лекции в один файл под названием "Stochcontrol_Vega23_manual.pdf". Файл добавлен на то же облако. Возможны сбои в ссылках на формулы (и всякие другие сбои возможны).
Предварительная программа первой лекции 14.09:
1.Винеровский процесс (ВП), одномерный и многомерный. Определения, основные свойства. Марковское и строго марковское свойства.
2.Стохастический интеграл Ито по ВП, определение, свойства, неравенства, интеграл по верхнему пределу и с моментами останова. Стохастичеcкий дифференциал, формула Ито в разных версиях.
3.СДУ, теорема Ито, другие теоремы, сильные и слабые решения, непрерывная зависимость от н.у. Марковское и строго марковское свойства решений. (На строго марковское времени не хватило.)
4.Стохастические экспоненты, теоремы Гирсанова. (Об этом поговорить не успели совсем.)
5.Связь СДУ с дифференциальными операторами второго порядка и с параболическими и эллиптическими уравнениями в частных производных: вероятностные представления решений УРЧП. (Поговорили на первой лекции об эллиптических.)
https://www.tldraw.com/r/pT7PVYYDDmiWk3lh4IQUD?viewport=0%2C0%2C1266%2C579&page=page%3ApaLtC317OaOjNTwkLe2y8 (файл записи на доске первой лекции)
версия файла tldr: https://disk.yandex.ru/d/yEtAQmc850_nyQ (https://fileinfo.com/extension/tldr - the instruction how to open it)
Вторая лекция 21.09:
1. О феллеровских процессах и строго марковском свойстве в применении к решениям СДУ.
2. Два слова о стохастических экспонентах и теоремах Гирсанова.
3. О связи СДУ с параболическими уравнениями второго порядка. Дифференциальные уравнения Колмогорова.
4. Что такое управляемые решения СДУ. Виды стратегий: самые общие, марковские, допустимые в смысле сильных или слабых решений СДУ.
5. Параболическое уравнение Беллмана.
Третья лекция 28.09:
1. Параболическое уравнение Беллмана, краткий повтор; ε-оптимальные стратегии и зачем они. (Кроме ε-оптимальных стратегий, эта тема представлена в пдф файле "Лекция 2".)
2. Эллиптическое уравнение Беллмана, пока без доказательств. (Эта тема также представлена в пдф файле "Лекция 2", тоже без доказательств.)
3. Алгоритм Ховарда улучшения цены. (Выложен пдф файл "Лекция 3", посвященный алгоритму Ховарда; правда, это только начало его анализа, но весьма важное.)
Четвертая лекция 05.10
1. Вспомогательные результаты о дифференциальных уравнениях.
2. Упрощенный вариант оценки Крылова в $R^1$ с нормой $L_1$.
3. Об ε-оптимальных стратегиях.
Пятая лекция 12.10
1. Небольшой повтор и поправки. В частности, оценка типа Крылова оказалась с нормой $L_p, p>1$.
2. Управление на бесконечном интервале времени с дисконтированием: уравнение Беллмана ($d=1$).
3. Алгоритм Ховарда для данного случая.
Шестая лекция 19.10 (перенесена на вторник 24.10 в аудитории; следующая лекция в пятницу 27.10 во вторник 31.10 тоже в аудитории)
1. Оценки Крылова и формула Ито-Крылова.
2. Соболевские решения линейных УРЧП и уравнений Беллмана в $R^d$.
3. Понятие о вязкостных решениях для уравнений типа Беллмана.
Седьмая лекция 31.10 в аудитории в 18:30 (следующая лекция состоится в пятницу 03.11.23?)
1. Продолжение и окончание заметок о вязкостных решениях.
2. Проблема оптимальной остановки диффузионного процесса, уравнение Беллмана.
Восьмая лекция 03.11 в ауд. 14-03, но ввиду плохого освещения доски лекция прошла на таблетке с проекцией на экран.
1. Продолжение задачи об оптимальной остановке - подход, основанный на возрастающем "убивании" процесса.
Девятая лекция 09.11 онлайн
1. Окончание задачи об оптимальной остановке.
2. Начало эргодических свойств решений СДУ: инвариантные меры, определения.
Десятая лекция 16.11 онлайн
1. Уравнения ФПК (Фоккера - Планка - Колмогорова).
2. Эргодические свойства решений СДУ - продолжение.
3. Уравнение Пуассона во всем пространсттве.
Одиннадцатая лекция 23.11 онлайн
1. Быстрый повтор об уравнении Пуассона на всем пространсте.
2. Эргодическое управление "в среднем", эргодическое уравнение Беллмана и алгоритм Ховарда.
Двенадцатая лекция 30.11
1. Эргодическое управление "в среднем", окончание.
2. ОСДУ - Обратные СДУ Парду - Пенга. Начало, представление Кларка.
Тринадцатая лекция 07.12 онлайн
1. Представление Кларка - краткое повторение. Более общие ОСДУ - существование и единственность.
2. Прямые - обратные СДУ Парду - Пенга (ПОСДУ, или FBSDEs in English).
3. Связь ПОСДУ с квази-линейными параболическими уравнениями в частных производных. Начало.
Четырнадцатая лекция 15.12 (в аудитории, вероятно, в 18:30 нет, в 20:15)
1. Связь ПОСДУ с квази-линейными параболическими уравнениями в частных производных. Продолжение.
2. Связь ПОСДУ с задачами оптимального стохастического управления.
Конспект исправленной версии лекции 14 в латеховской форме (pdf) выложен на облаке. Рукописный вариант (pdf & goodnotes) выложен тоже.
| 
