Здесь будут собраны некоторые вспомогательные материалы к моему спецкурсу Стохастическое оптимальное управление в осеннем семестре 2024 - 2025 учебного года. Часть лекций будет в онлайне, в частности, в течение всего сентября, а затем, в основном, в аудитории у доски, а в онлайне, возможно, лишь эпизодически. Конспект лекций будет, только на английском и до очередной лекции - лишь в предварительном виде; на прошлогодний конспект (см. стр. http://iitp.ru/ru/userpages/293/317.htm) смотреть не запрещается, но нельзя на него полностью полагаться, тот текст будет серьезно переделан, часть материала тоже. Онлайн лекции будут читаться на виртуальной доске, надеюсь, что с видеозаписью этого процесса (но не со 100% гарантией, что запись получится). Краткие комментарии должны будут появляться на этой страничке. 

Данный спецкурс является частью программы Института Вега (https://www.vega-institute.org/ru/), и также будет входить в программу мехмата МГУ как ск по выбору студента. Правила, по которым он может быть зачтен студентам не из веговских групп (по идее, 6го курса, или 5го при непременном условии хорошего знакомства с программой курса по СДУ), определяются Учебной частью мехмата и также прописаны где-то на сайте Веги: во всяком случае, обратите внимание на то, что для студентов из других групп экзамен является обязательным, даже если без него удается набрать баллы по правилам Веги на "положительную" оценку (за домашнюю работу и т.п.); веговских же студентов эта фраза не касается.  (Уже для всех обязателен, и для Веги тоже.)

День и время лекций, а также формат и аудитория (если очно) будут уточнены в ближайшее время. Начало планируется уже на первой неделе сентября и, вероятно, сразу в определенный для всех занятий день и час (пятница 15:00). Для группы Веги предусмотрены также отдельные семинары (которые могут посещать и студенты других групп, для чего надо спросить разрешения у ведущих семинары; ваш лектор никогда не возражает). 

К лекции 1 и частично 2: это будет краткое повторение - как известно, являющееся матерью учения - того, что слушатели должны уже знать прежде, чем приступать к основной тематике, а именно, диффузии с управлением. Поэтому доказательств почти не будет. Последняя версия моего предшествующего курса по СДУ для 4-5го курсов находится на страничках "Ск весна 2024" (http://iitp.ru/ru/userpages/293/323.htm); там можно найти все доказательства (правда, читать придется много). Помимо сайта самой Веги, новые материалы по данному курсу можно будет искать здесь: https://disk.yandex.ru/d/ry2kd788t91TaA (на 01.09.2024 содержит главы I & II, как раз и предназначенные для повторения СДУ).

08.09.2024. Прочитана первая лекция. На облако загружены следующие две главы (всего их теперь 4) из которых №3 - тоже необходимое повторение про оценки Крылова и т.п. Еще раз напомню, что вплоть до очередной лекции новые главы являются черновиком и могут неоднократно обновляться.

13.09.2024. Так, последнее обновление глав 3-4 имело место 13.09.2024, в день второй лекции. На второй лекции (13.09.2024) пройдены главы 3 и 4, кроме одного пропущенного раздела 4.3 (совет - прочесть самим!). Начали уравнения Беллмана, параболические и эллиптические. Последние в размерности 1 продолжим на следующей лекции более подробно и более строго. Мой совет: перед следующей пятницей повторите, особенно раздел 4.4 из конспекта лекций. 

Еще совет всей группе (больше тем, кто не ходит): кто много пропускает занятий, тот много и рискует. Хоть я присутствие не отмечаю, но просто-напросто - будет сложно подготовиться к экзамену.

16.09.2024. В конспект лекций добавлена следующая глава 5, а в главу 4 добавлен аппендикс 4.5 об интегральном принципе Беллмана.

20.09.2024. В конспект добавлены главы 6 и 7, последняя - короткая сводка более общих результатов о функции выигрыша без каких-либо доказательств. 

20.09.2024. На лекции №3 "прошли" интегральный принцип Беллмана и часть главы 5, а именно, разделы 5.1, 5.2, 5.3 и 5.4, причем в 5.4 в строгом доказательстве теоремы 119 (о существовании решения уравнения Беллмана) остался не рассказанным лишь шаг 4 (о том, что решение уравнения Беллмана в самом деле совпадает с функцией выигрыша, это в задаче управления до выхода из отрезка). Важнейший момент - это предельный переход в соотношении (68), его надо хорошо продумать. Следующая лекция состоится снова в онлайне, но не в пятницу 27.09, а в субботу 28.09, в 16:00, вероятно, в зуме с тем же линком (последнее насчет зума будет уточнено). Далее лекции будут проходить в аудитории.

22.09.2024. В конце главы 3 добавлен маленький раздел 3.8 с формулировкой некоторых теорем вложения. 

28.09.2024. Лекция 4 начнется с частичного повтора доказательства теоремы 120: главный момент - предельный переход от приближений к уравнению Беллмана, а затем не пройденный последний пункт доказательства - совпадение решения с функцией выигрыша.

02.10.2024. Лекция 5 состоится в пятницу 04.10 в 15:00 В АУДИТОРИИ (Гум2, ауд. 405). Будет продолжено изучение уравнения Беллмана на бесконечном интервале времени с дисконтированием, затем - обзор крыловских теорем об общих свойствах функций выигрыша. Кстати, замечу, что ответ на вопрос о непрерывности по $x$ нашей функции $F_1$ - в доказательстве теоремы 120 - положительный, только при небольшом уточнении наложенных условий; это добавлено в конспект лекций в соответствующих местах.

03.10.2024. Глава 6 дополнена. Глава 5 тоже, но лишь слегка.

07.10.2024. На последней лекции 04.10.24 рассказано (чуть-чуть не до конца) полное доказательство теорем 125 и 130 об уравнении Беллмана с дисконтированием на бесконечном интервале времени и на всей прямой из раздела 6.4. На следующей лекции (11.10.2024) будет кратко повторен основной момент этого доказательства, - предельный переход к уравнению Беллмана, - и сделан обзор общих результатов об этом уравнении из краткой главы 7. Затем начнем тему оптимальная остановка. Лекции теперь происходят в аудитории, поэтому новых записей на блокноте пока не будет.

09.10.2024. Глава 8, посвященная задаче об оптимальной остановке, добавлена в конспект, собственно, уже несколько дней назад. Тем не менее, пока что она все еще является черновиком и регулярно дорабатывается. Все же, думаю, что при большом желании сейчас читать ее уже можно.

18.10.2024. Главу 8 начали; прошли разделы 8.1 (условную теорему при условии существовании гладкого решения (BE)) и 8.2 (нестрогое введение в метод большой интенсивности "убивания" процесса, как бы заменяющего собой собственно остановку; обратите внимание на изменение при этом "мгновенной" функции выигрыша или потерь. В следующий раз будет разобрана строгая теорема о сходимости данного метода при неограниченном увеличении интенсивности убивания.

24.10.2024. В папку на яндекс-диске добавлен на всякий случай учебник Брезиса по Соболевским пространствам; как я понял, он уже использовался на семинарах, и, в частности, про одномерный случай там хорошо написано все, что в лекциях могло понадобиться.

11.11.2024. Пройдена глава 8. Приступили к главе 9 - об оптимальном эргодическом управлении "в среднем". Цели заявлены, уравнение Беллмана выписано, и теперь одна или две лекции будут посвящены только эргодическим свойствам решений СДУ. Эта тема на последней лекции 08.11.24 только-только начата. Слушателям полезно иметь в виду, что в конспекте лекций отражена пока что лишь небольшая часть необходимого материала, а весенний курс СДУ содержит также далеко не всё, что теперь потребуется для эргодического управления. Лектор не обещает, что все, что происходит на доске, будет перенесено в конспект, т.к. на это потребовалось бы слишком много времени. Мой совет: лучше посещайте лекции!

01.12.2024. Эргодические свойства решений СДУ пройдены, на последней лекции 29.11.24 также повторены уравнения Пуассона "во всем пространстве" и начата тема эргодические уравнения Беллмана. Следующая лекция 06.12.24 также будет посвящена последним. Затем лектор уезжает на неделю на конференцию, так что, скорее всего, последняя лекция будет перенесена (староста группы предупрежден, обсуждение с группой, видимо, в процессе), и возможна как в аудитории, так и в онлайне, предположительно, во вторник 17.12.24 (чтобы это произошло до начала зачетной сессии). 

02.12.2024. В конспект лекций добавлена глава 9, об эргодическом управлении и эргодических свойствах. В разделе 9.11 приведены с доказательствами две теоремы об оценках для решений СДУ, которые были рассказаны в классе за последние две лекции. Имейте в виду, что неоднородный случай мы в классе не проходили и спрашивать его на экзамене не буду; однако, переписывать для однородной ситуации нет времени, поэтому оставлено как есть; при чтении просто мысленно удаляйте переменную $t$ из коэффициентов, при этом выкладки, возможно, слегка упростятся. Также, во второй из двух теорем основное - это оценки бэта-перемешивания и сходимости по полной вариации; бэта-перемешивания в классе не было и на экзамене не будет, пропускайте его. (NB: Многие предельные теоремы типа ЗБЧ и ЦПТ, в том числе, для неоднородных цепей Маркова в литературе доказаны в предположении о скорости убывания коэффициента бэта-перемешивания, или каких-либо аналогов.) Детали метода каплинга также спрашивать не буду, только в одномерном случае через пересечения траекторий двух процессов (в конспекте об этом не говорится, было только в классе, дописывать не буду; кто не был на лекциях - возьмите материал с планшетов у тех, кто был и что-то записывал). (NB: Пример использования пересечений в другой, но похожей ситуации можно посмотреть в доказательстве теоремы 2 в препринте https://arxiv.org/pdf/2211.06098.)

16.12.2024. Завтра, 17.12.24 должна быть последняя лекция. Я пока не понял, будет она в аудитории, или онлайне; жду комментариев от старосты; предлагал 11:00. Вот, получил письмо от Макара, лекция будет в онлайне в 9:00. 

В папку на облако загружены записки лекций H. Pham, содержащие раздел про вязкие решения; правда, этот текст на французском (есть аналог на английском, однако, он "сильно не эквивалентен"), но надеюсь, что в нем легко разобраться. Прошу эти лекции не распространять. 

17.12.2024. Прошла в онлайне последняя лекция. Последний сегодняшний вариант записок лекций положен на облако. Основной экзамен 08.01.2025, дата возможного досрочного будет обсуждена со старостой группы. Примерный список вопросов будет вскоре добавлен, либо в виде отдельного файла, либо в конце файла записок лекций (либо оба варианта).

23.12.2024. Записки лекций еще чуть-чуть подредактированы. Список пройденных тем к экзамену выложен на облако (https://disk.yandex.ru/d/VhtiwO81yivKtw). Основной экзамен назначен на 08.01.2025, досрочный, предварительно, на 28.12.2024 утро. 

06.01.2024. На облако дополнительно загружены вопросы к экзамену: это некая конкретизация экзаменационных тем. Файл с темами перезаписан: оттуда убрана бывшая тема 3 - об алгоритме Ховарда для параболической задачи, поскольку, как заметила группа, этой темы не было ни в классе, ни в конспекте (однако, имейте в виду, что это не может помешать лектору задать такой вопрос как дополнительный, хотя он и не обещает непременно это сделать). На сайте teach-in на сегодня выложены шесть первых лекций данного курса (правда, нумерация может не вполне совпадать с таковой для лекций, имевших место в онлайне или в классе): https://teach-in.ru/course/optimal-stochastic-control. 

Основной экзамен состоится в среду 08.01.2025 в 10:00 в ауд. 14-04.