1. Генерация вероятностных автоматов методами Reinforcement Learning Выполнил: Иринёв А. В. Руководитель: Шалыто А. А.

2. 2 Стимулирующее обучение Среда Поощрение Агент

3. 3 Вероятностные автоматы Моделирование сложных систем, имеющих стохастическую природу Построение мобильных агентов

4. 4 Обучение автомата Действие Проверка «слабого условия» Перераспределение вероятностей

5. 5 Применение стимулирующего обучения Работать непосредственно с вероятностной моделью непрактично Генерация автоматной модели

6. 6 Q-learning: статические задачи Обучение Q-функции Порождение оптимальной стратегии

7. 7 Q-learning: стохастические системы Обучение Q-функции Подсчёт вероятностей переходов Сжатие вероятностной модели

8. 8 Пример задачи на двумерном поле Клетка поля определяет текущее состояние мобильного робота Четыре доступных действия Выделенные клетки Задача – максимизировать общую прибыль для нескольких мобильных роботов

9. 9 Тестовый пример

10. 10 Сжатие автоматной модели

11. 11 Выводы Непосредственное обучение вероятностной модели непрактично Предложенный подход позволяет решать задачи оптимизации для стохастических систем В зависимости от специфики задачи возможно эффективное сжатие автоматной модели