DRL Course 2023 Домашнее задание 1

Отправка решений до 12.10.2023 23:59 (мск)

Задания

После лекции 1 и практического занятия 1 требуется выполнить три домашних задания:

1. Пользуясь алгоритмом Кросс-Энтропии обучить агента решать задачу Taxi-v3 из Gym. Исследовать гиперпараметры алгоритма и выбрать лучшие.
2. Реализовать алгоритм Кросс-Энтропии с двумя типами сглаживания,  указанными в лекции 1. При выбранных в пункте 1 гиперпараметров сравнить их результаты с результатами алгоритма без сглаживания.
3. Реализовать модификацию алгоритм Кросс-Энтропии для стохастических сред, указанную в лекции 1. Сравнить ее результат с алгоритмами из пунктов 1 и 2.

Оформление

Код каждого задания следует выполнить в отдельном .py файле с названием "(фамилия)_practice1_(номер задания).py". Результаты всех исследований по заданиям 1-3 следует оформить в отчет в виде одного .pdf файла с названием "(фамилия)_practice1.pdf". Отчеты оформляются в произвольной форме, однако должны содержать  

• описание экспериментов,
• результаты экспериментов проиллюстрированные в виде графиков обучения (ось x - итераций обучения, ось y - суммарные награды). Сравнение алгоритмов и гиперпараметров можно проиллюстрировать изобразив их результаты на одном графике.
• вывод.

Все 4 файла кладутся в папку с названием "(фамилия)_practice1" и предоставляется возможность скачать эту папке по ссылке (google.drive, yandex.disk и пр.). Задания отправляются в форме ниже в формате:

Фамилия Имя 

Домашняя работа 1 - (ссылка на папку (фамилия)_practice1)

Оценка

Выполнение заданий оценивается в 10 баллов - 5 баллов на правильность выполнения и 5 за качество оформление отчета.