Всем привет! Мы с друзьями/коллегами самоорганизовались для изучения нейросетей и LLM в формате закрытого онлайн курса. Лекции ведем сами для себя. Начнем с самой базы. Учиться будем до лета 😉 Приглашаем всех желающих.
Первое занятие: четверг 16.01 в 16:00 МСК в Zoom. Дальнейшее расписание и все материалы будем публиковать на этой страничке.
Расписание:
20.01 16:00 МСК: Запись
16.01 18:00 МСК: Zoom
23.01 16:00 МСК: Zoom
27.01 16:00 МСК: Zoom
28.01 18:00 МСК: Zoom
01.02 13:00 МСК: Zoom
03.02 16:00 МСК: Zoom
08.02 13:00 МСК: Zoom
09.04 13:00 МСК: Zoom. Сверточные нейросети. Теория и практика
Регистрация будет доступна в течении первых занятий, далее перейдем в закрытый формат.
Примерная программа курса:
- Разбор линейных моделей
- Основы Pytorch и простые примеры нейросетей
- 28.01 Решение Spaceship Titanic простыми нейросетями,
- 30.01 Обучение градиентным алгоритмом и back propagation
- Функции активации и потерь с Pytorch
- Оптимизаторы, сохранение и загрузка моделей
- L2-регуляризатор, Dropout, Batch Normalization
- Dataset и Dataloader, Mnist
- Переобучение, и критерии остановки
- Сверточные нейронные сети. ConvXd, MaxPooling.
- Примеры реализации, VGG-16, Стилизация, колоризация
- Классификация, детекция, сегментация. Основы
- Разбор архитектур. AlexNet, ResNet, VGG, U-Net, Yolo.
- Семантическая сегментация на примере спутниковых снимков. Transfer Learning.
- Рекурентные сети.
- Понятие эмбединга, LSTM, GRU
- Автоэнкодеры
- GAN. Основы.
- Основы NLP. Методы обработки текста.
- Основы NLP. Методы обработки текста. Практика
- Концепции первых моделей, word2vec.
- Word2vec. Практика
- Attention, трансформеры
- Трансформеры, практика
- NLP пайплайны, работа с библиотекой transformers и моделями с hugging face.
- Multihead attention.
- Методы обучения и дообучения трансформеров
- Архитектуры современных LLM, методы обучения до обучения. Transfer learning, fine tuning ….. (Будет детализироваться по ходу занятий)