LightAutoML, или LAMA, это фреймворк для автоматического построения моделей, библиотека Python с открытым исходным кодом. Он разработан командой AutoML Sber AI Lab для эффективного и легкого решения различных ML-задач: бинарной / мультиклассовой классификации и регрессии.

Сейчас LightAutoML поддерживает табличные наборы данных с различными типами признаков: числовые, категориальные, даты, тексты, изображения и т. д.

Установка LightAutoML довольно проста: 
pip install -U lightautoml&nbsp;

LightAutoML содержит не только готовые пресеты для автоматического решения задач машинного обучения, но и представляет собой простой в использовании модульный конструктор для создания индивидуального пайплайна машинного обучения, в том числе кастомные модули для:

<ul>
	<li>предварительной обработки данных,</li>
	<li>расширенной генерации признаков,</li>
	<li>схемы кросс-валидации (включая вложенные),</li>
	<li>настройки гиперпараметров,</li>
	<li>различные модели и методы построения композиций,</li>
	<li>отчеты по обучению и профилированию моделей, чтобы проверить результаты модели и найти идеи, которые не очевидны из исходного набора данных.</li>
</ul>

В настоящее время LAMA поддерживает наборы данных, где каждая строка представляет собой объект со своими особенностями и целью. Многотабличные наборы данных и последовательности сейчас находятся в стадии разработки. Подробнее в репозитории на <a href="https://github.com/sberbank-ai-lab/LightAutoML">GitHub</a>&nbsp;

Команда подготовила для вас 3 трека-хакатона с интересными задачами и 1 соревнование для лучшего базового изучения фреймворка. Победителям&nbsp;каждого из трех хакатонов&nbsp;мы приготовили памятные призы: 
1 место - Грант 80 000* рублей, свитшот&nbsp;и футболка с логотипом LAMA &amp; Sber AI Lab 
2 место - Футболка LAMA &amp; Sber AI Lab 
3 место - Термос с логотипом Sber 
Приз зрительских симпатий: Термокружка &nbsp;с логотипом Sber 
*- вручение грантов победителям будет проводиться осенью, точная дата будет определена позже

<h3>Описание хакатонов</h3>

Соревнование 0: Изучай LightAutoML и улучшай наш бейзлайн! 
Соревнование сделано специально, чтобы вы могли лучше узнать фреймворк перед стартом решения хакатонов. Это открытое <a href="https://www.kaggle.com/t/8228f060b810428d8f8ef5a3df45aa27">in-class Kaggle-соревнование</a>, где необходимо превзойти бейзлайн с LightAutoML, улучшив текущее решение. Успей принять участие до 6&nbsp;августа&nbsp;и получить отдельные призы от команды разработчиков!

Хакатон 1: Дистилляция.&nbsp; 
Для ряда бизнес-задач требуются не только качественные, но еще и очень быстрые модели, способные работать в высоконагруженных системах. Чтобы добиться этого необходимо пройти два этапа: получить наиболее простую модель (не сильно потеряв при этом в качестве) и оптимизировать ее под инференс. В рамках темы Летней Школы мы предлагаем решить первый этап.

Несмотря на высокую скорость работы LightAutoML, в его основе лежит ансамбль моделей (LightGBM, CatBoost, Linear L2 x KFold) с продвинутой обработкой данных, не говоря уже про utilized сценарий использования. Данный пайплайн (модель учитель) можно дистиллировать к более эффективному (модель ученик): одной модели с простой (и быстрой) обработкой данных. При этом качество при таком подходе будет выше, чем просто обучение модели ученика в исходной постановке.

Результатом задачи может служить как полностью готовый аддон к LightAutoML, который сможет упростить произвольный AutoML, так и исследование по способам дистилляции для задач на структурированных данных. 
Пример: <a href="https://arxiv.org/abs/2006.14284">дистилляция от AutoGluon</a>

Хакатон 2: Отборщик признаков. 
Одним из ключевых этапов построения модели является определение её признакового пространства. В него входит не только сбор данных и генерация признаков, но и отбор наиболее полезных из них.&nbsp; 
Благодаря этому можно добиться:&nbsp; 
1) удешевления сбора и хранения данных,&nbsp; 
2) ускорения времени предсказания,&nbsp; 
3) улучшения качества модели в ряде случаев.&nbsp;

И здесь находится большой простор для исследования. Как проводить отбор признаков: до или после генерации; на основе важности или жадно; для конкретной модели или независимо от типа модели; последовательно прямым проходом, обратным или, может быть, генетическим алгоритмом?&nbsp;

На подобные (и многие другие) вопросы Вам предстоит ответить, выбрав этот трек и расширив функциональность LAMA в задаче отбора признаков.

Хакатон 3: Произвольная задача. 
LightAutoML является не только AutoML фреймворком, но и позволяет строить пайплайны под произвольную задачу. В рамках свободной темы предлагается развить функциональность LAMA в любом направлении: будь то пресет или аддон под ваши типовые задачи, улучшение функциональности работы с картинками, добавление красивых графиков в отчет, либо чего-то другого, - все ограничивается вашей фантазией!

Успехов!!!

&nbsp;

<iframe allow="autoplay; fullscreen" allowfullscreen="" frameborder="0" mozallowfullscreen="" src="https://www.youtube.com/embed/p4m_E38ojyc" style="position: absolute; left: 0; top: 0; width: 100%; height: 100%;" webkitallowfullscreen=""></iframe>

 
Контакты: Alexander Ryzhkov (telegram, slack: @RyzhkovAlex), а так же задавай вопросы <a href="https://t.me/lightautoml">в нашем канале</a> в Telegram&nbsp; 
ODS slack channel&nbsp;<a href="https://opendatascience.slack.com/archives/C027KD9FCK1">#tool_lama</a>

Участникам предлагается провести исследование и реализовать новую функциональность для open-source фреймворка LightAutoML в области дистилляции, отбора признаков или реализовать произвольную задачу на свой выбор.

Data

LAMA, or LightAutoML is open-source python library released by the AutoML Team at Sber AI Lab as an Automated Machine Learning (AutoML) framework. It is designed to be lightweight and efficient for various tasks:

<ul>
	<li>binary/multiclass classification,</li>
	<li>regression.</li>
</ul>

Now, LightAutoML supports tabular datasets, which contain different types of features: numeric, categorical, dates, texts, images, etc.

LightAutoML installation is pretty simple: 
<code>pip install -U lightautoml</code>

LightAutoML provides not only presets for end-to-end ML task solving but also the easy-to-use ML pipeline creation constructor, including:

<ul>
	<li>data preprocessing elements,&nbsp;</li>
	<li>advanced feature generation,&nbsp;</li>
	<li>CV schemes (including nested CVs),&nbsp;</li>
	<li>hyperparameters tuning,&nbsp;</li>
	<li>different models, and composition building methods,&nbsp;</li>
	<li>model training and profiling reports to check model results and find insights that are not obvious from the initial dataset.</li>
</ul>

Currently, LAMA supports datasets, where each row is an object with its specific features and target. Multitable datasets and sequences are now in the development phase.

Note: LAMA has automatic creation of interpretable models onboard that is based on AutoWoE library made by our team as well. Interpretable blackbox is on the way to release!

Docs, tutorials and main repository: &nbsp;<a href="https://github.com/sberbank-ai-lab/LightAutoML" rel="noopener noreferrer" target="_blank">GitHub</a>, <a href="https://github.com/sberbank-ai-lab/AutoMLWhitebox" rel="noopener noreferrer" target="_blank">AutoWOE</a>

LightAutoML Communities: <a href="https://t.me/lightautoml" rel="noopener noreferrer" target="_blank">Telegram Chat</a>, <a href="https://lightautoml-slack.herokuapp.com/" rel="noopener noreferrer" target="_blank">Slack</a>

Team: Maksim Savchenko,&nbsp; <a href="https://kaggle.com/alexryzhkov" rel="noopener noreferrer" target="_blank">Alexander Ryzhkov</a> (telegram, slack: @RyzhkovAlex), <a href="https://kaggle.com/btbpanda" rel="noopener noreferrer" target="_blank">Anton Vakhrushev</a> (slack: @btbpanda), <a href="https://kaggle.com/simakov" rel="noopener noreferrer" target="_blank">Dmitry Simakov</a>, Vasilii Bunakov, Rinchin Damdinov, Pavel Shvets, Alexander Kirilin,&nbsp;

alexryzhkov

Olga Plosskaya

Dmitry Simakov

Vasiliy Bunakov

Rinchin Damdinov

Pavel Shvets

Anton Vakhrushev

Alex K

Automatic industrial model creation framework

LAMA: LightAutoML

User Agreement

I accept <a target="_blank" rel="noopener noreferrer" href="https://drive.google.com/file/d/1n-fPczc0u7vYGvOzUUGH55HCbuRlCp8x/view?usp=sharing">Terms of User Agreement</a>

Privacy Policy

I accept <a target="_blank" rel="noopener noreferrer" href="https://drive.google.com/file/d/1JifpdktW5xCMAYgxzomLhYQZuxSrp0Wi/view?usp=sharing">Privacy Policy</a>

Consent

I give my <a target="_blank" rel="noopener noreferrer" href="https://storage.yandexcloud.net/datasouls-ods/DataFest2021_pres/Consent.pdf">consent</a> to «Sorevnovaniya Analiza Dannykh» LLC to process and transfer my personal data (name, email, address) to the partners of the event for information interaction

first_name

First name

last_name

Last name

country

Country (lat)

city

City (lat)

email

Email

slack_name

Your ODS Slack nickname

study_place

Study place

study_specialty

Study specialty

work_place

Work place

work_position

Work position

expectations

Expectations

interests

Interests

preferred_language

Preferred language

about

About

Registration application for Data Fest & ODS Summer Of Code

LAMA: LightAutoML Summer School Of Code

Hackathon

Данные: 
Мы не ограничиваем участников в датасетах, однако сами данные, на которых вы проверяете реализации ваших задач должны быть реальными - не Titanic dataset, не UCI. Например, можете взять подходящий датасет для выбранной задачи с соревнований Kaggle и других платформ. &nbsp;При сабмите решения в комментариях укажите на него ссылку.

Критерии приемки работ зависят от выбранной темы:

<ul>
	<li>Если задача чисто на программирование, либо реализованы новые модули - необходимо создать новую демонстрационную версию с функционалом (по аналогии с нашими из папки tests) + код ревью через пулл-реквест - там мы уже будем смотреть на code style и docstrings. Это будет важным критерием, чтобы влить в основную библиотеку LightAutoML.</li>
	<li>Если участник делает функциональность для себя - то будет достаточно демки (однако такие проекты вряд ли будут претендовать на призы, только при исключительной новизне и ценности для общей библиотеки, которые могут быть доработаны в последствии и влиты в релиз).</li>
	<li>Для исследовательских тем, таких как сравнение методов дистилляций, сравнение отборщиков и так далее, участник должен подготовить отчет - текстовое описание с результатами экспериментов, данных и выводы. Лучшие работы мы поможем доработать до полноценной статьи и опубликовать на Medium или Habr.</li>
</ul>