DMIA 2021 Spring - Направление Production ML

Описание направления

На направлении мы будем учиться тому, чем обычно занимаются ML Engineers или ML Developers - превращают обученную модель в работающий сервис. Затронем то, как версионировать код, данные и эксперименты, превращать модели в веб-сервисы, работать с контейнерами, деплоить и тестировать модели, писать пайплайны для переобучения, и, наконец, собирать CI/CD, который будет делать эту работу за нас.

Входные требования

• Базовые практические знания ML
• Знание Python на уровне младшего Python-разработчика
• Свободное время: 3 часа вебинаров и 5-15 часов самостоятельных занятий в неделю (15 - если вы сомневаетесь в своих силах, 5 - если вы преподаватель курса :)
• Будет легче, если у вас есть опыт работы с *nix-системами, вы знаете Docker, сети, web-сервисы (Flask, REST API)

Отбор

Чтобы пройти на курс, нужно выполнить общее для всех направлений задание в анкете слушателя и побить несложный бейзлайн в соревновании по предсказанию сложности пароля - его видно на лидерборде. Если вам будет не слишком сложно это сделать, то будем считать, что обладаете достаточным уровнем по первым двум навыкам в списке. Внимательно смотрите время окончания соревнования на kaggle inclass.

Ссылка, по которой можно присоединиться к соревнованию https://www.kaggle.com/t/4b03db9d284240efb8c337d11c91dd30

Что будет являться результатом прохождения

• Познакомимся с основными принципами DevOps и узнаем о специфике MLOps
• Поработаем с актуальными продакшн-инструментами, используемыми в ML
• Обсудим выбор подходящих инструментов в рамках конкретной задачи
• Выполним курсовой проект, о котором можно рассказать на собеседовании

Структура курса по неделям

1. Обзор отрасли. Введение в MLOps. Практики написания кода.
2. Системное администрирование. Менеджеры пакетов и виртуальных окружений Python. REST API и Flask.
3. Git, версионирование кода и артефактов. Docker и контейнеризация сервисов. Деплой ML моделей.
4. Основы хранения и версионирования данных. Сервера в интернете и облачные вычисления. Тестирование ML моделей и сервисов.
5. Архитектура ML-систем. Создание ML пайплайнов.
6. Воспроизводимость экспериментов. Мониторинг сервисов и ML моделей.
7. Построение CI/CD, автоматизация тестирования, сборки и деплоя пайплайнов и сервисов.
8. Подведение итогов курса. Обзор дальнейшего развития, задач и целей для ML Engineer.
9. Боевая проверка реализаций курсового проекта.

Более подробный план доступен здесь

Грейдинг

Рейтингом будет служить результат работы над курсовым проектом - ботом для игры в Шляпу. Мы будем учитывать как количество отгаданных и загаданных слов, так и технические метрики, включая доступность, надежность и скорость ответов ваших сервисов.

Авторы курса

• Александр Гущин, ML Engineer в Iterative.ai
• Михаил Трофимов, ML Product Owner в Praxis
• Глеб Ерофеев, Lead ML Engineer в Сбермаркет
• Виталий Белов, DS в Сбермаркет
• Ольга Филиппова, DS Team Lead в банке Открытие
• Илья Ирхин, Chief DS Yandex.Taxi