Data Engineer

Команда, которая отвечает за развитие продукта по прогнозированию спроса в крупной ритейл компании федерального масштаба приглашает Data инженера

Tech stack: Python 3.5-3.8., Fastapi, Hadoop, PySpark + Airflow. PostgreSQL, Kafka, Kibana, ElasticSearch. Docker, K8s, GitLab.

Задачи, которые предстоит решать:

• Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга)
• Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов
• Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana
• Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью
• Не обязательно, но будет большим плюсом: опыт работы с ML, выведения ML моделей в продакшн                  

   Наши ожидания от кандидата:

• Опыт работы с Python от 2 лет
• Опыт с Hadoop, Hive, Spark
• Уверенное знание SQL
• Знание классических алгоритмов и структур данных
• Опыт работы с docker (kubernetes, pyspark, airflow и ds фреймворков python– не обязательно, но будет плюсом)
• Умение пользоваться git'ом и работать в команде                                                                                                                                                                                                                                                                                                                                                                                                                     Наши предложения:
• Фиксированный оклад + годовой бонус
• Использование актуальных технологий Возможность работать с известным продуктовым брендом
• Свободу творчества - возможность пробовать любые модели, влиять на развитие продукта, предлагать новые подходы, делать MVP, формировать команды.
• ДМС, скидки сотрудникам, скидочные программы от партнеров, удаленная работа или прекрасный офис для тех, кто хочет социализироваться.
• Подписка на Coursera, образовательные курсы и другие возможности для саморазвития и профессионального роста