Senior/Middle MLOps Data Engineer

Наш стек:

• Используем Python для разработки под Spark
• Применяем Python для написания сервисов
• Работаем с частью Hadoop stack (Hive Impala HDFS)
• RDBMS: Postgres, Oracle
• NoSqlDB: Cassandra, Elasticsearch(ELK stack etc…)
• Apache Kafka как интеграционный слой между микро-сервисами
• Airflow для оркестрации ETL процессов
• Kubernetes/Openshift

Разработку ведем на BitBucket(Git style), используем Bamboo для сборок, Artifactory как репозитарий артефаетов, трекаем задачи в JIra, доку пишем в Confluence и т.д.

Обязанности:

• ‍Развивать культуру работы с данными
• Создавать единую систему обработки, хранения и валидации данных
• ‍Проектировать и строить процессы хранения, обработки, очистки и обогащения данных
• Участвовать в разработке data pipeline на всех этапах - от обсуждения с источниками данных формата получения данных, до презентации новой фичи потребителям
• Разрабатывать API для высоконагруженных сервисов получения доступа к данным
• Участвовать в проектировании системы и принятии архитектурных решений совместно с командой разработки
• Писать интеграционные и юнит-тесты, разрабатывать средства автоматизации для валидации и мониторинга на основе состояния данных, а также делиться знаниями с разработчиками на внутренних Knowledge Sharing

Требования:

• Опыт работы с Python и его профильными модулями например: pandas, numpy, scipy, pyarrow, pyspark etc.
• Понимание алгоритмов и принципов обработки данных
• Понимание общих концепций программирования (шаблоны проектирования, ООП, модульность, чистая архитектура, 12-Factor App)
• Oпыт разработки Data pipelines с использованием Airflow(предпочтительно)/Oozie/NiFi
• Опыт работы со Spark/PySpark
• Знание SQL на базовом уровне
• Умеете проектировать систему обработки данных (data modeling);
• Знание ELK и Grafana на уровне пользователя.
• Docker – базовое понимание
• Знакомство с практиками документирования своих решений/кода,
• Базовое понимание git flow, codestyle, code review etc.
• Ответственность и инициативность (мы верим, что идеи должны исходить не только от бизнеса, но и от сотрудников компании)

Условия:

• Возможна удаленная работа и гибкое утро 9-11
• Расширенный ДМС со стоматологией, скидки для родственников
• 10 дней 100% оплаты больничного
• Бесплатный спортивный зал в офисе
• Льготы на продукты банка, дисконт-программы от компаний партнеров
• Бизнес, открытый к предложениям: сможешь предлагать собственные идеи и реализовывать их постоянное развитие: регулярный внутренний и внешний обмен знаний, митапы, тренинги, конференции