Инженер по работе с данными / Data engineer

Дирекция Больших Данных Корпоративного Центра X5 Retail Group в поисках Инженеров по работе с данными (Data engineer)!На текущий момент работа с большими данными (Big Data) - одно из наиболее приоритетных направлений развития для компании X5.Мы создаем инновационные инструменты для повышения эффективности работы торговой сети. Присоединившись к нашей команде, вы сможете применить свои знания и опыт для решения интересных и сложных задач, которые повлияют на десятки миллионов людей, посещающих наши магазины ежедневно.

 В Дирекции Больших данных X5 запущен проект по управлению промо акциями. В рамках проекта планируется реализовать новую систему управления категориями товаров на основе инструментов Big Data.

Мы ищем Инженеров по работе с данными (Data engineer) в команду проекта. Вам предстоит участвовать в разработке решения и интегрировать решение с текущими корпоративными системами.

Требования к успешному кандидату:

• Опыт работы с базами данных (знание основных объектов, умение писать запросы на SQL)
• Работа хотя бы с одним из open-source планировщиков: Apache Oozie, Apache Airflow, Ni-Fi и т. п
• Знание хотя бы одного языка программирования, готовность изучить Python
• Образование высшее/неоконченное высшее
• Умение учиться и широкий технический кругозор
• Английский язык на уровне свободного чтения технической документации

Будет преимуществом:

• Опыт работы с подрядчиками – постановка и контроль выполнения задач
• Базовое понимание внутреннего устройства реляционных баз данных и MPP-систем (Vertica, Greenplum, Presto и т. п.)
• Понимание экосистемы Hadoop (MapReduce, Spark streaming, Hbase, Spark SQl, KAfka, Hive, Impala, Hue и т.д.)
• опыт работы с системами оркестрации контейнеров: Kubernetes, Rancher, Docker Swarm и т. п.
• Опыт работы с MPP-системами (Greenplum, Apache Ignite, etc.)
• Опыт работы с NoSQL базами данных

В ваши обязанности будет входить:

• Проектирование и реализация слоя Data Distribution Service для нужд продукта.
• Проектирование и реализация ETL-процессов в гетерогенном хранилище: HADOOP MPP-базы, Kafka, NoSQL-базы, распределенные файловые системы
• Выстраивание автоматизированных процессов, обеспечивающих качество данных на всём пути поставки до аналитических систем и операционных сервисов
• Оптимизация производительности ETL-процессов и вычислений в аналитических системах

Условия:

• Работу с самым большим в России объемом данных в области Retail
• Дружную команду единомышленников, являющихся одними из сильнейших специалистов в области Big Data
• Оплату профессиональных конференций и обучений
• Широкие возможности карьерного и профессионального роста
• Оформление по ТК РФ с официальной заработной платой и бонусной программой
• Гибкий график работы (в т.ч. возможность частичной работы из дома)
• Соц. Пакет - ДМС, мобильная связь, доплата по больничному листу до 70% от оклада, 5-10% скидки в магазинах компании и многое другое

Наш офис находится недалеко от м. Добрынинская