Big Data Engineer

О нас:

Еаптека – сервис для покупки лекарств и товаров для здоровья. Компания расширяет отдел «Управление данными» и сейчас в поиске cильных Data Engineers.

⚙️ Стек: Scala, Hadoop, Spark / PySpark, Kafka, Airflow, Docker, SQL

Что надо будет делать?

—  участвовать в разработке и проектировании потоков данных, алгоритмов загрузки и обработки данных в Hadoop в cтриминговом и батчевом режиме на базе Apache Spark;

— оптимизировать производительность ETL-процессов;

— настраивать CI/CD процесс вместе с DevOps;

— участвовать в разработке продуктов моделей ML совместно с DS.

Для нас важно:

— опыт разработки на Scala или Python (уровень: middle, senior);

— опыт разработки на Spark и Spark Structured Streaming;

— опыт работы с Hadoop (уверенное знание);

— опыт работы с S3;

— опыт работы с облачными платформами (Яндекс Облако/VK Cloud/Google Cloud);

— опыт работы с Kafka (уверенное использование);

— docker, docker-compose, (k8 будет плюсом);

— опыт работы с Airflow;

— Linux, Bash;

— Git;

— СI/CD;

— SQL;

— проактивность и желание развиваться.

Мы предлагаем:

— официальное трудоустройство, белая зп;

— работа в аккредитованной ИТ компании;  

— гибридный/удаленный график работы по России;

— ДМС со стоматологией в лучших клиниках города;

— возможность развития в крупной компании;

— современная техника на выбор;

— опыт работы в команде профессионалов.

Для связи: тг @аnnсhеrkа