Big Data Engineer
Вакансия в
Еаптека
( www.eapteka.ru )
Аккаунт зарегистрирован с публичной почты *@gmail.com, не email компании!
Опыт работы от 3 до 5 летот 230 000 000 ₽
О нас:
Еаптека – сервис для покупки лекарств и товаров для здоровья. Компания расширяет отдел «Управление данными» и сейчас в поиске cильных Data Engineers.
⚙️ Стек: Scala, Hadoop, Spark / PySpark, Kafka, Airflow, Docker, SQL
Что надо будет делать?
— участвовать в разработке и проектировании потоков данных, алгоритмов загрузки и обработки данных в Hadoop в cтриминговом и батчевом режиме на базе Apache Spark;
— оптимизировать производительность ETL-процессов;
— настраивать CI/CD процесс вместе с DevOps;
— участвовать в разработке продуктов моделей ML совместно с DS.
Для нас важно:
— опыт разработки на Scala или Python (уровень: middle, senior);
— опыт разработки на Spark и Spark Structured Streaming;
— опыт работы с Hadoop (уверенное знание);
— опыт работы с S3;
— опыт работы с облачными платформами (Яндекс Облако/VK Cloud/Google Cloud);
— опыт работы с Kafka (уверенное использование);
— docker, docker-compose, (k8 будет плюсом);
— опыт работы с Airflow;
— Linux, Bash;
— Git;
— СI/CD;
— SQL;
— проактивность и желание развиваться.
Мы предлагаем:
— официальное трудоустройство, белая зп;
— работа в аккредитованной ИТ компании;
— гибридный/удаленный график работы по России;
— ДМС со стоматологией в лучших клиниках города;
— возможность развития в крупной компании;
— современная техника на выбор;
— опыт работы в команде профессионалов.
Для связи: тг @аnnсhеrkа