Data Engineer (remote)

Платформа по автоматизации партнерского маркетинга в тревел. Мы помогаем брендам найти своих клиентов, а владельцам тревел-площадок эффективно монетизировать свой трафик.

Наша команда дата инженеров помогает аналитикам делать свою работу. Мы обеспечиваем доставку данных в единое хранилище для аналитики и поддерживаем инструменты для их обработки и презентации.

Стек:

• Мы используем Apache Impala на базе Apache Hadoop для хранения и обработки данных.
  Основной источники данных – Kafka, БД и разные APIs. Используем самописный оркестратор и фреймворк на базе Python для работы с загрузкой и трансформации данных.
• Идет миграция на новую платформу на базе LakeHouse архитектуры - Spark, Trino, AWS S3, DeltaLake format, DBT, Kafka, Airbyte.
• Тестирование и сборка производятся на CI сервере (Jenkins). Деплой в Kubernetes. Настройкой серверов и разворачиванием баз мы не занимаемся. Это делает отдельная команда инфраструктуры.

Что нужно будет делать?

• Основная задача дата инженеров в аналитике — поддерживать ее работоспособность.
  • Подключение новых источников и разработка/модернизация data pipelines
  • Отправка/обмен данными с внешними и внутренними сервисами
  • Работа над качеством данных
  • Настройка/поддержка аналитического окружения
• Модернизация текущей дата платформы вместе с Core командой дата инженеров.
• Участие в принятии архитектурных решений для новой дата платформы.

Что мы ждем от тебя?

• Опыт работы инженером данных от 3 лет;
• Отличное знание Python, SQL;
• Умение строить streaming и batch пайплайны;
• Опыт работы c Apache Spark, Apache Airflow, Trino будет большим плюсом;
• Опыт работы с Kubernetes, Terraform будет плюсом;
• Опыт работы с AWS приветствуется;
• Самостоятельность и ответственность;
• Умение коммуницировать с разными командами;
• Желание развиваться и выстраивать процессы вокруг себя;

Мы предлагаем:

• Достойный оклад, 4000$;
• Удаленную работу, с возможностью работать из любой точки мира;
• Возможность релокации.