Data Engineer

Чем предстоит заниматься:

• Проектировать и разрабатывать ETL/ELT-пайплайны и витрины данных для аналитики и ML-моделей.
• Выполнять очистку, валидацию и стандартизацию данных, настраивать автоматические проверки качества.
• Организовывать сбор и переливку данных в Data Lake, контролировать обновление и актуальность.
• Оптимизировать SQL-запросы и пайплайны.
• Поддерживать Airflow-DAG-и, CI/CD и документацию.
• Внедрять современные инженерные практики и автоматизацию.
• Взаимодействовать с DS и аналитиками, помогать в оптимизации SQL и Python-кода.

Что ожидаем:

• Отличное владение SQL (PostgreSQL, PL/SQL) и глубинное понимание теории БД.
• Python + библиотеки для данных: pandas, polars, PySpark, pyarrow.
• Опыт работы с Airflow, DVC.
• Практика с распределёнными системами данных: Greenplum, Hadoop, Hive, Impala, HDFS.
• Знание архитектур DWH, Data Lake, Data Mart.
• Навыки работы с Jupyter (notebook/lab/hub), Git, CI/CD.
• Опыт оптимизации SQL и профилирования.

Будет преимуществом:

• Опыт работы с Docker / Kubernetes.
• Опыт взаимодействия с ML/DS-командами, построение data-пайплайнов под модели.
• Опты с инструментами проверки качества данных (Great Expectations, OpenMetadata и др.).