Middle+/ Senior Data Engineer

Формат: удаленно, работа в московском часовом поясе
Занятость: полная
Ставка: $3 000–$4 000
Локация: любая
Гражданство: РФ, РБ, СНГ

Ptolemay - IT аутсорс- и аутстафф- компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов.
Ищем Middle+/ Senior Data Engineer с уверенным опытом в финтехе и глубокой экспертизой в построении масштабируемых пайплайнов на аутстафф-проект.

Задачи:
- Мигрировать процессы для аналитики и отчетности.
- Настроить регламентную загрузку данных.
- Работать с общебанковской data-платформой (Data Lake, DWH).
- Разрабатывать end-to-end пайплайны для сбора и обработки данных.
- Выбирать оптимальные форматы хранения и архитектуру интеграции.
- Анализировать и оптимизировать производительность пайплайнов.
- Развивать архитектуру данных и внедрять новые технологии.
- Управлять обновлениями и уязвимостями, восстанавливать сервисы, обрабатывать инциденты.

Требования:
- 5+ лет опыта в роли Data Engineer (опыт во время учебы не засчитывается).
- Уверенное знание SQL, включая оптимизацию сложных запросов.
- Понимание архитектуры классических и MPP-СУБД.
- Опыт разработки на Python и/или Java, Scala.
- Опыт работы с Apache Airflow.
- Опыт работы с dbt.
- Опыт с Hadoop-стеком: HDFS, YARN, Hive, Sqoop.
- Владение Apache Spark (Spark SQL, DataFrames).
- Опыт работы в финтехе, знание банковской предметной области.
Будет плюсом:
- Опыт с Kafka, Trino.
- Опыт с Kubernetes, Helm.
- Понимание CI/CD и соответствующих инструментов.

Условия:
- Удалённая работа.
- Фулл-тайм.
- Гибкий график.
- Аутстафф-система.
- Долгосрочный проект (от 6 месяцев).
- Зарплата: $3 000–$4 000 по итогам собеседования.