Data Engineer
Прямой работодатель Спартак Москва ( spartak.com )
Опыт работы от 1 года до 3х лет
Мы ищем Дата-инженера, основная и первоочередная задача которого — спроектировать и реализовать централизованный Data Warehouse (DWH) для нашей аналитической платформы. DE возьмёт на себя интеграцию существующих источников данных (API и парсинг), настройку процессов обновления и оркестрации данных, логирование и проверку качества, а также разработку оптимальной схемы БД для аналитики и сервисов клуба.
Формат работы: удалённо
Что будет нужно делать:
• Проектирование архитектуры DWH и разработка схемы данных (таблицы, колонки, индексы, нормализация/денормализация для аналитики)
• Анализ источников данных и интеграция: работа с API, написание парсеров для источников, требующих эмуляции браузера (Selenium / Playwright)
• Построение ETL/ELT-конвейеров на Python; трансформации данных, обработка ошибок, повторимость
• Оркестрация расписаний и DAG’ов — Airflow
• Настройка логирования и метрик
• Автоматическая валидация качества данных (схемы, дедубликация, контроль целостности) — разработка тестов и правил
• Обеспечение актуального обновления БД, планирование резервного копирования и восстановления
Необходимые навыки:
• Уверенный опыт работы Data Engineer с проектами по созданию DWH (проектирование моделей данных и т.д.)
• Отличное владение SQL и опыт оптимизации сложных аналитических запросов в PostgreSQL
• Python — опыт разработки ETL/ELT скриптов
• Практический опыт с Apache Airflow
• Навыки интеграции с внешними API
Будет плюсом:
• Навык создания и деплоя простых сервисов: backend-часть (Flask, FastAPI), развёртывание сервиса на ВМ
• Опыт работы с контейнерами (Docker) и базовым CI/CD
• Навык написания SDK для дальнейшей работы с источниками аналитиков и ML-инженеров.
• Опыт парсинга сайтов с помощью Selenium / Playwright или аналогов.
• Опыт настройки логирования и мониторинга
Формат собеседования:
1. Подача резюме, предварительный отбор кандидатов
2. Тестовое задание
3. Техническое собеседование с обсуждением тестового задания и техническими вопросами.
4. Финальное интервью с руководитель аналитики