Data Engineer
Прямой работодатель Kazanexpress.ru ( kazanexpress.ru )
Опыт работы любойот 330 000 ₽
Сердце отдела анализа данных - решения и продукты, созданные на основе данных. Над взращиванем этой культуры работают наши дата инженеры. Они лучше всех в компании понимают данные - откуда они текут и куда, как их нужно обработать и как помочь всей компании извлечь из них максимальную пользу.
В качестве стека у нас есть: Kubernetes, Kafka, Clickhouse, Kafka Connect x Debezium, PostgreSQL, Kafka Streams, MongoDB. Этот стек обрабатывает миллиарды событий в день, которые происходят с нашими пользователями. Активно смотрим в сторону DeltaLake, ksqlDb и таких концептов как Data Mesh.
У нас запущено несколько больших инициатив, которыми нужно будет заниматься: · Хранилище которое поддерживает как паттерны потребления данных аналитиков, так и дата саентистов · ETL процессы и подготовка данных для аналитиков в сложных кейсах · Data Governance - качество данных, их доступность и понятность · Построить, проверить и осмыслить процессы работы с данными во всех командах разработки
Задачи
- Работа над хранилищем данных для аналитики
- Потоковая обработка данных
- Поддержка разных типов хранлищ - транзакционных, аналитических, горячих, холодных
- Предоставление данных пользователя сервисам персонализации
- Создание идеальных условий для проведения неограниченного числа экспериментов в продукте
- Мониторинг, работоспособность и масштабируемость продакшена
Скорее всего, у хорошего кандидата найдутся следующие навыки
- Опыт работы с Kafka / ksqldb / Apache Pulsar или другими распределенными платформами обработки потоков событий
- Опыт работы с OLAP базами, у нас вот Clickhouse
- Понимание того, как можно структурироват хранилище данных - Kappa / Lambda / DWH / Data Vault / Data Anchor / hNhM
- Опыт работы с холодным хранилищем - Spark / DeltaLake / Presto
Условия
- Возможность брать много ответственности - наши инженеры самостоятельно драйвят большие и сложные истории внутри продукта
- Сильную и энергичную команду, нацеленную на быстрый рост на конкурентном рынке
- Современные и интересные технологии, возможность тестировать новые фреймворки и паттерны
- Если тебе по душе, то удаленная работа, ну а если нет, то есть доступные комфортные офисы в Москва-Сити или Иннополисе
- ДМС со стоматологией, частичная компенсация спортзала и полная обучений и конференций
Контакты
Для отклика на вакансию пишите мне в TG