Lead/Senior Data engineer на построение Data/Delta Lake + DWH

Компания ESN создает социальные продукты нового поколения на стыке технологий и медиа. У нас нет легаси и «велосипедов», мы разрабатываем продукты, используя современные технологии. 

Наш аудио продукт - приложение для быстрого и простого создания музыки на смартфоне. Выбираешь готовый бит из библиотеки, генеришь текст нейросетью, поешь, применяешь эффект для улучшения голоса, выбираешь видео маску и делишься в ленте.

Наш видео продукт - социальная платформа, в которой каждый ролик в ленте может стать источником целой цепочки креативов, шуток, мемов, созданных тобой и твоими друзьями с помощью простых и инновационных инструментов для творчества.

Сейчас мы в поиске Lead/Senior Data engineer на построение Data/Delta Lake + DWH

Задачи

- Реализация ETL для подготовки данных для аналитики/ ML моделей

- Автоматизация выгрузки данных из источников и контроль качества

- Определение архитектуры данных в части хранения и обработки

- Определение различных “слоев” данных и формирование ETL между ними

- Построение инкрементальных архитектур обработки данных

- Мониторинг всех этапов работы с данными

- Определение аномалий в данных

- Транслировать свое экспертное видение на команду и определять дальнейший вектор развития данных

Есть возможность вырасти в полноценного Lead-а со своей командой - по мере роста объемов данных

Требования

- Знание классических алгоритмов и структур данных.

- Понимание микросервисных архитектур, опыт построения real-time пайплайнов данных.

- Понимание принципов работы баз данных и очередей.

- Самостоятельность и умение комплексно решать задачи.

- Уверенное владение Python.

- Понимание DevOps принципов.

- Опыт работы с Airflow, Clickhouse, Kafka, Cassandra (будет плюсом), S3, Spark.

- Git + Jira.

Будет плюсом

- Опыт работы с высоконагруженными системами.

- Понимание масшатабируемости и отказоустойчивости систем.

- Опыт разработки на Java.

- Опыт построения микросервисных архитектур по работе с данными.

- Понимание концепции Delta Lake.

- Опыт использования парадигмы DataOps.

Мы предлагаем

• Оформление по удобному вам формату – ТК РФ, самозанятость, ИП – в рф или зарубежом.

• Конкурентная заработная плата, индивидуально обсуждается с кандидатом.

• Возможность удаленной работы.

• ДМС после испытательного срока.

• Проведение неформальных мероприятий - праздники, корпоративы.

• Возможность карьерного и функционального роста.