Lead Data Engineer
Прямой работодатель Звук ( sber-zvuk.com )
Опыт работы от 3 до 5 лет
Кто мы?
Мы — команда увлеченных людей и делаем сервис, который позволяет превратить обычный, даже самый рутинный, момент жизни в яркий и насыщенный.
Очень может быть, что скоро ты будешь менять мир аудио вместе с нами.
Наша цель — стать аудиопривычкой современного человека.
Как мы живем:
Мы ценим свободу. Ты всегда можешь свободно выражать свои мысли и идеи, а выбор пути решения задач всегда за тобой.
Мы — творцы. Знай, что тут ты можешь смело создавать новое, экспериментировать и творить, развивая себя.
Мы все на одной волне. Каким бы сложным не был проект, какие бы сроки не стояли, ты точно знаешь, что найдешь помощь и поддержку среди коллег.
Все, что тебе нужно для комфортной работы — всегда под рукой, а если чего-то не хватает, то всегда можно об этом сказать.
Чем нужно будет заниматься?
- Лидировать центр компетенций DE в Звуке от Code Review и совершенствования процессов разработки до обучения своих инженеров и построения их планов развития;
- Создавать вместе с командой и архитекторами платформу данных от базового batch, так и stream процессинга, до создания и интеграции инструментов self-service для аналитики и разработки;
- Много взаимодействовать с командами потребителями и поставщиками данных, чтобы решать их проблемы и учить не создавать новые;
- Помогать команде ML-инженеров строить платформу обработки петабайт данных аудиоконтента;
- Заниматься интеграцией внешних систем по API, FTP, S3, etc.;
- Внедрять практики Data Quality, clean code, etc.
Что мы ожидаем от кандидата:
- Опыт работы с stream и batch обработкой данных.
- Опыт с Python/Scala для работы с данными (наш батч написан на python, а стриминг уже на scala).
- Практический опыт и глубокое понимание работы Spark, Spark Structured Streaming или Flink.
- Практический опыт работы с оркестраторами пайплайнов: Airflow, Luigi, Flyte.
- Практический опыт работы с Hadoop.
- Знакомство с контейнерами Docker/k8s, и опыт использования в работе.
Будет плюсом: - Опыт взаимодействия с MPP, Presto и аналогами.
- Опыт взаимодействия и настройки Clickhouse.
- Опыт работы с Cloud решениями (Sber, Huawei, Yandex, AWS, GCP, Azure).
Работа должна быть в удовольствие, поэтому:
- Стильное рабочее пространство рядом м. Кутузовская (буквально 5 минут от метро / МЦК) или удаленно.
- ДМС с первого рабочего дня.
- Компенсация обучения и митапов.
- Активно развивающийся HR-бренд.
- Ламповость и крутые корпоративы, а еще у нас есть вписки на концерты и мероприятия.
- Присоединившись к нам, ты сможешь принять участие в развитии продукта, которым пользуются миллионы.
- Банально, но факт: у нас белая зарплата и оформляем по ТК РФ.