Senior Data Engineer (Streaming)
Прямой работодатель Звук ( sber-zvuk.com )
Опыт работы от 1 года до 3х лет
Кто мы?
Мы — команда увлеченных людей и делаем сервис, который позволяет превратить обычный, даже самый рутинный, момент жизни в яркий и насыщенный.
Очень может быть, что скоро ты будешь менять мир аудио вместе с нами.
Наша цель — стать аудиопривычкой современного человека.
Как мы живем:
Мы ценим свободу. Ты всегда можешь свободно выражать свои мысли и идеи, а выбор пути решения задач всегда за тобой.
Мы — творцы. Знай, что тут ты можешь смело создавать новое, экспериментировать и творить, развивая себя.
Мы все на одной волне. Каким бы сложным не был проект, какие бы сроки не стояли, ты точно знаешь, что найдешь помощь и поддержку среди коллег.
Все, что тебе нужно для комфортной работы — всегда под рукой, а если чего-то не хватает, то всегда можно об этом сказать.
Чем нужно будет заниматься?
- Оптимизировать Spark Streaming джобы.
- Трансформировать старый ETL из родного overnight batching в модный молодёжный realtime streaming на Spark3/Flink.
- Создавать пайплайны NRT обработки данных для аналитики и рекомендаций.
- Подключать источники новые источники событий.
- Внедрять Data Quality Gates и лучшие практики работы с данными.
- Интегрировать платформу данных Звука в большую экосистему Сбера.
Что мы ожидаем от кандидата:
- Релевантный опыт работы на scala/ java от 2-х лет.
- Практический опыт работы с spark, Flink, hadoop, kafka.
- Опыт работы с stream и batch обработкой данных.
- Знакомство с kubernetes и опыт его использования в работе.
Будет плюсом:
- Python: у нас много кода на питоне, но уверенно идем к скала платформе.
- Опыт разработки инструментов контроля качества данных.
- Опыт работы с airflow.
- Опыт взаимодействия с Presto/Trino, clickhouse, cassandra, Scylla, GreenPlum.
Работа должна быть в удовольствие, поэтому:
- Стильное рабочее пространство рядом м. Кутузовская (буквально 5 минут от метро / МЦК) или удаленно.
- ДМС с первого рабочего дня.
- Компенсация обучения и митапов.
- Активно развивающийся HR-бренд.
- Ламповость и крутые корпоративы, а еще у нас есть вписки на концерты и мероприятия,
- Присоединившись к нам, ты сможешь принять участие в развитии продукта, которым пользуются миллионы.
- Банально, но факт: у нас белая зарплата и оформляем по ТК РФ.