Data Engineer (AI Driving Data)

У команды SberAutoTech есть цель, и это – революция в мире автопрома в самом ближайшем будущем. Нам срочно нужны единомышленники!

Мы осознаем, что прорыв всегда делает меньшинство, потому что не все готовы рискнуть творить историю и двигать вперед целую индустрию. Общающиеся между собой автомобили, сервисы и приложения, беспилотный транспорт и электрокары – это даже не будущее, а настоящее! Следующий шаг – сделать такие автомобили обычным явлением в нашей жизни.

Если интересны технологии на стыке автопрома и интернета, если мечтаешь быть причастным к созданию чего-то нового и масштабного – присоединяйся к нашей команде.

Мы ищем Data Engineer~a (Python && ETL), который поможет нам вывести работу с большими данными на новый уровень. Результаты твоей работы будут напрямую влиять на скорость развития беспилотной технологии.

Наш стек:

Spark/Spark Structured Streaming, SQL, Python, Hadoop.

Проект:

AI Driving Data - одно из перспективных наших направлений.

Тебе предстоит организовать обработку данных, которые генерируют наши беспилотники, а также участвовать в создании хранилища для этих данных.

Классы задач, которые необходимо будет выполнять:

• Участие в проектирование и разработке ETL пайплайнов для Spark/Spark Structured Streaming;
• Расчет требуемых ресурсов для Spark джобов, оптимизация нагрузки на кластер;
• Разработка новых и оптимизация действующих Spark SQL запросов, в том числе Spark Structured Streaming queries;
• Обеспечение качества данных в хранилище, построенном на базе Hadoop HDFS;
• Взаимодействие с ML специалистами в процессах построения витрин данных/инструментов для работы с данными.

Что мы ждем от кандидата:

• Опыт разработки на Python от 3х лет;
• Опыт создания и поддержки ETL-процессов;
• Способность писать чистый и понятный код, покрытый тестами;
• Знание алгоритмов;
• Понимание модели MapReduce.

Будет плюсом++

• Опыт работы с Airflow/  Dagste, с Kafka, опыт разработки на C++/Scala;
• Опыт проектирования и разработки распределенных отказоустойчивых систем.

Мы ценим своих сотрудников и предлагаем:

• Конкурентные условия труда (белая заработная плата, оклад, премии);
• Курсы повышения квалификации несколько раз в год;
• Возможность посещения (как в качестве слушателя, так и в качестве выступающего) всероссийских и международных IT-конференций (когда снова станет можно);
• ДМС для сотрудников и скидки на медицинскую страховку для родственников;
• Работа в команде профессионалов, возможность разрабатывать уникальные и крупные проекты масштаба нашей страны;
• Большой и комфортный офис со спортзалом, кинозалом, библиотекой, столами для пинг-понга, кафе для сотрудников;
• Льготное кредитование в Сбербанке – возможность пользоваться премиальными продуктами Банка на специальных условиях.