⚠︎ Архивная вакансия
Эта вакансия была перемещена в архив. Возможно она уже не актуальна и рекрутер больше не принимает отклики на эту вакансию. Вы можете
найти актуальные похожие вакансии
Data engineer
Прямой работодатель Сбер ( sberbank.ru )
Москва, Россия
Миддл
26 января 2021
Работа в офисе
Опыт работы от 1 года до 3х лет
Опыт работы от 1 года до 3х лет
Короткая ссылка: gkjb.ru/hSOT
Описание вакансии
Мы ищем Data engineer в команду «Новостной мониторинг», занимающуюся анализом СМИ.
Обязанности
- Реализовывать пайплайны обработки данных - как пакетной так и потоковой
- разработка и тестирование (функциональное, интеграционное) модулей системы, расширение функционала существующих
- участие в разработке систем сбора, обработки, обогащения и хранения данных
Требования
- опыт коммерческой разработки 1-3 года
- Python3 (уверенные знания), библиотеки тестирования (pytest)
- базовые знания стека Hadoop (HDFS, YARN, Spark, Hive)
- опыт использования хотя бы одного из инструментов (Apache Nifi, Oozie или Airflow, luigi)
- базы данных: PostgreSQL
- опыт администрирования unix-систем
- опыт работы с Docker/docker-compose
- математический бэкграунд и широкий кругозор в сферах технологий, платформенных решений, IT-инфраструктур
- коммуникабельность и умение работать в команде
Плюсом будет
- понимание работы Elasticsearch, Kafka, RESTful
- опыт работы со Spark (DataFrame API, Spark SQL)
По вопросам о компании и вакансии пишите в почту
yvchuyko@sberbank.ru.
Так же вы можете:
• написать в Telegram: @july_chu
Так же вы можете:
• написать в Telegram: @july_chu