Data Engineer (middle+/senior)
Rubbles
( www.rubbles.ru )
Аккаунт зарегистрирован с email *@sbdagroup.com
Опыт работы более 5 летдо 400 000 ₽
Мы в Rubbles занимаемся созданием Data Science-продуктов и разработкой аналитических решений для различных индустрий: системы предсказания спроса на товары для оффлайн-ритейлов, рекомендательные системы в банках, поисковые системы по товарам для онлайн-ритейлеров и многое другое. Среди наших клиентов: Сбербанк, Пятёрочка, KFC, Перекрёсток, Альфа-Банк, МВидео и др.
Мы находимся в поиске Data Engineer уровня middle+ или senior для усиления нашего продуктового направления по разработке платформы прогнозирования спроса и товарооборота в ритейле. Сейчас в команде 5 технических специалистов (data scientists, system analysts, разработчиков), и мы планируем увеличить её вдвое. Мы ищем человека, который взял бы на себя задачи по организации потоков данных в рамках разрабатываемой платформы, оптимизацию систем хранения и обработки с использованием современных программных продуктов и подходов, а также привнес свою экспертизу в общее дело и помогал коллегам в повышении культуры работы с данными в целом.
Обязанности:
- Разработка и поддержка промышленных пайплайнов обработки данных и машинного обучения на Python и Spark с использованием популярных фреймворков (Airflow, Prefect, Airbyte и т.д.), а также собственных разработок;
- Разработка коннкеторов к системам-источникам данных и системам-потребителям;
- Организация потоков данных в рамках микросервисной архитектуры платформы;
- Разработка схемы данных компонентов платформы в едином информационном поле;
- Работа над оптимизацией систем хранения (Clickhouse, PostgreSQL, Redis);
- Настройка и поддержка интеграционной шины данных на базе Kafka;
- Поддержка data scientist’ов и аналитиков данных (также работают на Python) в задачах разработки;
- Код ревью коллег;
- Обучение проектных команд в работе с компонентами разрабатываемой платформы.
Минимальные требования:
- Опыт промышленной разработки на Python от 3х лет;
- Опыт работы с популярными ETL фреймфорками (Airflow, Prefect, Airbyte и т.д.) от полугода, практический опыт в создании сложных пайплайнов;
- Опыт работы с MPP – системами и с колоночными хранилищами данных;
- Опыт разработки схемы данных, знание основных методологий построения хранилищ данных;
- Участие в строительстве DWH в роли разработчика;
- Опыт разворачивания, настройки мониторинга и передача на поддержку разработанных решений;
- Умение работать с командной строкой Linux/MacOS;
- Умение вести проекты в Git.
На что ещё смотрим:
- Знакомство со Spark;
- Знания Java/Kotlin;
- Опыт Devops (Docker, Kubernetes, Gitlab-CI, настройка окружения на серверах и др.);
- Опыт разработки сервисов (Flask, Django, Asyncio и др.);
- Опыт работы со Streamsets/NiFi.
У нас:
- Участие в интересных проектах на перспективном AI рынке;
- Удаленная работа при желании;
- Необходимая техника для работы при желании;
- Возможность участия в различных интересных проектах в рамках компании, если вдруг заскучал;
- Поддержка кандидата в профессиональном и карьерном росте;
- Совместная работа с опытными разработчиками, аналитиками данных, менеджерами, продуктологами;
- Гибкий график работы;
- Оформление полностью белое по ТК РФ;
- ДМС (включая стоматологию) после прохождения испытательного срока;
- Офис в центре Москвы (2 минуты от м. Сухаревская) со всем необходимым для комфортной работы.