Дата инженер

Российская корпорация — лидер комплексных услуг на рынке промышленных закупок и логистики.

вакансия Дата Инженер

Мы используем в работе цифровые инструменты и сервисы, направленные на повышение эффективности управления производством, цепями поставок и контроля качества. Некоторые решения предприятия сегодня доступны для всего рынка – совместно с партнерами развивает экосистему цифровых сервисов для промышленности E-Commerce 

Мы обеспечиваем бесперебойную работу крупных предприятий и меняем подход к промышленному снабжению, внедряя в процессы инновации.

Чем предстоит заниматься:

- Решать задачи, связанные с подготовкой данных для создания моделей машинного обучения;

- Разрабатывать и развивать хранилище датасетов.

Обязанности

-Разработка модели данных на уровне хранилища;

-Реализация схем загрузки и трансформации данных, потоков данных ;

-Выявление проблем в проектировании БД и участие в их решения;

-Выполнение разовых выгрузок из БД и ad-hoc аналитики;

-Создание конвейера сбора и обработки данных для ML;

-Написание тестов и скриптов трансформации (SQL, Python);

-Настройка цепочки SQL-запросов и подготовки данных для BI - агрегация и расчеты аналитических показателей;

-Разработка и поддержка в актуальном состоянии документацию по разработанному функционалу

Требования:

-Аналогичный опыт работы от 2 лет

-Знание SQL (Postgres)

-Опыт разработки на Python для интеграции и обработки данных

-Опыт построения ETL-процессов, понимание как  тестировать и проверять;

-Опыт работы с качеством данных (очистка данных, процедуры Data Quality);

-Опыт работы с AirFlow, Dagster, dbt будет плюсом

Наш стек:

СУБД - postgreSQL;

ELT - dagster (EL) + dbt (T)

MLOps - clearML