Data engineer

3Logic Group- российская многопрофильная IT компания. Более 19 лет на рынке. Крупнейший дистрибьютор комплектующих и вычислительной техники. Свой научно-технический центр, производство вычислительной техники собственной разработки, оснащение игровых клубов IT-инфраструктурой.

Мы - единственный российский постоянный резидент
всемирной выставки Computex и первый зарегистрированный производитель компьютеров в России в реестре радиоэлектронной продукции.

Нам в команду по управлению данными и корпоративной автоматизации нужен специалист для создания оптимальных процессов обработки, хранения и миграции данных. 

Целевые задачи:

• Развитие и поддержка ETL инструментов (Airflow, Kafka, NiFi, etc)
• Рефакторинг и поддержка legacy скриптов/роботов/выгрузок стэк: Python, MSSQL, PostgreSQL, MySQL, etc
• Внедрение инструментов контроля качества данных/потоков данных/мониторинга обработки данных
• Выявление узких мест и оптимизация процессов загрузки и преобразования данных
• Участие в проектировании DWH

Необходимые знания и навыки:

• ETL инструменты, Python - чтение/написание скриптов, диалекты SQL не ниже middle уровня;
• Опыт работы с различными движками баз данных в части SQL
• Опыт работы в построении data pipeline инструментами Luigi/Airflow/NiFi/Kafka или их аналогами
• Понимание плюсов и минусов в разных подходах моделирования хранилищ данных ("звезда", DataVault, Anchor modeling)

*Будет плюсом, но не обязательно:

• Понимание:

проектирования слоев хранилища;

сущностей и их предназначения: stage/core/datamart;

архитектуры колончатых баз данных, их плюсы и минусы;

• Администрирование SQL баз хотя бы на уровне создания пользователей/распределения прав доступа; индексации таблиц/мониторинг активности

Условия:

• Официальное оформление с первого рабочего дня;
• Полностью белая заработная плата;
• Работа с лучшими экспертами в IT отрасли;
• Интересные и разнообразные задачи;
• График 5/2, пн-пт с 10:00 до 19:00, при необходимости можно сдвинуть график;
• Новый, уютный офис -1 минута от метро Киевская ), в котором есть все, для комфортной работы и отдыха;
• Различные корпоративные программы и активности.