Senior Data Engineer

Центр Орбита - ведущий разработчик цифровых решений, российская аккредитованная ИТ-компания.

Масштабный технологический проект с глубокой экспертизой в цифровизации бизнеса. Ключевые отрасли: государственный сектор, FinTech, HR Tech, коммуникации и медиа, услуги, рынок недвижимости, travel.Нам доверяют крупнейшие компании РФ, среди них: Т1, ВТБ, Иннотех, Альфа-банк, ОИС и другие. Более 6 лет мы ведем собственную продуктовую и заказную разработку высокоэффективных цифровых решений и сейчас находимся в поиске Data Engineer.

!ВРЕМЕННЫЙ ПРОЕКТ: длительность 6 месяцев, с перспективой продления.

Задачи:

Разработка и поддержка ETL-процессов:

• Создание и оптимизация скриптов для обработки данных с использованием Apache Spark и Apache Flink.
• Разработка временных решений для обработки данных, таких как расчет остатков и анализ открытых заказов.

Работа с потоковыми данными:

• Настройка и поддержка потоковой обработки данных с использованием Apache Kafka и Apache Flink.
• Интеграция потоковых данных с существующими системами.

Оркестрация задач:

• Настройка и управление workflows с использованием Apache Airflow для автоматизации ETL-процессов.
• Мониторинг и оптимизация выполнения задач.

Работа с облачной инфраструктурой:

• Развертывание и настройка инфраструктуры для обработки данных в Yandex Cloud.
• Использование Docker и Kubernetes (K8S) для контейнеризации и оркестрации сервисов.

Анализ и оптимизация запросов:

• Написание и оптимизация SQL-запросов для работы с большими объемами данных.
• Анализ производительности и устранение узких мест в процессах обработки данных.

Ожидания от кандидата:

• Опыт работы с Apache Spark, Apache Hive и Apache Airflow.
• Знание Python и опыт разработки скриптов для обработки данных.
• Опыт работы с SQL и оптимизацией запросов.
• Базовые знания Yandex Cloud и опыт работ.
• Опыт работы с Linux и настройкой окружения для обработки данных.
• Знание Docker и базовые навыки работы с Kubernetes (K8S).
• Опыт работы с потоковой обработкой данных (streaming).

Мы предлагаем:

• Удалёнка: работу из дома, из офиса в Москва-Сити или оплачиваемого коворкинга;
• Деньги: Белую ЗП всегда в рынке, оформление ТК РФ;
• Комфортный старт: 3 месяца плавного погружения под присмотром HR;
• Поддержка: ИТ-отсрочку и HR / юридические консультации 24/7;
• Культура: прозрачные процессы и открытую коммуникацию;
• Мощное железо: работу на лучших компах, мы не логируем время, у нас фокус на доверии и результате;
• ДМС: забота о здоровье за счет компании;
• Развитие: индивидуальный план обучения, конференции и митапы, мы помогаем развиваться и строить карьеру. Мы готовы способствовать карьерному росту - у нас есть возможности для профессионального развития в рамках подразделения разработки, в том числе в других ЮЛ группы компаний.
• Личный бренд: выступления на конференциях, митапах, написание статей;
• Бенефиты: ежеквартальное обновление корпоративных скидок;
• Движ: вечеринки оффлайн и онлайн, мерч, конкурсы и челленджи.