Middle+ Data Engineer

Вакансия: Middle+ Data Engineer
Формат: Удалённый (аутстафф)
Занятость: Полная
Локация и гражданство: строго РФ, РБ
Оформление: ИП, СМЗ, либо оплата криптовалютой USDT
Длительность проекта: от года
Оплата: 3000 - 3500$ net.

Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Middle+ Data Engineer для долгосрочного аутстафф-проекта в банковской сфере.

Проект по разработке решения для xbrl отчетности по форме 577-п от ЦБ.
Стек на проекте:
Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, Gitlab.

Задачи:
• Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку;
• Работать с общебанковской data-платформой (data lake, dwh);
• Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений;
• Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов;
• Развивать архитектуру данных и внедрять новые технологические решения и сервисы;
• Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.

Обязательные требования:
• От 3-х лет коммерческого опыта на аналогичной должности.
• Знание и опыт в банковской предметной области.
• Знание SQL на уровне оптимизации сложных запросов.
• Знание принципов работы классических и MPP-СУБД.
• Опыт разработки на Python и/или Java, Scala.
• Опыт оркестрации ETL-пайплайнов с помощью Airflow.
• Опыт работы с dbt.
• Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
• Опыт Apache Spark (Spark DataFrames, Spark SQL).
Будет плюсом:
• Опыт работы с Kafka, Trino.
• Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
• Знания и опыт CI/CD-практик и инструментов.

Условия:
• Удалённый формат работы.
• Полная занятость.
• Оформление по ИП, СМЗ, либо оплата криптовалютой USDT.
• Оплата 3000 - 3500$ net.