Senior Data Engineer

#вакансия #vacancy #data_engineer #DE #Senior #remote #fulltime

Вакансия: Senior Data Engineer
Формат: Удалённый
Занятость: Полная
Локация: любая
Гражданство: РФ
Оплата: 4000 - 4500$ net.

Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Senior Data Engineer для аустафф-проекта в банковской сфере.  

Задачи:
- Мигрировать процессы для отчетности и аналитики  и настраивать их регламентную загрузку.
- Работать с общебанковской data-платформой (data lake, dwh).
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений.
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов.
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы.
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.

Требования:
- Знание SQL на уровне оптимизации сложных запросов.
- Знание принципов работы классических и MPP-СУБД.
- Опыт разработки на Python и/или Java, Scala.
- Опыт оркестрации ETL-пайплайнов с помощью Airflow.
- Опыт работы с dbt.
- Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
- Опыт Apache Spark (Spark DataFrames, Spark SQL).
- Знание банковской предметной области.
Будет плюсом:
- Опыт работы с Kafka, Trino.
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
- Знания и опыт CI/CD-практик и инструментов.

Условия:
- Удалённый формат работы.
- Полная занятость.
- Гибкий график.
- Оформление по ИП, СМЗ.
- Оплата 4000 - 4500$ net.

Буду рад ответить на вопросы и ознакомиться с резюме: ​