Senior Data Engineer

Привет!

Мы компания QUADCODE, разрабатываем трейдинговую SaaS-платформу для клиентов по всему миру.

Сейчас мы в поиске SENIOR DATA ENGINEER в команду DATA PLATFORM. Команда DATA PLATFORM обеспечивает интеграцию всех данных на нашей платформе и разрабатывает фунционал, позволяющий другим командам развивать в компании data-driven подход. Внутри команда делится на 2 направления — стратегическое и операционное. Стратегическое направление занимается развитием функционала платформы. Операционное — реализацией запросов бизнеса. Описанная вакансия подразумевает работу в стратегическом направлении.

СТЕК КОМАНДЫ:

• Greenplum/Hadoop/Clickhouse в качестве ядра обработки данных и множество дополнительных БД (Redis, Cassandra, PostgreSQL, MySQL);
• собственные решения на базе Apache Airflow и Apache Flink в качестве инструментов трансформации данных для аналитиков.

БУДУЩИЕ ЗАДАЧИ:

• внедрение и развитие культуры написания оптимальных запросов;
• консультирование внутренних команд разработки по ETL-процессам;
• автоматизация рабочих процессов;
• развитие стратегических аспектов DWH (data governance, data lineage, metadata, data security);
• исследование и внедрение новых технологий (R&D) для решения стратегических бизнес-целей компании.

НАШИ ОЖИДАНИЯ ОТ КАНДИДАТА (общий опыт работы с большинством технологий от 3-х лет):

• Airflow;
• DBT;
• Clickhouse;
• опыт работы с разными СУБД (PostgreSQL/Oracle/MySQL/Redis/Cassandra);
• опыт работы с MPP-системами (Greenplum/Teradata/Snowflake);
• Kafka;
• Ansible;
• опыт работы с терминалом;
• Shell programming;
• Linux knowledge;
• Python;
• SQL (PL/pgSQL);
• Git;
• понимание теории СУБД и ETL-процессов (ACID transactions, Normalization, CAP theorem, OLTP vs OLAP, Horizontal vs Vertical scaling, Dimensional modeling);
• понимание принципов работы и применимость разных структур данных и алгоритмов.

БУДЕТ ПРЕИМУЩЕСТВОМ:

• LDAP (Open LDAP/Active directory);

GitLab CI/CD;

• Tableau;
• Cassandra;
• Apache Flink;
• Apache Hive;
• Apache Hadoop;
• Apache Presto;
• Apache Spark;
• Prometheus;
• Grafana.

Эта вакансия для кандидатов, готовых к релокации на Кипр после прохождения испытательного срока.

УСЛОВИЯ:

• Удаленка, работу из офиса или гибридный формат;
• Полностью белую ЗП;
• ДМС со стоматологией и страховка путешественника;
• Компенсация обедов;
• Разные мастер-классы, например, летом учились управлять яхтой;
• Оплата обучения: от Нетологии до Гарварда;
• Уроки английского языка;
• Технические вызовы, так как готовимся к IPO.