Data Architect Архитектор Данных

Наш успешный кандидат:

•  Умеет разрабатывать, тестировать и описывать интеграции;

•  Хорошо знаком с разработкой SQL скриптов, витрин данных;

•  Имеет опыт разработки REST API  (знание gRPC будет плюсом);

•  Понимает и умеет строить ETL процессы;

•  Знает Apache NiFi, Airflow и умеет применять;

•  Опыт работы в крупных ИТ организациях на схожих позициях (главный архитектор данных, руководитель подразделения аналитики) от 3 лет

• Опыт работы с решениями и Open Source фреймворками Big Data: (Hadoop, Cassandra, Scala, Spark, Hive и пр.);

• Знание современных колоночных БД, in-memory DB;

• Знание SQL, Python и опыт работы с различными СУБД, реляционными и нереляционными (Vertica, Greenplum, Impala/Hive, Hbase, Oracle, MySQL, PostgreSQL, Clickhouse, Elastic, Mongo и пр.);

• Навыки проектирования и реализации системы сбора и обработки данных;

• Отличное знание математики: теория вероятностей и мат. статистика, методы оптимизации, алгоритмов и структур данных;

• Понимание основных концепций машинного обучения;

• Навыки работы с большими объемами данных.

Будет плюсом:

•  Опыт интеграции с MES системами (АСУП, АСУТП);

•  Знание ПО Meridium, SAP ERP, SAP BW;

•  Опыт работы с решениями из стэка компании (Vertica, HBase, Hive, Impala, PostgreSQL, Spark, NiFi, Kafka, ELK, ClickHouse);

•  Знание терминологии нефтехимического производства и охраны труда.

Задачи:

• Основная работа предстоит с Озером Данных Vertica;

• Разработка структур данных, создание новых таблиц, представлений;

• Создание интеграционной схемы с витринами ключевых источников данных, ролевой модели доступа к данным;

• Создание скриптов по расчету и наполнению метрик дашбордов (50-60 метрик) новыми показателями (метрики будут описаны технологами и бизнес-аналитиками)