Разработчик ETL

Прямой работодатель  Философия ИТ ( www.fil-it.ru )
Москва, Россия
Миддл • Сеньор
Аналитика, Data Science, Big Data • Hadoop • Банковская и страховая сфера
19 сентября
Работа в офисе
Опыт работы любой
Работодатель  Философия ИТ
Описание вакансии

Наша команда создает высоконагруженную информационную платформу для решения аналитических и исследовательских задач в области создания продуктов и услуг на мировых финансовых рынках: торговля валютой, ценными бумагами, производными финансовыми инструментами. Мы используем последние достижения в области Big Data, Highload и Machine Learning. 


Этот бизнес потребляет и порождает огромное количество данных, которые должны обрабатываться c целью:


- Разработки устойчивых потоков данных и моделей машинного обучения
- Визуализация данных с помощью BI инструментов;
- Поддержки регулярных бизнес-операций;
- Проведения Ad hoc анализа;
- Подготовки аналитической и управленческой отчетности


Вы сможете изнутри посмотреть, как работает глобальный финансовый рынок и получить опыт работы, востребованный в финансовых организациях по всему миру. Дополнительная информация: В деп-те загружают хранилище данных, которое основано на гринплане, Делают загрузку репликаций данных для того, чтобы модели машинного обучения могли создавать прогнозы . 2-е направление постановка модели машинного обучения на поток. Все хранится в гринплане. 
Модели написаны на питоне. Модели хранят свои прогнозы на гринплане.

 

Знание  ETL / ELT инструменты и оркестраторы:
• Informatica PowerCenter / IBM Datastage / Oracle Data Integrator / Talend Data Integration / Pentaho Data Integration / Apache Airflow / Apache Oozie;
• Один или нескольк инструментов от 2 до 3+ лет опыта работы;


Знание SQL / NoSQL / MPP базы данных: 
• MSSQL, PostgreSQL, Teradata, Oracle, GreenPlum, MongoDB, InfluxDB;
• Одна или несколько баз данных от 2 до 3+ лет опыта работы;
• Включая ANSI SQL, процедурный SQL, оптимизация SQL-запросов, транзакции, индексы, опыт работы с аналитическими(оконными) функциями;
• Включая знание сущностных отношений, 1NF, 2NF,  3NF, многомерного моделирования (star схема, snowflake схема, Data Vault), архитектур построения хранилищ;
Опыт работы с платформой Hadoop: Spark, Hive, Impala, Kafka;
Брокеры сообщений: 
• Kafka, IBM MQ, RabbitMQОт 1 до 2+ лет опыта работы;


Другие навыки:
• Git, Confluence, Jira, Jenkins
От 1 года опыта работы:
• Включая знакомство с ELK, Grafana, Openshift / Kubernetes
• Включая практику использования командной строки в Windows и Unix-системах
• Опыт работы с формальными методологиями разработки (Waterfall, Agile)
 

• Python

От 1 года опыта работы;

• Включая знакомство с Flask, FastAPI и общего понимания про ML/DL libraries, PySpark, TensorFlow.

 


Специализация
Аналитика, Data Science, Big DataHadoop
Отрасль и сфера применения
Банковская и страховая сфера
Уровень должности
МиддлСеньор
Загрузка формы отклика...

Еще интересные вакансии