Middle Data Engineer

На данный момент Data Engineer.

Мои компетенции и опыт

Шереметьево, Международный Аэропорт:

- Организовала миграцию существующих ETL-процессов с Pentaho Data Integration на Python для уменьшения скорости загрузки данных в 2 раза.
- Разработала и внедрила систему сбора метаданных для входящих и исходящих данных потоков, что значительно повысило прозрачность процессов обработки информации.
- Оптимизировала SQL запросы.
- Проектировала ETL-процессы в Apache NiFi, Pentaho Data Integration, Python (Airflow).
- Разрабатывала и поддерживала near real-time пайплайны (SLA 10 секунд).
- Разрабатывала витрины данных и агрегирующие таблицы.
- Настраивала роли и разграничивала доступа к витринам.
- Занималась построением аналитических дашбордов в Power BI и операционных дашбордов в Grafana. Самостоятельно собирала требования к дашбордам у заказчиков.

Стек: Python, SQL, PostgreSQL, Apache NiFi, Airflow, Pentaho PDI, Kafka (инфраструктурно), Power BI, Grafana, Linux, Git, S3/MinIO.