Data Engineer / Инженер данных

На данный момент Data Engineer / Инженер данных.

Мои компетенции и опыт

- Перенёс скрипты из cron в Airflow, провёл их рефакторинг и оптимизацию, что значительно повысило стабильность и скорость выполнения задач.
- Построил ETL-процессы в Airflow для ежедневной генерации аналитических отчётов по продажам и остаткам, интегрируя данные из PostgreSQL (заказы сайта), 1С (складские остатки) и Excel-отчётов.
- Внедрил механизмы контроля качества данных на всех этапах ETL, благодаря чему количество инцидентов по ошибочным данным снизилось с 30–40 до менее 5 в месяц.
- Реализовал сбор данных о конкурентах через REST API, что стало основой для алгоритма динамического ценообразования.
- Оптимизировал SQL-запросы в хранилище данных (DWH), что ускорило время обновления витрин до 5 раз.
- Разработал систему парсинга товаров конкурентов (Python, Requests, cURL, прокси) с полным обходом Cloudflare/Akamai. Автоматическое добавление до 500 тыс. новых позиций расширило ассортимент на сайте и помогло снизить потери продаж из-за отсутствующих товаров.

Технический стек: Python, Apache Airflow, SQL, Greenplum, Clickhouse, PostgreSQL, REST API, cron, Cloudflare (CF), Akamai, DBeaver, MS Visual Studio, PyCharm, Burp Suite, Git, Jupyter Notebook, MS Excel, BeautifulSoup (BS4), requests, curl_cffi, selenium, Jira, pandas, lxml, logging, Linux, bash.