Python AI Engineer / LLM Application Developer
Белград, СербияМиддл • Сеньор
Удаленная работа • Частичная занятость
Опыт работы более 5 лет250 000 ₽
Опыт работы более 5 лет250 000 ₽
Короткая ссылка: gkjb.ru/ggnJ
О себе
На данный момент Python AI Engineer / LLM Application Developer.
Мои компетенции и опыт
Обо мне
Python / AI Engineer с 5 годами опыта в разработке масштабируемых бэкенд-систем и проектировании LLM/Agentic решений. Специализируюсь на создании автономных AI-агентов (Tool Calling, MCP, Multi-Agent), Context Engineering, ETL-пайплайнах для RAG/Text-to-SQL (DuckDB, Parquet, PII-деперсонализация) и интеграции Open-Source LLM (vLLM, Ollama) в production-контуры, включая голосовые real-time агенты и инференс на устройстве.
Навыки | Стек
- AI & LLM Stack: LangGraph, LangChain, LlamaIndex, Claude API (Tool Use, Sub-agents), OpenAI API, Anthropic MCP (Model Context Protocol), Structured Outputs (Pydantic / Instructor), Context Budgeting & Compression, Prompt Guardrails, Prompt Engineering.
- RAG & Data / Search: RAG, pgvector, DuckDB, Apache Parquet, PostgreSQL, Redis, Pandas, Text-to-SQL, ETL/ELT pipelines
- Inference, Serving & Fine-tuning: vLLM, Ollama, Hugging Face Transformers, quantization, ONNX Runtime, Core ML / Neural Engine, on-device / edge inference, PEFT (LoRA / QLoRA), дистилляция, Open-Source LLMs
- Speech & Voice AI: ASR, TTS, VAD (Silero, Smart Turn), streaming, barge-in, Pipecat / LiveKit Agents / OpenAI Realtime API, Twilio, WebRTC
- Evals, Safety & Observability: eval-наборы, LLM-as-judge, Ragas, Prompt Guardrails, PII Masking / Anonymization, zero retention, COPPA / GDPR / EU AI Act, Pytest, LangSmith, OpenTelemetry, Grafana
- Backend & Infrastructure: Python (AsyncIO), FastAPI, Django, Golang, Celery, FastStream, Redis Streams, Docker, CI/CD, Linux, WebSockets, SSE, REST, gRPC, AWS (CodeBuild, ECR, ECS), Git
Опыт работы
AI Engineer | WhyWave ( нужен доступ к резюме ), Белград Май 2026 – н.в.
Адаптивный голосовой ИИ компаньон для детей 3–5 лет. Real-time voice-to-voice, on-device инференс, англоязычные рынки.
Backend
- Прототипирую и замеряю на Python (AsyncIO, Hugging Face, pytest)
- Проектирую сервис реального времени. Потоковая передача аудио (WebSocket / WebRTC), состояние сессии, граница on-device / cloud.
AI engineering
- Проектирую диалогового агента как граф состояний. А именно ветвление по темам, tool calling к памяти и родительским настройкам, structured outputs (Pydantic)
- Память о клиенте между сессиями как retrieval-слой (профиль и усвоенные темы вместо полной истории), embeddings, гибридный поиск, context budgeting под контекст модели на устройстве
- Контур on-device инференса: ONNX Runtime, Core ML / Neural Engine, квантование INT8 / INT4 (GGUF), бюджет памяти и TTFT для подсекундного ответа
- Так же работаю над мультиязычным голосовым конвейером: распознавание (Whisper, Moonshine), определение конца реплики (Silero VAD, Smart Turn), синтез (Kokoro), потоковая выдача и обработка перебивания (barge-in); оркестрация Pipecat / LiveKit Agents / OpenAI Realtime API
- Отвечаю за дообучение малых моделей под детскую речь. Корпуса MyST, OGI Kids, CMU Kids, LoRA / QLoRA (PEFT, Transformers); приёмка по WER на целевой возрастной группе, eval-набор сценариев и LLM-as-judge при смене промпта или модели
- Проектирую guardrails и приватность для родительской политики границ по темам, классификация темы и уровня объяснения (structured outputs), модерация ответа, защита от prompt injection, PII masking и zero retention (COPPA, GDPR, EU AI Act)
Стек: Python (AsyncIO), pytest, PEFT (LoRA / QLoRA), ONNX Runtime, Core ML / Neural Engine, , Whisper, Moonshine, Kokoro, Pipecat, LiveKit Agents, OpenAI Realtime API, WebRTC, WebSocket, Pydantic
AI / Python Engineer | OKTEND, Белград
Август 2022 – Июнь 2024 | Октябрь 2024 – Апрель 2026
Международная компания по разработке программных продуктов, работающая по полному жизненному циклу от идеи и архитектуры до внедрения в production и долгосрочной поддержки.
1. Moreapart. SaaS управления апартаментами (более 5000 апартаментов)
Backend
- Спроектировал backend архитектуру и бизнес логику PMS: RBAC, state machine задач, real-time обновления (SSE), интеграция TravelLine API; PostgreSQL, Redis, Celery, Docker
- Построил ETL-пайплайн и корпоративную базу знаний: PII masking, DuckDB + Parquet, паспорта данных и views для Text-to-SQL. Расход токенов −60 %, галлюцинации схемы БД исключены
AI engineering
- Разработал автономных бизнес агентов (Financial Analyst, Revenue Manager) на Claude API и tool calling; self-hosted инференс vLLM + Qwen-2.5 / Llama-3.1 на собственном железе; RAG чат и проактивный брифинг (task summarization) с потоковым ответом
- Реализовал встроенного ассистента с событийной памятью: темпоральный граф знаний поверх потока событий приложения. FastStream + Redis Streams, LangGraph, pgvector, structured outputs, OpenTelemetry; чтение памяти не стоит ни одного вызова модели
- Выстроил агентную петлю с guardrails и оценкой: валидация ходов, гибридный retrieval, потолки по шагам, вызовам и бюджету.
Стек: Python (AsyncIO), FastAPI, LangGraph, FastStream, Redis Streams, PostgreSQL + pgvector, DuckDB, Parquet, Celery, Claude API, vLLM, OpenTelemetry, Docker
2. Voice AI | ShareSMS. ИИ-поддержка и SMS-платформа телеком-брендов
Backend
- Спроектировал модель данных звонков и транскриптов, мультиарендность (маршрутизация и конфигурация агента); contract-first OpenAPI с кодогенерацией
- ShareSMS. мигрировал БД со ScyllaDB на PostgreSQL, увеличив производительность; провёл рефакторинг монолита в микросервисы (Golang, gRPC)
AI engineering
- Разработал голосового ассистента поддержки: Twilio и Ultravox (WebRTC), real-time STT (Whisper) и TTS (ElevenLabs), маршрутизация контекста диалога в LLM-агент
- Построил RAG контур на базе знаний бренда (тарифы, условия, инструкции): чанкинг, эмбеддинги, гибридный поиск (BM25 + векторный) с реранкером на pgvector. Агент отвечает по документам бренда, а не по памяти модели; политика и набор инструментов подбираются по бренду и каналу
- Обучал агента на собственных данных: датасет из транскриптов реальных диалогов (деперсонализация, разметка, дистилляция от сильной модели), дообучение LoRA / QLoRA (PEFT) под задачу и Whisper под телеком лексику (номера, коды стран, названия тарифов)
- Выстроил оценку и ограждения: эталонный набор диалогов, Ragas (faithfulness, hallucination rate) и LLM-as-judge в CI, метрики доли диалогов без оператора и точности tool calling; защита от промпт инъекций и редакция ПДн до отправки во внешние модели
Стек: Golang, Python, PostgreSQL + pgvector, Redis, WebRTC, WebSockets, Twilio, Ultravox, Whisper, ElevenLabs, PEFT / LoRA, Ragas, OpenAPI (oapi-codegen), gRPC, ScyllaDB, AWS (CodeBuild, ECR, ECS), Docker
3. HashMenu. Агрегатор рыночных предложений вычислительного оборудования
- Разработал сервис агрегации и анализа рыночных предложений: автоматический сбор с площадок, дедупликация позиций, сравнение цен
- Внедрил NLP пайплайн очистки сырых объявлений: нормализация и токенизация текста, признаки TF-IDF и n-граммы, классификация позиций (Random Forest), извлечение сущностей (модель, характеристики, цена, продавец) и приведение к единому справочнику, на выходе предложения сопоставимы между площадками
Стек: Python, NLP, Scikit-learn, Django, DRF, PostgreSQL, Redis, Cron, REST
Стажер разработчик / Data & ML Intern | Яндекс, Москва | AntiADblock Июль 2024 – Сентябрь 2024
Международная bigtech компания с выручкой более 1 трлн рублей, предоставляющая поисковую систему, карточные сервисы, сервисы e-commerce, такси, доставку, облачные решения, AI и т.д.
- Разработал эвристические и ML-алгоритмы для автоматического анализа потока аномалий и алертов системы обхода блокировок: построение diff-матриц временных рядов и выявление регрессий до деплоя в prod
- Автоматизировал валидацию конфигураций и классификацию типов входящего трафика партнерских ресурсов с помощью правил и предиктивных моделей на Python
Стек: Python, Pandas, Scikit-learn, Pytest, SQL, Flask
Data / GIS Developer (Стажер) | КБ Стрелка, Москва Февраль 2022 – Май 2022
Главный в России исследовательский институт специализирующийся на стратегическом консалтинге и планировании развития городов.
- Разработал алгоритм пространственного анализа и гео-классификации туристических локаций на основе анализа метаданных фото и данных OpenStreetMap (>10 тыс. пользователей)
- Масштабировал пайплайн обработки геоданных на все регионы РФ
Стек: Python, Pandas, PostgreSQL, OSM API
Образование
Московский государственный строительный университет | Москва | Факультет промышленного гражданского строительства | Инженер | 2014 г.
