Backend Engineer (Python / парсинг соцсетей / LLM)

Backend Engineer (Python / парсинг соцсетей / LLM)

Мы собираем и классифицируем тренды в нишах по соцсетям. Система парсит контент площадок, размечает его по тематикам и форматам через LLM и отдает результат в контент-планы экспертов.

Сейчас модуль работает на сторонних платных сервисах, запускается вручную и считает нишу несколько дней из-за лимитов на выгрузку. Задача инженера — перевести его на собственные парсеры и автоматический запуск, расширить список площадок и снизить стоимость прогона до близкой к нулю.

Проект находится на стадии MVP. Первые эксперты должны начать пользоваться продуктом в августе 2026 года, первые клиенты ожидаются ориентировочно в сентябре. Бэклог на следующие 6–12 месяцев ещё формируется, поэтому задачи и приоритеты будут уточняться по мере тестирования продукта.

Задачи

1. Писать и поддерживать парсеры соцсетей: Instagram*, TikTok, Threads, дальше Facebook*, X и другие площадки
2. Уходить со сторонних платных сервисов на Apify и затем на собственные решения, контролируя стоимость прогона
3. Сделать автозапуск пайплайна: расписания, очереди, ретраи, мониторинг и оповещения о сбоях
4. Классифицировать контент через LLM: тематики, форматы, признаки тренда
5. Собирать и вести пайплайны обработки на LangGraph или LangChain
6. Сравнивать модели по качеству и цене и переводить разметку на более выгодную
7. Проектировать хранение и витрины данных, из которых собираются контент-планы
8. Держать систему живой при изменениях на стороне площадок

Задачи приходят не как готовые технические задания, а как описание процесса и ожидаемого результата. Инженеру нужно самостоятельно уточнить ограничения, сравнить варианты реализации и выбрать решение, подходящее для текущего масштаба, а не для гипотетического.

Команда

Инженер будет работать напрямую с Product Manager и fullstack-инженерами платформы, которая потребляет данные трендвотчинга. CTO, отдельного архитектора и DevOps в команде пока нет, поэтому сотрудник должен самостоятельно принимать технические решения и доводить задачи до production.

Расширение технической команды планируется позднее.

Стек

Backend: Python, FastAPI, асинхронные процессы, очереди, планировщики, внешние API.
Парсинг: собственные парсеры, Apify, headless-браузеры, работа с прокси и лимитами.
LLM: Gemini API, Anthropic и сопоставимые провайдеры, LangGraph, LangChain, структурированный вывод.

Данные и инфраструктура: PostgreSQL, S3-совместимое хранилище, Railway, Git.

Стек обсуждаем: инженер может предложить другие инструменты, если они лучше подходят под задачи продукта.

Что важно

1. Коммерческий опыт разработки от пяти лет и работа на senior-уровне
2. Сильный Python и опыт запуска production-приложений
3. Промышленный опыт парсинга соцсетей: пагинация, лимиты, прокси, устойчивость к изменениям на стороне площадки
4. LangGraph или LangChain — обязательно, с production-опытом, а не только в прототипах
5. Практический опыт с Gemini API и другими моделями, умение сравнивать их по качеству и стоимости
6. Классификация и разметка контента через LLM, структурированный вывод, контроль качества результата
7. Работа с очередями, расписаниями, ретраями и идемпотентностью длительных процессов
8. Уверенное знание PostgreSQL и проектирование схем под аналитические данные
9. Контроль стоимости: понимание, из чего складывается цена прогона, и умение ее снижать
10. Понимание правовых ограничений и правил площадок, готовность обсуждать риски до реализации

AI-инструменты

В ежедневной разработке используем Claude Code для работы с кодовой базой, проверки гипотез и ускорения реализации.

Инженер должен понимать и проверять сгенерированный код, замечать ошибки и отвечать за качество итогового решения. Опыт с Claude Code будет преимуществом, но подойдет и системная работа с Cursor, GitHub Copilot, Windsurf или другими AI-инструментами.

Будет плюсом

— Apify, Playwright, Puppeteer
— Оценка качества LLM-систем: наборы тестов, метрики, регрессии на изменение промтов
— Эмбеддинги, кластеризация, векторный поиск
— Аналитика соцсетей и работа с метриками вовлеченности
— Data engineering: ETL, аналитические хранилища, ClickHouse
— Обработка видео и изображений, мультимодальные модели

Условия

— Полная занятость
— Удаленная работа
— Основной язык команды — русский
— Рабочее пересечение по часовым поясам с основной командой
— Формат оформления и уровень дохода обсуждаются индивидуально

* Facebook и Instagram принадлежат компании Meta, которая признана экстремистской организацией и запрещена в РФ.