Разработчик / программист (сбор данных, парсинг)
Прямой работодатель Evolwe ( evolwe.ai )
Миддл • Сеньор
27 ноября 2023
Удаленная работа
Опыт работы от 3 до 5 лет
Опыт работы от 3 до 5 лет
Короткая ссылка: gkjb.ru/hcYe
Описание вакансии
Evolwe - IT стартап, создающий технологию эмпатичного искусственного интеллекта, расширяет команду и ищет опытного специалиста по парсингу данных.
🚀Evolwe это:
- Платформа искусственного интеллекта, запущенная в июле 2022 года, с собственным технологическим решением распознавания профиля и эмоционального состояния пользователя.
- Международный продукт, полная географическая свобода, удаленная работа.
- Команда занимается исследованиями, развитием передовых решений в области AI и состоит из экспертов с опытом работы в Google, DoorDash, Chatfuel и Alibaba.
- Компанией руководит основатель с 15-летним опытом создания и успешного развития международных стартапов.
- Компания представляет собой комбинацию IT стартапа (веб-платформы), и исследовательской группы (психологи, лингвисты, математики и data scientists).
Основные задачи:
- Разработка парсера для извлечения информации с информационных сайтов, специализированных каталогов и социальных сетей (LinkedIn, Facebook, Twitter, Instagram и др.).
- Интеграция парсера в наше приложение.
- Работа с API социальных сетей и авторизация через логин/пароль.
- Использование прокси-серверов для доступа к социальным сетям.
- Обход Captcha и сервисов вроде Cloudflare.
- Предоставление структурированной информации через REST API.
Требования:
- Опыт парсинга открытых источников (в том числе: headfull- и headless-парсинг, парсинг js-driven-сайтов на React/Angular/Vue/etc, парсинг сайтов на CDN, в т.ч. защищенные Cloudflare);
- Обязателен опыт работы с Puppeteer/Selenium;
- Умение работать с Docker-контейнерами.
- Опыт работы с социальными сетями.
- Опыт работы с REST API.
- Желание проектировать решения нестандартных задач и реализовывать их;
- Возможные инструменты разработки: Selenium, Playwright, Puppeteer и т.п.
Преимущества:
- Знание методов обхода блокировок при парсинге данных.
- Опыт работы с контейнеризованными серверами и прокси-сервисами.
Мы предлагаем:
- Частичная занятость, гибкий график работы;
- Полностью удалённая работа;
- Щедрый обмен знаниями и опытом;
- Адекватное руководство, не бюрократический подход в обсуждении рабочих процессов;
- Уровень заработной платы финально определяем с успешным кандидатом.