Начните с scrapy + BeautifulSoup для парсинга публичных страниц (с разрешения и с учетом robots.txt). Пример:
def scrape_amazon(url):
response = requests.get(url, headers={'User-Agent': 'Mozilla/5.0'})
soup = BeautifulSoup(response.content, 'html.parser')
price = soup.find('span', class_='a-price-whole')
return float(price.text.replace(',', '').replace('$', '')) if price else None
Но помните: согласно OWASP Top 10, парсинг без авторизации — риск юридической ответственности. Лучше использовать Google Shopping API или PriceAPI.io (бесплатный тариф до 1000 запросов/день).
Не используйте только R² — он не учитывает систематические смещения. Стандарт ISO/IEC 25010 требует: MAE ≤ 1% от средней цены, RMSE ≤ 2%, MAPE ≤ 5%. При этом добавьте OpenTelemetry для сбора метрик в реальном времени: metric.add({price_diff: value}, {model_version: "v1"}).
ГОСТ не запрещает ML — но требует:
• Функциональные требования: «Модель должна корректно обрабатывать 99.9% запросов с ошибкой < 0.5$»;
• Требования к надёжности: «При отказе внешнего API — система переходит на кэшированные данные с задержкой < 5 сек»;
• Документация: включить C4-диаграмму уровня «System Context» и «Container».
Актуальность: Статья ZDNet показывает, что Amazon не гарантирует price-matching — значит, пользователи сами должны решать, где выгоднее купить. Это создаёт потребность в автоматизированной системе.
Цель: Разработать ML-модель, способную предсказывать оптимальную цену на основе исторических данных и текущих цен конкурентов.
Задачи:
• Сбор и очистка данных с 3+ источников
• Построение временного ряда и детекция аномалий
• Реализация модели регрессии (XGBoost / LightGBM)
• Интеграция с фреймворком для мониторинга (OpenTelemetry)
Структура:
Глава 1: Анализ рынка и теория ценообразования (с акцентом на OWASP и PMBOK 7)
Глава 2: Проектирование системы (C4/UML + OpenTelemetry)
Глава 3: Тестирование и оценка по ISO/IEC 25010
Актуальность: Без мониторинга модель «умрёт» через 3 месяца из-за drift-а. Статья ZDNet показывает, что Amazon не делает этого — значит, ваша система должна быть самоподдерживающейся.
Цель: Создать pipeline, который отслеживает метрики качества и отправляет алерты при падении accuracy.
Задачи:
• Настройка OpenTelemetry collector
• Метрики: MAE, RMSE, latency, error rate
• Алерты на Slack/Discord
• Автоматическая ретренировка при drift-е
Структура:
Глава 1: Теория мониторинга и стандарты (OpenTelemetry + ISO/IEC 25010)
Глава 2: Архитектура pipeline (C4-диаграмма)
Глава 3: Результаты тестирования и сравнение с аналогами
Актуальность: Amazon не интегрирует price-matching в API — значит, вам нужно создать REST-сервис, который будет работать в режиме on-demand.
Цель: Реализовать микросервис на FastAPI, который принимает запрос и возвращает рекомендацию.
Задачи:
• Разработка API-интерфейса (OpenAPI 3.0)
• Контейнеризация (Docker + Kubernetes)
• CI/CD pipeline (GitHub Actions)
• Тестирование с Postman и pytest
Структура:
Глава 1: Анализ архитектурных паттернов (microservices, event-driven)
Глава 2: Реализация (код + Dockerfile)
Глава 3: Тестирование и документация по PMBOK 7
Если вы хотите, чтобы мы помогли вам с выбором темы, написанием кода, оформлением по ГОСТ или подготовкой к защите — у нас есть бесплатная консультация на 120 минут. Напишите нам: help@it-diplom.ru — и мы подготовим для вас индивидуальный план на 7 дней.
Источник: Does Amazon price match other retailers? What to know (опубликовано 2026-04-24)