Аналитика маркетплейса в ВКР: от поведенческих данных к рекомендательным моделям
Поддомен: Data Engineering / ML. Роль эксперта: Data/ML-инженер.
Опрос 10 000 жителей России, проведённый «Авито Рекламой» и «Авито Товарами», показал неожиданный разворот рынка: сайты объявлений из «доски для мелких сделок» превратились в основную площадку для покупок дороже 30 000 рублей. Для выпускника направления «Прикладная информатика», «ИВТ» или «Data Science» это не просто новость — это готовая фактура для ВКР. Здесь есть всё, что любит госкомиссия: реальные данные, измеримые метрики, высокая нагрузка и очевидная бизнес-ценность. Ниже — как превратить этот тренд в защищаемую работу, а не в пересказ пресс-релиза. Разберём темы, пайплайны, метрики и типовые грабли — в том числе те, из-за которых студенты теряют баллы на предзащите.
Вопросы, которые задают студенты на консультации
Данные из статьи — это же просто опрос. Где брать датасет для ML?
Опрос — это источник гипотез, а не обучающая выборка. Для ВКР по маркетплейсу берите открытые C2C-датасеты (например, Avazu CTR, RetailRocket, «Яндекс.Маркет» на Kaggle) либо моделируйте синтетические логи покупателей: сессия → просмотр карточки → добавление в избранное → сделка. Обязательно опишите процедуру генерации в главе 1 и зафиксируйте seed — это снимет вопросы про воспроизводимость.
Какой стек выбрать, чтобы тема звучала солидно, но реально работала за семестр?
Практичный минимум: PostgreSQL + Python (pandas, scikit-learn) + Airflow для оркестрации + Metabase/Superset для витрин. Если тянете — добавьте PySpark и MLflow. Kubernetes для диплома обычно избыточен, если только у вас не тема про отказоустойчивость сервиса рекомендаций.
Как считать эффективность модели? Что показывать в главе 3?
Для ранжирования — NDCG@10 и MAP@k, для регрессии чека — RMSE/MAE, для классификации «купит/не купит» — ROC-AUC и PR-AUC (последнее честнее при сильном дисбалансе). Обязательно сравните с baseline: популярные товары, случайная выдача. Разница с baseline — это и есть ваш «эффект внедрения».
Что требовать от оформления схем — по ГОСТ 19 или ГОСТ 34?
Если это программный продукт с этапами разработки — ГОСТ 19 (ЕСПД). Если автоматизированная система в целом, с ТЗ на систему — ГОСТ 34. Диаграммы C4/UML и BPMN приводите в приложениях со ссылкой на основную часть. Нормоконтроль любит ловить отсутствие описания входных/выходных данных — закладывайте таблицу с ними заранее.
Темы ВКР под этот кейс
-
Рекомендательная система для C2C-маркетплейса на неявной обратной связи
Актуальность: статья фиксирует рост дорогих сделок — значит, цена ошибки в рекомендации растёт, и качество ранжирования становится критичным.
Цель: разработать и оценить модель ранжирования объявлений, устойчивую к холодному старту.
Задачи: 1) обзор подходов (коллаборативная фильтрация, LightFM, двухбашенные сети); 2) построение feature store из логов; 3) обучение и AB-оффлайн-оценка; 4) расчёт lift относительно pop-baseline.
Структура: Гл. 1 — анализ предметной области и обзор алгоритмов; Гл. 2 — проектирование пайплайна и обучение модели; Гл. 3 — тестирование, метрики NDCG@10/MAP@k, экономический эффект.
-
Аналитическая платформа для прогнозирования среднего чека в сегменте high-ticket
Актуальность: именно порог «от 30 000 ₽» задаёт сегмент, который раньше уходил в офлайн — теперь его можно анализировать в цифре.
Цель: построить витрину и модель прогноза чека по категории и поведению пользователя.
Задачи: 1) выделить признаки из сессий; 2) реализовать ELT-пайплайн (Airflow + dbt); 3) обучить градиентный бустинг; 4) визуализировать результат для бизнеса.
Структура: Гл. 1 — постановка задачи и обзор метрик; Гл. 2 — архитектура витрины (C4 Level 1 и 2); Гл. 3 — валидация и расчёт MAE/RMSE по сегментам.
-
Система доверия и верификации продавцов на маркетплейсе
Актуальность: крупные покупки требуют повышенных гарантий — без скоринга надёжности сделки не масштабируются.
Цель: разработать сервис риск-скоринга на основе OpenTelemetry-логов, истории объявлений и отзывов.
Задачи: 1) описать сущности и правила; 2) спроектировать сервис (FastAPI + PostgreSQL); 3) реализовать инференс модели; 4) оценить precision/recall на отложенной выборке.
Структура: Гл. 1 — обзор мошеннических паттернов; Гл. 2 — проектирование сервиса и UML-диаграммы; Гл. 3 — тестирование по ISO/IEC 25010 (функциональная полнота, производительность, безопасность).
Как встроить материал статьи в главы ВКР
Глава 1: превращаем новость в постановку задачи
Не пересказывайте пресс-релиз. Возьмите оттуда три цифры — размер выборки (10 тыс. респондентов), порог чека (от 30 тыс. ₽) и вывод «сайты объявлений стали главной площадкой». Оформите это как обоснование актуальности через противоречие: спрос сместился в digital, а значит классические офлайн-сценарии проверки товара перестают работать. Дальше — таблица с сегментами пользователей и их предполагаемым поведением. Так глава 1 становится не «водой», а постановкой гипотез.
Глава 2: архитектура пайплайна данных
Здесь уместно нарисовать C4-диаграмму уровня 2 (Container): источники событий → Kafka → сырое хранилище (S3/MinIO) → ETL (Airflow) → feature store (ClickHouse/PostgreSQL) → сервис инференса. В тексте явно перечислите поток данных: какие события собираются (просмотр, избранное, чат, сделка), с какой частотой, какой объём за сутки. Ниже — фрагмент обучения модели для защиты:
# Псевдокод рекомендательной модели C2C-маркетплейса
from pyspark.ml.recommendation import ALS
from pyspark.ml.evaluation import RegressionEvaluator
als = ALS(
userCol="buyer_id",
itemCol="listing_id",
ratingCol="interaction_score", # 1=просмотр, 3=избранное, 5=сделка
implicitPrefs=True,
rank=64,
regParam=0.05,
alpha=1.2,
seed=42
)
model = als.fit(train_df)
# топ-20 рекомендаций на каждого покупателя
recs = model.recommendForAllUsers(20)
evaluator = RegressionEvaluator(
metricName="rmse",
labelCol="interaction_score",
predictionCol="prediction"
)
print("RMSE on holdout:", evaluator.evaluate(model.transform(test_df)))
Глава 2–3: логирование и наблюдаемость
Обязательно покажите, как отслеживаете качество модели в проде. Для диплома достаточно схемы: OpenTelemetry SDK в сервисе инференса → Collector → Prometheus/Grafana. На защите вы сможете сказать: «средняя задержка инференса 18 мс, p95 — 47 мс, дрифт фич контролируется раз в сутки по PSI».
Глава 3: метрики и оценка эффекта
| Что измеряем | Метрика | Baseline |
|---|---|---|
| Качество ранжирования | NDCG@10, MAP@5 | Популярные объявления |
| Точность прогноза чека | MAE, RMSE | Средний чек по категории |
| Классификация «купит/не купит» | ROC-AUC, PR-AUC | Логистическая регрессия на 3 признаках |
| Отклик системы | p50/p95 latency | Синхронный SQL-запрос |
| Экономический эффект | Lift по конверсии, ₽/MAU | Контрольная группа (holdout 10%) |
- Ссылки на источники оформлены по ГОСТ Р 7.0.5–2008, статья с датой 2026-03-26 указана корректно.
- Каждая задача из введения «отработана» в главе 2 или 3 и закрыта выводом.
- Диаграммы C4/UML/BPMN имеют подписи, легенду и ссылку в тексте («см. рисунок 7»).
- Метрики посчитаны на holdout, зафиксирован seed, есть сравнение с baseline.
- ТЗ и описание ПО оформлены по ГОСТ 19.201-78 или 34.602-2020 — уточните на кафедре.
- Оригинальность текста выше порога вуза; прямые цитаты оформлены ссылками.
- Приложения содержат листинги, датасет-схему и акт внедрения (если есть).
- Пересказ новости вместо анализа. Статья — это только точка входа. Если в главе 1 у вас три абзаца про «Авито» и ноль собственных гипотез — снимут баллы. Дополните обзор научными статьями по рекомендательным системам и marketplaces.
- Оценка качества «на глаз». Фраза «модель работает хорошо» без NDCG, RMSE и baseline — прямой путь к вопросу «а как вы это измеряли?». Заранее подготовьте таблицу метрик и графики train/validation.
- Игнорирование холодного старта. В C2C половина объявлений новые, а покупатели часто анонимные. Если в работе этого нет — комиссия обязательно спросит. Добавьте хотя бы контентные признаки (заголовок, категория, цена) как fallback.
Чему вы научитесь на такой ВКР
- Проектировать ETL-пайплайны и хранить фичи так, чтобы их можно было переиспользовать в обучении и инференсе.
- Оценивать модели ранжирования честно — с baseline, holdout и без утечек данных.
- Описывать архитектуру в нотации C4 и защищать решения перед технической комиссией.
- Считать эффект от внедрения в деньгах, а не только в процентах.
- Оформлять ТЗ и листинги так, чтобы нормоконтроль не вернул работу на доработку.
Источник: «Авито»: сайты с объявлениями стали главной площадкой для онлайн-покупок от 30 тысяч рублей (опубликовано 2026-03-26)