Trendwatch — AI-платформа трендвотчинга для digital-агентства

Клиент / контекст: (digital-агентство)
Роль: end-to-end разработка — от сбора данных до продакшн-деплоя
Статус: MVP в продакшене Стек: Python, FastAPI, OpenAI, SQLAlchemy, Docker, Tailwind CSS

В двух словах

Trendwatch — автономная система, которая каждое утро превращает сотни статей из 20+ источников в готовые подборки контента по 9 темам блога. Вместо ручного мониторинга лент маркетолог получает ранжированный топ с объяснимыми AI-оценками — в Google Sheets и на веб-дашборде.

Проблема

Контент-команда агентства тратила часы на:

ручной обход Telegram, Habr, vc.ru, AdIndex и зарубежных медиа;
отбор «шума» и дублирующихся новостей;
оценку, что из прочитанного можно быстро адаптировать в пост;
распределение материалов по тематикам блога.

Результат: медленная реакция на тренды, неравномерное качество подборок, зависимость от конкретного редактора.

Решение

Единый автоматизированный пайплайн с ежедневным запуском в 07:30 МСК:

Сбор (20+ источников) → Нормализация → AI-классификация → Скоринг → Кластеризация → Топ-5 × 9 категорий → Экспорт

Система работает без участия человека и доставляет результат к началу рабочего дня.

Ключевые фишки

1. Мульти-источниковый мониторинг RU + EN

Охват русскоязычного и англоязычного сегментов: Telegram, Habr, vc.ru, AdIndex, Sostav, RBC Trends, Dzen, t-j, Gartner, HubSpot, Statista, TrendHunter и др. Фильтр «только за последние 24 часа» — без устаревшего контента.

2. Четырёхфакторный AI-скоринг (0–10)

Каждый материал оценивается по прозрачной формуле: | Критерий | Вес | Суть | |----------|-----|------| | Релевантность | 30% | Семантическая близость к теме через OpenAI Embeddings | | Трендовость | 25% | Рост популярности темы (Trend Index) | | Вовлечённость | 25% | Реакция аудитории в первоисточнике | | Адаптируемость | 20% | Оценка LLM: насколько легко сделать пост/статью |

3. Умная классификация по 9 направлениям блога

AI автоматически раскладывает материалы по категориям (CRM, UX, маркетинг, бренды, tech и др.) и формирует отдельный топ-5 для каждой — не один общий список «на все случаи».

4. Кластеризация и детекция макротрендов

Похожие статьи группируются (KMeans / HDBSCAN), система выявляет повторяющиеся темы и начисляет бонусы к итоговому скору — «горячие» направления всплывают раньше конкурентов.

5. Экономика AI без потери качества

Batch-обработка запросов к OpenAI
Кеш эмбеддингов и классификаций (до 30 дней)
TF-IDF-сжатие длинных лонгридов перед отправкой в LLM
Мониторинг расхода токенов в реальном времени

6. Два формата доставки результата

Google Sheets — цветовое кодирование категорий, ссылки, оценки
Web Dashboard — адаптивный интерфейс с фильтрацией по датам и категориям

7. Production-ready инфраструктура

Docker, FastAPI, SQLAlchemy, cron-планировщик, HTTPS на VPS, 20+ автотестов пайплайна.

Преимущества для бизнеса

| Преимущество | Эффект | |--------------|--------| | Скорость | Свежие тренды на столе к 08:00, без ночных смен | | Масштаб | 200–500 статей/сутки — охват, недостижимый вручную | | Качество отбора | Объективный скоринг вместо субъективного «понравилось/нет» | | Фокус команды | Маркетологи пишут контент, а не читают ленты | | Экспертиза EN-рынка | Зарубежные инсайты без языкового барьера в процессе отбора | | Прозрачность | Каждый материал с баллами по 4 критериям — понятно, почему он в топе | | Низкая стоимость владения | ~$0.15 на 100 статей при агрессивном кешировании |

Оценка экономии времени: ~15 часов в неделю на одного маркетолога (рутинный мониторинг и первичный отбор).

Технические highlights (для портфолио)

50+ модулей, слоистая архитектура: collectors → normalizer → scoring → presentation
20 парсеров (RSS, HTML-scraping, Telegram API) с единой JSON-схемой
Category-specific scoring — релевантность считается относительно вектора конкретной категории
Интеграции: OpenAI API, Google Sheets API, Telethon
БД: materials, scores, trends, cache — полная история для аналитики
Деплой: Docker Compose на VPS, публичный HTTPS-эндпоинт

Результат

Рабочий продукт, который ежедневно закрывает контент-разведку для агентства: от сырых новостей из десятков источников до структурированных топов по 9 бизнес-направлениям с AI-обоснованием каждого выбора.

Документ подготовлен для бизнес-портфолио. Техническое ТЗ: DOCS/TZ.md, архитектура: DOCS/arch.md.

Trendwatch — AI-платформа трендвотчинга