feat: add external site parser worker

This commit is contained in:
Your Name
2026-08-10 20:48:23 +05:00
parent fbc1e3fd1b
commit 3dea6f43f3
14 changed files with 690 additions and 44 deletions
+25
View File
@@ -108,6 +108,31 @@ https://vk.com/wall-239548476_123
- админ/редактор группы может открыть и отредактировать пост;
- вложенное фото видно в браузере.
## Site Parser
Сайты обрабатывает отдельный stateless-воркер из `site_parser_worker`. Основная
коробка хранит источники, расписание, RuCaptcha-ключ и браузерное состояние, а
воркер возвращает нормализованные материалы в существующий пайплайн.
Сейчас поддерживается RSS/Atom, включая Cloudflare:
```json
{
"format": "rss",
"access": "auto",
"max_items": 20
}
```
В глобальном разделе `Site Parser` задаются URL воркера, его токен, ключ
RuCaptcha и таймаут. Внешний модуль запускается командой:
```bash
docker build -t site-parser-worker site_parser_worker
docker run -d --restart unless-stopped -p 8080:8080 \
-e WORKER_TOKEN=replace-me site-parser-worker
```
## Запуск локально
Админка: