feat: add external site parser worker
This commit is contained in:
@@ -108,6 +108,31 @@ https://vk.com/wall-239548476_123
|
||||
- админ/редактор группы может открыть и отредактировать пост;
|
||||
- вложенное фото видно в браузере.
|
||||
|
||||
## Site Parser
|
||||
|
||||
Сайты обрабатывает отдельный stateless-воркер из `site_parser_worker`. Основная
|
||||
коробка хранит источники, расписание, RuCaptcha-ключ и браузерное состояние, а
|
||||
воркер возвращает нормализованные материалы в существующий пайплайн.
|
||||
|
||||
Сейчас поддерживается RSS/Atom, включая Cloudflare:
|
||||
|
||||
```json
|
||||
{
|
||||
"format": "rss",
|
||||
"access": "auto",
|
||||
"max_items": 20
|
||||
}
|
||||
```
|
||||
|
||||
В глобальном разделе `Site Parser` задаются URL воркера, его токен, ключ
|
||||
RuCaptcha и таймаут. Внешний модуль запускается командой:
|
||||
|
||||
```bash
|
||||
docker build -t site-parser-worker site_parser_worker
|
||||
docker run -d --restart unless-stopped -p 8080:8080 \
|
||||
-e WORKER_TOKEN=replace-me site-parser-worker
|
||||
```
|
||||
|
||||
## Запуск локально
|
||||
|
||||
Админка:
|
||||
|
||||
Reference in New Issue
Block a user