feat: filter site bodies before media upload
This commit is contained in:
@@ -132,7 +132,9 @@ https://vk.com/wall-239548476_123
|
||||
"access": "cloudflare",
|
||||
"max_items": 20,
|
||||
"follow_links": true,
|
||||
"content_selector": "article.full"
|
||||
"content_selector": "article.full",
|
||||
"text_selector": ".field--name-body",
|
||||
"min_text_length": 50
|
||||
}
|
||||
```
|
||||
|
||||
@@ -162,7 +164,7 @@ PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.parser
|
||||
VK storage uploader:
|
||||
|
||||
```bash
|
||||
PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.vk_storage_uploader
|
||||
PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.media_uploader
|
||||
```
|
||||
|
||||
## systemd units
|
||||
@@ -203,17 +205,17 @@ RestartSec=10
|
||||
WantedBy=multi-user.target
|
||||
```
|
||||
|
||||
`vk-storage-uploader.service`:
|
||||
`media-uploader.service`:
|
||||
|
||||
```ini
|
||||
[Unit]
|
||||
Description=VK Storage Uploader Worker
|
||||
Description=Media Uploader Worker
|
||||
After=network.target postgresql.service
|
||||
|
||||
[Service]
|
||||
WorkingDirectory=/opt/vk-parser
|
||||
Environment=PYTHONPATH=/opt/vk-parser/src
|
||||
ExecStart=/opt/vk-parser/.venv/bin/python -m vk_parser_app.workers.vk_storage_uploader
|
||||
ExecStart=/opt/vk-parser/.venv/bin/python -m vk_parser_app.workers.media_uploader
|
||||
Restart=always
|
||||
RestartSec=10
|
||||
|
||||
@@ -224,13 +226,13 @@ WantedBy=multi-user.target
|
||||
## Текущий pipeline
|
||||
|
||||
```text
|
||||
sources(vk)
|
||||
sources(vk/site)
|
||||
-> vk-parser
|
||||
-> raw_posts + raw_post_media
|
||||
-> jobs(type='vk.storage.copy')
|
||||
-> vk-storage-uploader
|
||||
-> wall.post в storage-группе
|
||||
-> jobs(type='media.storage.copy')
|
||||
-> media-uploader
|
||||
-> локальный Telegram Bot API
|
||||
-> raw_posts.storage_post_url
|
||||
```
|
||||
|
||||
Фото копируются в storage-группу. Видео в первой версии сохраняются как `link_only`/исходное VK-вложение, чтобы сначала стабилизировать основной контур.
|
||||
Фото и видео загружаются в Telegram media storage; исходные URL остаются в `raw_post_media`.
|
||||
|
||||
Reference in New Issue
Block a user