feat: filter site bodies before media upload

This commit is contained in:
Your Name
2026-08-10 22:52:23 +05:00
parent e5ef3fb9e8
commit aad9ee46eb
16 changed files with 127 additions and 61 deletions
+12 -10
View File
@@ -132,7 +132,9 @@ https://vk.com/wall-239548476_123
"access": "cloudflare",
"max_items": 20,
"follow_links": true,
"content_selector": "article.full"
"content_selector": "article.full",
"text_selector": ".field--name-body",
"min_text_length": 50
}
```
@@ -162,7 +164,7 @@ PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.parser
VK storage uploader:
```bash
PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.vk_storage_uploader
PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.media_uploader
```
## systemd units
@@ -203,17 +205,17 @@ RestartSec=10
WantedBy=multi-user.target
```
`vk-storage-uploader.service`:
`media-uploader.service`:
```ini
[Unit]
Description=VK Storage Uploader Worker
Description=Media Uploader Worker
After=network.target postgresql.service
[Service]
WorkingDirectory=/opt/vk-parser
Environment=PYTHONPATH=/opt/vk-parser/src
ExecStart=/opt/vk-parser/.venv/bin/python -m vk_parser_app.workers.vk_storage_uploader
ExecStart=/opt/vk-parser/.venv/bin/python -m vk_parser_app.workers.media_uploader
Restart=always
RestartSec=10
@@ -224,13 +226,13 @@ WantedBy=multi-user.target
## Текущий pipeline
```text
sources(vk)
sources(vk/site)
-> vk-parser
-> raw_posts + raw_post_media
-> jobs(type='vk.storage.copy')
-> vk-storage-uploader
-> wall.post в storage-группе
-> jobs(type='media.storage.copy')
-> media-uploader
-> локальный Telegram Bot API
-> raw_posts.storage_post_url
```
Фото копируются в storage-группу. Видео в первой версии сохраняются как `link_only`/исходное VK-вложение, чтобы сначала стабилизировать основной контур.
Фото и видео загружаются в Telegram media storage; исходные URL остаются в `raw_post_media`.