VK Parser New Core

Первый чистый слой проекта:

• админка с источниками, пользователями, воркерами и raw-лентой;
• VK parser worker;
• VK storage uploader worker;
• PostgreSQL job queue.

Старый проект лежит в original_project/ как справочник. Новый код живёт в src/vk_parser_app/.

Что нужно на сервере

Ubuntu 22.04/24.04:

sudo apt update
sudo apt install -y python3 python3-venv python3-pip postgresql postgresql-contrib nginx git curl

Для будущей работы с видео:

sudo apt install -y ffmpeg

БД

Пример:

sudo -u postgres psql

CREATE DATABASE vk_parser;
CREATE USER vk_parser_user WITH PASSWORD 'CHANGE_ME';
GRANT ALL PRIVILEGES ON DATABASE vk_parser TO vk_parser_user;
\c vk_parser
GRANT ALL ON SCHEMA public TO vk_parser_user;

Установка проекта

cd /opt
sudo git clone <repo-url> vk-parser
sudo chown -R $USER:$USER /opt/vk-parser
cd /opt/vk-parser

python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env

Заполнить .env:

APP_SECRET_KEY=long-random-string
ADMIN_BOOTSTRAP_LOGIN=admin
ADMIN_BOOTSTRAP_PASSWORD=long-admin-password

DB_HOST=localhost
DB_PORT=5432
DB_NAME=vk_parser
DB_USER=vk_parser_user
DB_PASSWORD=...

VK_ACCESS_TOKEN=...
VK_STORAGE_GROUP_ID=239548476

Важно: для wall.post, wall.edit, photos.saveWallPhoto нужен VK user token пользователя с правами в storage-группе. Community token для этого контура не подходит.

Миграции

PYTHONPATH=src .venv/bin/python scripts/apply_migrations.py

Первый админ создаётся из ADMIN_BOOTSTRAP_LOGIN / ADMIN_BOOTSTRAP_PASSWORD при старте админки.

Проверка VK storage

Без фото:

PYTHONPATH=src .venv/bin/python scripts/vk_storage_spike.py

С фото:

cp /path/to/photo.jpg sample_photo.jpg
PYTHONPATH=src .venv/bin/python scripts/vk_storage_spike.py

Скрипт должен вывести ссылку вида:

https://vk.com/wall-239548476_123

После этого надо руками проверить:

• пост создан от имени storage-группы;
• админ/редактор группы может открыть и отредактировать пост;
• вложенное фото видно в браузере.

Запуск локально

Админка:

PYTHONPATH=src .venv/bin/uvicorn vk_parser_app.admin:app --host 0.0.0.0 --port 8080

Парсер:

PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.parser

VK storage uploader:

PYTHONPATH=src .venv/bin/python -m vk_parser_app.workers.vk_storage_uploader

systemd units

Минимальный vk-admin.service:

[Unit]
Description=VK Parser Admin
After=network.target postgresql.service

[Service]
WorkingDirectory=/opt/vk-parser
Environment=PYTHONPATH=/opt/vk-parser/src
ExecStart=/opt/vk-parser/.venv/bin/uvicorn vk_parser_app.admin:app --host 0.0.0.0 --port 8080
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

vk-parser.service:

[Unit]
Description=VK Parser Worker
After=network.target postgresql.service

[Service]
WorkingDirectory=/opt/vk-parser
Environment=PYTHONPATH=/opt/vk-parser/src
ExecStart=/opt/vk-parser/.venv/bin/python -m vk_parser_app.workers.parser
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

vk-storage-uploader.service:

[Unit]
Description=VK Storage Uploader Worker
After=network.target postgresql.service

[Service]
WorkingDirectory=/opt/vk-parser
Environment=PYTHONPATH=/opt/vk-parser/src
ExecStart=/opt/vk-parser/.venv/bin/python -m vk_parser_app.workers.vk_storage_uploader
Restart=always
RestartSec=10

[Install]
WantedBy=multi-user.target

Текущий pipeline

sources(vk)
  -> vk-parser
  -> raw_posts + raw_post_media
  -> jobs(type='vk.storage.copy')
  -> vk-storage-uploader
  -> wall.post в storage-группе
  -> raw_posts.storage_post_url

Фото копируются в storage-группу. Видео в первой версии сохраняются как link_only/исходное VK-вложение, чтобы сначала стабилизировать основной контур.