nguynbon03/concurrency-engine

Concurrency Engine — Xử lý 100+ request đồng thời

100 user gọi API cùng lúc? Không được xử lý lần lượt. Phải parallel.

Vấn đề

Browser automation chậm (mỗi task 1-5 phút). Nếu xử lý tuần tự:

• 100 request × 3 phút = 300 phút = 5 giờ chờ
• User cuối cùng phải chờ 5 giờ → KHÔNG CHẤP NHẬN ĐƯỢC

Giải pháp: Browser Pool + Async Queue + Workers

100 request đồng thời
    ↓
FastAPI nhận hết → tạo job_id → trả về NGAY
    ↓
Redis Queue (hàng đợi)
    ↓
N Workers song song (mỗi worker = 1 browser + 1 account)
    ├── Worker 1: account_A + proxy_A → xử lý job_1
    ├── Worker 2: account_B + proxy_B → xử lý job_2
    ├── Worker 3: account_C + proxy_C → xử lý job_3
    └── ... (N workers = N accounts active)
    ↓
Xong → lưu kết quả → client polling hoặc webhook

Kiến trúc chi tiết

┌─────────────┐     ┌──────────┐     ┌─────────────────┐
│  FastAPI     │────▶│  Redis   │────▶│  Worker Pool    │
│  (nhận req) │     │  Queue   │     │  ├── Worker 1   │
│  port 8000  │     │  port    │     │  ├── Worker 2   │
└─────────────┘     │  6379    │     │  ├── Worker 3   │
       │            └──────────┘     │  └── Worker N   │
       │                              └────────┬────────┘
       │                                       │
       ▼                                       ▼
┌─────────────┐                    ┌─────────────────┐
│  Job Status  │◀───────────────── │  Browser Pool    │
│  (Redis)    │                    │  (Playwright)    │
└─────────────┘                    └─────────────────┘

Thành phần chính

| Thành phần | Vai trò | Thư viện | |-----------|---------|----------| | FastAPI | Nhận request, tạo job, trả job_id ngay | fastapi, uvicorn | | Redis Queue | Hàng đợi task, FIFO hoặc priority | redis, rq hoặc celery | | Worker Pool | N process chạy song song, mỗi worker 1 browser | multiprocessing hoặc celery | | Browser Pool | Pool browser đã đăng nhập sẵn, tái sử dụng | playwright | | Job Status Store | Lưu trạng thái job để client polling | redis |

Các mẫu triển khai

Code mẫu:

• references/browser-pool.py — Pool browser đã đăng nhập, tái sử dụng, không tạo mới mỗi lần
• references/async-queue.py — Redis queue + worker pattern
• references/fastapi-concurrent.py — FastAPI nhận request, đẩy vào queue, trả job_id ngay

Chiến lược Scale

| Số account | Số worker | Request đồng thời | Thời gian 100 job (3 phút/job) | |-----------|-----------|-------------------|-------------------------------| | 5 | 5 | 5 | 60 phút | | 10 | 10 | 10 | 30 phút | | 20 | 20 | 20 | 15 phút | | 50 | 50 | 50 | 6 phút |

→ Số worker = số account active. Càng nhiều account → càng nhanh.

Quy tắc

• KHÔNG BAO GIỜ xử lý tuần tự — luôn parallel
• Mỗi worker = 1 browser + 1 account (không dùng chung)
• Browser Pool: tạo sẵn browser đã đăng nhập, tái sử dụng (không tạo mới mỗi request)
• FastAPI PHẢI trả job_id NGAY (< 1 giây), xử lý chạy nền
• Redis lưu trạng thái job (không dùng RAM, vì restart mất hết)
• Giới hạn queue size (tránh OOM): tối đa 1000 jobs pending
• Healthcheck mỗi worker: nếu browser crash → restart worker
• Log: job_id, worker_id, account_id, thời gian bắt đầu/kết thúc
• Graceful shutdown: đợi worker hiện tại xong rồi mới tắt

Kết hợp với skills khác

| Cần | Skill | |-----|-------| | Quản lý account cho workers | account-pool-manager | | API chuẩn cho endpoint | rest-api-standard | | Anti-detect cho browser | stealth-manager | | Lập lịch batch job | task-scheduler |