nguynbon03/web-scraper
.claude/skills/web-scraper/SKILL.md
Crawl website và trích xuất dữ liệu có cấu trúc bằng BeautifulSoup, Scrapy, Playwright. Hỗ trợ cả trang tĩnh và trang động (JS-rendered). Kích hoạt khi user cần lấy dữ liệu từ website bất kỳ.
development
Updated Apr 17, 2026
$ install --global
skillsauthnpx skillsauth add nguynbon03/API-XuongMedia-Backup web-scraperInstall this skill globally with one command. Works with Claude Code, Cursor, and Windsurf.
Security Scan Results
3 of 9 scanners reported clean
Some scanners were skipped, did not run, or reported a non-clean status. Review each row below.
3
Scanners Passed
9
Scanners in report
Clean
TrivyContainer and dependency vulnerability scanner
95%
Clean
SemgrepStatic code analysis for vulnerabilities
95%
Clean
mcp-scan (Snyk)Model Context Protocol security validation
95%
Skipped
Snyk (dep)Open source security scanning
50%
Skipped
Socket.devSupply chain security analysis
50%
Skipped
VirusTotalMulti-engine malware detection
50%
Skipped
CrowdStrikeAdvanced threat intelligence
50%
Skipped
OSV-ScannerOpen Source Vulnerability database check
50%
Skipped
OWASP Dep-Check
50%
Last scanned: Apr 17, 2026, 9:36 AM33.4s4 files scanned
SKILL.md
- name:
- web-scraper
- description:
- Crawl website và trích xuất dữ liệu có cấu trúc bằng BeautifulSoup, Scrapy, Playwright. Hỗ trợ cả trang tĩnh và trang động (JS-rendered). Kích hoạt khi user cần lấy dữ liệu từ website bất kỳ.
Web Scraper — Crawl và Trích xuất Dữ liệu
Lấy dữ liệu có cấu trúc từ bất kỳ website nào.
Lựa chọn thư viện
| Loại website | Dùng | |-------------|------| | HTML tĩnh | requests + BeautifulSoup4 | | Render bằng JS | Playwright | | Crawl quy mô lớn | Scrapy | | API ẩn | Playwright HAR → requests |
Các mẫu triển khai
Code mẫu:
references/bs4-scraper.py— requests + BeautifulSoup cho HTML tĩnhreferences/playwright-scraper.py— Playwright cho trang render JSreferences/reverse-engineer-api.py— Ghi HAR để tìm API ẩn
Quy tắc
- LUÔN kiểm tra robots.txt trước khi crawl
- LUÔN có delay giữa các request (1-3s) để không bị cấm
- LUÔN xoay User-Agent
- Dùng proxy nếu crawl số lượng lớn
- Lưu dữ liệu theo từng phần (không đợi crawl xong hết mới lưu)
- Đầu ra: JSON hoặc CSV
Xem thêm: references/scraping-patterns.md, references/anti-ban.md
Related Skills
nguynbon03/video-uploader
tools
VerifiedTrustedCommunity
Upload video tự động lên TikTok, YouTube, Facebook, Instagram bằng browser automation (Playwright). Vì các nền tảng này không có public API cho upload, phải dùng browser automation. Kích hoạt khi user cần upload video lên bất kỳ nền tảng nào.
SKILL.mdUpdated Apr 17, 2026
nguynbon03/video-processor
development
VerifiedTrustedCommunity
Xử lý video bằng Python — cắt ghép, thêm nhạc nền, phụ đề, watermark, resize, chuyển định dạng, render hàng loạt. Dùng ffmpeg-python và moviepy. Kích hoạt khi user cần xử lý video bất kỳ cách nào.
SKILL.mdUpdated Apr 17, 2026
nguynbon03/task-scheduler
tools
VerifiedTrustedCommunity
Lập lịch chạy task tự động — cron job, xử lý hàng đợi, lập lịch hàng loạt. Dùng APScheduler, Celery, hoặc crontab. Kích hoạt khi user cần chạy task định kỳ hoặc xử lý hàng loạt theo lịch.
SKILL.mdUpdated Apr 17, 2026
nguynbon03/stealth-manager
tools
VerifiedTrustedCommunity
Quản lý anti-detect browser, đa tài khoản, xoay proxy. Tránh bị phát hiện là bot khi automation. Kích hoạt khi user cần chạy nhiều tài khoản hoặc tránh bị cấm.
SKILL.mdUpdated Apr 17, 2026