‹ 首页

web-scraping-pro

@zedit42 · 收录于 1 周前 · 上游提交 5 个月前

Advanced web scraping with Cloudflare bypass, JavaScript rendering, and structured data extraction. Use when regular fetch fails, site has bot protection, or you need to extract structured data from complex pages. Includes Crawl4AI, Jina Reader, and custom extractors.

场景数据采集网页抓取反爬绕过

适合你，如果需要从有反爬保护的网站提取结构化数据

/ 下载安装
https://github.com/zedit42/clawdbot-skills/tree/main/web-scraping-pro ↗
/ 通过 npx 安装 校验哈希
npx oh-my-skill add zedit42/clawdbot-skills/web-scraping-pro
/ 通过 bash 安装
curl -fsSL https://oh-my-skill.com/install.sh | bash -s -- zedit42/clawdbot-skills/web-scraping-pro
/ 已经装过?验证本机副本,不用重装
npx oh-my-skill verify zedit42/clawdbot-skills/web-scraping-pro
安装目标可用 --agent / --scope 或 --to 明确指定;省略时只会在唯一已存在的 agent 目录上自动选择,零命中或多命中会停止并提示。content_hash 缺失或不一致均拒装。
0GitHub stars
~784最小装载
~2.5K含声明引用
~2.5K文本包总量
索引托管

怎么用

商店整理自技能原文 · 版本 4b35c3f · 表述以原文为准
它做什么

当普通网页抓取失败时，它会用 Jina Reader、Crawl4AI 或 Firecrawl 等工具绕过 Cloudflare 等反爬保护，渲染 JavaScript 并提取结构化数据（如表格、列表）。

什么时候触发

当普通 web_fetch 返回 403 或遇到 Cloudflare 等反爬保护时触发；也适用于需要抓取 JavaScript 渲染内容或提取结构化数据的场景。

装好后可以这样说
会使用结构化提取脚本。

技能原文在 GitHub 查看 →

评论

登录即可评论;带「已验证安装」的,是发布者名下有本店的安装或持有记录。
…