## 何时使用此技能当用户想要从网站**获取数据**时激活： *“从此页面提取所有产品价格” *“从...中抓取结果表” *“从 arXiv 搜索结果中提取作者和标题列表” *“从该页面收集所有职位列表” *“从该仪表板表中获取数据” *“从...收获评论分数” *“从...下载所有链接/图像/卡片” 可交付成果始终是**两个工件**： 1. **可执行的 Playwright 脚本** — 一个独立的“.cjs”文件，在运行时无需 Actionbook 即可重现提取。 2. **提取的数据** — JSON（默认）、CSV 或用户指定的格式写入磁盘。 ## 决策策略使用 Actionbook 作为**条件加速器**，而不是强制步骤。目标是最短路径中的可靠选择器。用户请求 │ ├─► 行动手册搜索“<站点> <意图>” │ ├─ Health Score ≥ 70% 的结果 ──► Actionbook 获取“” ──► 使用选择器 │ └─ 无结果/低分 ──► 后备 │ └─► 后备：actionbook 浏览器打开 ├─ Actionbook 浏览器快照（辅助功能树 → 查找选择器） ├─ Actionbook浏览器截图（目视确认） └─ 通过 DOM 检查手动选择器发现 **选择器源的优先顺序：** 优先|来源 |当 ---|---|--- 1 | `行动手册获取` |网站已编入索引，健康评分≥70% 2 | `actionbook 浏览器快照` |未索引或选择器已过时 3 |通过截图+快照检查 DOM |复杂的 SPA/动态内容 **不可协商的规则：**如果“search + get”已经为必填字段提供了可用的选择器，则从“get”选择器开始，默认情况下不要跳转到完整后备（“snapshot”/“screenshot”）。例外：当运行时行为可能影响脚本正确性时，允许使用轻量级机制探针（用于水化/虚拟化/分页）。仅当探针/样本验证表明选择器间隙或不稳定时，才升级为“快照”/“屏幕截图”。 ## 机制感知脚本策略网站使用的模式打破了天真的抓取。生成的剧作家脚本**必须**考虑到这些： ### 流媒体/SSR/RSC 水合页面可以首先呈现外壳，然后流式传输或水合内容。 // 等待水合完成——不仅仅是 DOMContentLoaded wait page.waitForSelector('[data-item]', { state: '附加' }); 等待 page.waitForFunction(() => { const items = document.querySelectorAll('[data-item]'); return items.length > 0 && !document.querySelector('[data-pending]'); }); **检测提示：** React root 使用 `data-reactroot`、Next.js `__NEXT_DATA__`、JS 运行后填充的空容器。如果 `actionbook browser text ""` 返回空但屏幕截图显示内容，则水合作用尚未完成。 ### 虚拟化列表/虚拟 DOM DOM 中仅存在可见行。滚动会呈现新行并销毁旧行。 // 虚拟化列表的滚动和收集循环（滚动容器感知）常量所有项目 = []; 常量 maxScrolls = 50; 让卷轴= 0； const 容器 = 等待页面。$('<滚动容器选择器>'); if (!container) throw new Error('未找到滚动容器'); 让 previousTop =等待container.evaluate(el => el.scrollTop); while (滚动 < maxScrolls) { const items = wait page.$$eval('[数据行]', rows => rows.map(r => ({ 文本: r.textContent.trim() })) ）； for (const item of items) { if (!allItems.find(i => i.text === item.text)) allItems.push(item); } 等待容器.evaluate(el => el.scrollBy(0, 600)); 等待页面.waitForTimeout(300); const currentTop =等待container.evaluate(el => el.scrollTop); if (当前顶部 === 先前顶部) 中断; 上一个顶部 = 当前顶部；卷轴+= 1； } **检测提示：** 容器具有固定高度，并具有“overflow: auto/scroll”，DOM 中的行数远小于规定的总数，行具有“transform: translateY(...)”或“position:absolute;”顶部：...px`。 ### 无限滚动/延迟加载当用户滚动到底部附近时，会附加新内容。 // 滚动到底部，直到没有新内容加载（无增长容忍度）让itemCount = 0; 让 noGrowthStreak = 0; 常量 maxScrolls = 80; 让卷轴= 0； while (scrolls < maxScrolls && noGrowthStreak < 3) { 等待 page.evaluate(() => window.scrollTo(0, document.body.scrollHeight)); 等待页面.waitForTimeout(1200); const newCount = wait page.$$eval('.item', els => els.length); if (newCount > itemCount) { 项目计数 = 新计数；无增长条纹 = 0; } 否则{ 无增长条纹 += 1; } 卷轴+= 1； } **检测提示：** JS 页面中的 Intersection Observer，“加载更多”按钮，底部的哨兵元素，滚动时触发的网络请求。 ### 分页 “下一页”按钮或编号页面后面的多页结果。 // 点击分页（导航感知、SPA 安全）常量所有数据 = []; 常量最大页数 = 50; 让页面索引 = 0; while (pageIndex < maxPages) { const pageData = 等待页面。$$eval('.result-item', items => items.map(el => ({ title: el.querySelector('h3')?.textContent?.trim() })) ）； allData.push(...pageData); const nextBtn = wait page.$('a.next-page:not([disabled])'); if (!nextBtn) 中断； const previousUrl = page.url(); const previousFirstItem = 等待页面 .$eval('.result-item', el => el.textContent?.trim() || '') .catch(() => ''); 等待 nextBtn.click(); // 仅用于点击后检测：前进必须是由这次点击引起的 const 高级 = 等待 Promise.any([ 页面 .waitForURL(url => url.toString() !== previousUrl, { 超时: 5000 }) .then(() => true), 页面 .waitForFunction( 上一页 => { const first = document.querySelector('.result-item'); return !!first && (first.textContent || '').trim() !== prev; }, 上一个第一项， { 超时：5000 } ） .then(() => true), ]).catch(() => false); 如果（！高级）中断；等待 page.waitForLoadState('networkidle').catch(() => {}); 页索引 += 1; } ## 执行链 ### 第 1 步：了解目标从用户请求中识别： * **URL** — 要从中提取的页面 * **数据形状** — 需要哪些字段/列 * **范围** — 单页、分页、无限滚动或多页爬行 * **输出格式** — JSON（默认）、CSV 或其他 ### 步骤2：获取选择器并选择执行路径 # 首先尝试 Actionbook 索引操作手册搜索“<站点> <数据描述>”--domain <域> # 如果结果良好（健康度≥70%），则获得完整选择器操作手册获取“” 严格使用此路由： * **路径A（当`get`良好时默认）：**请求的字段被`get`选择器覆盖，质量可以接受。 * 从“get”选择器开始，快速移动到脚本草稿。 * 在最终确定脚本策略之前，您可以运行轻量级机制探测（“浏览器文本”、快速滚动检查）。 * **不要在初稿之前运行完整后备（`snapshot` / `screenshot`），除非探针/样本验证显示不匹配。** * 字段映射必须默认为“get”选择器并将源标记为“actionbook_get”。 * **路径 B（部分/不稳定）：** `get` 存在，但缺少必填字段，选择器解析 0 个元素，或验证失败。 * 仅针对失败的字段/步骤运行有针对性的后备。 * **路径C（无可用覆盖范围）：**搜索/获取没有可用结果。 * 运行完整的后备发现。 ### 步骤 3：仅在需要时探测页面机制和回退 Path A机制检测时序： * 在**最终脚本草案之前**或**样本验证**期间运行最少的探测。 * 在执行任何探测命令之前，请确保打开正确的页面上下文： *`actionbook 浏览器打开“”`（如果当前选项卡上下文未知/过时） * 如果探测/样本运行表明不匹配（缺少行、不稳定的选择器、错误的分页行为），则升级到路径 B 目标回退。按路径回退发现： **路径 B 目标回退（仅失败的字段/步骤）：** Actionbook 浏览器打开“”# 如果尚未打开 Actionbook 浏览器快照 # 关注失败的字段/容器映射 # Actionbook 浏览器屏幕截图 # 失败区域的可选视觉确认 **路径 C 完全后备（无可用覆盖范围）：** Actionbook 浏览器打开“” Actionbook 浏览器快照 Actionbook浏览器截图机制探测（当脚本策略需要确认时运行）： # 水合/流水检查 Actionbook 浏览器文本“<容器选择器>” # 无限滚动快速信号（明确的前/后决定） Actionbook 浏览器 eval "document.querySelectorAll('').length" # 之前 Actionbook 浏览器单击“”# 焦点滚动上下文 Actionbook 浏览器 eval "const c=document.querySelector('') || document.scrollingElement; c.scrollBy(0, c.clientHeight || window.innerHeight);" Actionbook 浏览器 eval "document.querySelectorAll('').length" # 之后 # 如果计数增加，则将页面视为延迟加载/无限滚动。回退触发条件： * `actionbook get` 无法映射所有必填字段。 * `actionbook get` 选择器在示例运行中返回空/不稳定值。 * 运行时行为与预期机制冲突（例如，虚拟化容器、延迟水合作用）。 ### 步骤 4：生成剧作家脚本编写一个独立的 Playwright 脚本（`extract__.cjs`）： 1. 导航至目标 URL。 2. 等待正确的就绪信号（不仅仅是“load”——参见上面的机制）。 3. 处理检测到的机制（虚拟滚动、分页等）。 4. 将数据提取为结构化对象。 5. 将输出写入磁盘（`JSON.stringify`/CSV）。 6. 关闭浏览器。 7. 强制执行护栏（`maxPages`、`maxScrolls`、超时预算）以避免无限循环。 **脚本模板：** // extract_<域>_.cjs // 由Actionbook提取技能生成 // 用法：节点 extract__.cjs const { chromium } = require('剧作家'); （异步（）=> { const 浏览器 = 等待 chromium.launch(); const page = 等待 browser.newPage(); 等待 page.goto('', { waitUntil: 'domcontentloaded' }); // -- 等待准备就绪 -- wait page.waitForSelector('', { state: 'visible' }); // -- 提取 -- const data = wait page.$$eval('', items => items.map(el => ({ // 从用户请求映射的字段 }）））； // -- 输出 -- const fs = require('fs'); fs.writeFileSync('output.json', JSON.stringify(data, null, 2)); console.log(`提取${data.length}个项目→output.json`); 等待浏览器.close(); })(); ### 步骤5：执行并验证运行脚本以确认其有效：节点提取_<域>_.cjs **验证规则：** 检查 |通过条件 ---|--- 脚本退出 0 |无运行时错误输出文件存在 |写入非空文件记录数 > 0 |至少提取一项没有 null/空字段 |每个声明的字段在 ≥ 90% 的记录中都有值数据匹配页面|根据“actionbook 浏览器文本”抽查第一个和最后一个记录如果验证失败，请检查输出，调整选择器或等待策略，然后重新运行。 ### 第 6 步：交付呈现给用户： 1. **脚本路径** — 他们可以随时重新运行的“.cjs”文件。 2. **数据路径** — 输出 JSON/CSV 文件。 3. **记录数** — 提取了多少项目。 4. **注释** — 任何特定于机制的警告（例如，“本网站使用无限滚动；脚本默认滚动最多 50 页”）。 ## 输出合约每个“extract”调用都会产生：神器|路径|格式 ---|---|--- 编剧剧本 | `./extract_<域>_.cjs` |使用“playwright”的独立 Node.js 脚本提取的数据| `./output.json` （默认）或用户指定的路径 | JSON 对象数组（默认）、CSV 或用户指定的该脚本必须是**可重新运行的** — 只要 Node.js + Playwright 在运行时环境中可用，用户就应该能够在以后不安装 Actionbook 的情况下执行该脚本。 ## 选择器优先级当“actionbook get”中有多种选择器类型可用时：优先|类型 |原因 ---|---|--- 1 | `数据测试id` |稳定、面向测试、很少变化 2 | `aria-标签` |可访问性驱动，语义上有意义 3 | CSS 选择器 |结构性，重新设计时可能会破裂 4 | XPath |最后的手段，也是最脆弱的 ## 错误处理错误 |行动 ---|--- `actionbook search` 没有返回结果 |回退到“快照”\+“屏幕截图” 选择器返回 0 个元素 |重新截图，与截图比较，更新选择器脚本超时 |添加更长的`waitForTimeout`，检查反机器人措施部分数据（某些字段为空）|检查内容是否延迟加载；添加滚动/等待反机器人/验证码 |通知用户；建议使用“headless: false”运行或通过“actionbook setup”扩展模式使用自己的浏览器会话

提炼

包含技能