# FireCrawl 高级故障排除 ## 概述针对难以进行标准故障排除的复杂 FireCrawl 问题的深度调试技术。 ## 先决条件 * 访问生产日志和指标 * kubectl访问集群 * 可用网络捕获工具 * 分布式追踪的理解 ## 证据收集框架 ### 综合调试包 #!/bin/bash # 高级-firecrawl-debug.sh BUNDLE="firecrawl-advanced-debug-$(日期 +%Y%m%d-%H%M%S)" mkdir -p "$BUNDLE"/{日志、指标、网络、配置、跟踪} # 1. 扩展日志（1小时窗口） kubectl 日志 -l app=firecrawl-integration --since=1h > "$BUNDLE/logs/pods.log" Journalctl -u firecrawl-service --since "1 小时前" > "$BUNDLE/logs/system.log" # 2. 指标转储 curl -s localhost:9090/api/v1/query?query=firecrawl_requests_total >“$BUNDLE/metrics/requests.json” curl -s localhost:9090/api/v1/query?query=firecrawl_errors_total >“$BUNDLE/metrics/errors.json” # 3.网络捕获（30秒）超时 30 tcpdump -i 任何端口 443 -w "$BUNDLE/network/capture.pcap" & # 4. 分布式痕迹 curl -s localhost:16686/api/traces?service=firecrawl > "$BUNDLE/traces/jaeger.json" # 5.配置状态 kubectl get cm firecrawl-config -o yaml > "$BUNDLE/config/configmap.yaml" kubectl 获取秘密 firecrawl-secrets -o yaml > "$BUNDLE/config/secrets-redacted.yaml" tar -czf“$BUNDLE.tar.gz”“$BUNDLE” echo "高级调试包：$BUNDLE.tar.gz" ## 系统隔离 ### 逐层测试 // 独立测试每一层异步函数diagnoseFireCrawlIssue(): Promise { 常量结果：DiagnosisResult[] = []； // 第 1 层：网络连接结果.push(等待 testNetworkConnectivity()); // 第二层：DNS解析 results.push(等待 testDNSResolution('api.firecrawl.com')); // 第 3 层：TLS 握手 results.push(等待 testTLSHandshake('api.firecrawl.com')); // 第 4 层：身份验证结果.push(等待 testAuthentication()); // 第 5 层：API 响应结果.push(等待 testAPIResponse()); // 第 6 层：响应解析结果.push(等待 testResponseParsing()); return { results,firstFailure: results.find(r => !r.success) }; } ### 最小复制 // 剥离到绝对最小值异步函数minimalRepro(): Promise { // 1. 全新客户端，无需定制 const 客户端 = 新 FireCrawlClient({ apiKey: process.env.FIRECRAWL_API_KEY!, }); // 2. 最简单的调用尝试{ const 结果 = 等待 client.ping(); console.log('Ping 成功：', 结果); } 捕获（错误）{ console.error('Ping 失败：', { 消息：错误消息，代码：错误代码，堆栈：错误.堆栈， }); } } ## 时序分析类时序分析器 { 私人计时：Map = new Map(); 异步测量 (标签: string, fn: () => Promise): Promise { const start = Performance.now(); 尝试{ 返回等待 fn(); }最后{ const 持续时间 = Performance.now() - 开始； const 现有 = this.timings.get(label) || []；现有的.push(持续时间); this.timings.set（标签，现有）； } } 报告（）：计时报告{ const 报告：TimingReport = {}； for (const [label, times] of this.timings) { 报告[标签] = { 计数：次数.长度，分钟：Math.min(...次), 最大值：Math.max(...次), avg: times.reduce((a, b) => a + b, 0) / times.length, p95: this.percentile(times, 95), }; } 返回报告； } } ## 内存和资源分析 // 检测 FireCrawl 客户端使用中的内存泄漏 const heapUsed: number[] = []; 设置间隔（（）=> { const 用法 = process.memoryUsage(); heapUsed.push(usage.heapUsed); // 持续增长警报 if (heapUsed.length > 60) { // 1 小时，1/分钟 const 趋势 = heapUsed[59] - heapUsed[0]; if (trend > 100 * 1024 * 1024) { // 增长 100MB console.warn('firecrawl 集成中潜在的内存泄漏'); } } }, 60000); ## 竞争条件检测 // 检测并发访问问题类 FireCrawlConcurrencyChecker { 私有 inProgress: Set<字符串> = new Set(); 异步执行 (key: string, fn: () => Promise): Promise { if (this.inProgress.has(key)) { console.warn(`检测到 ${key} 的并发访问`); } this.inProgress.add(key); 尝试{ 返回等待 fn(); }最后{ this.inProgress.delete(key); } } } ## 支持升级模板 ## FireCrawl 支持升级 **严重性：** P[1-4] **请求 ID：** [来自错误响应] **时间戳：** [ISO 8601] ### 问题摘要【一段描述】 ### 重现步骤 1. [步骤1] 2. [步骤2] ### 预期与实际 - 预期：[行为] - 实际：[行为] ### 附证据 - [ ] 调试包 (firecrawl-advanced-debug-*.tar.gz) - [ ] 最小复制代码 - [ ] 时序分析 - [ ] 网络捕获（如果相关） ### 尝试的解决方法 1. [解决方法 1] - 结果：[结果] 2. [解决方法 2] - 结果：[结果] ## 说明 ### 第 1 步：收集证据包运行综合调试脚本以收集所有相关数据。 ### 第 2 步：系统隔离独立测试每一层以确定故障点。 ### 步骤 3：创建最小复制精简到最简单的失败案例。 ### 第 4 步：用证据升级使用包含所有收集的证据的支持模板。 ## 输出 * 收集全面的调试包 * 识别故障层 * 最小化复制 * 支持升级提交 ## 错误处理问题 |原因 |解决方案 ---|---|--- 无法重现 |比赛条件|添加时序分析间歇性故障|时间相关 |增加样本量没有有用的日志 |缺少仪器|添加调试日志记录记忆增长|资源泄漏 |使用堆分析 ## 示例 ### 快速层测试 # 按顺序测试每一层卷曲-v https://api.firecrawl.com/health 2>&1 | grep -E "(已连接|TLS|HTTP)" ## 资源 * [FireCrawl 支持门户]() * [FireCrawl 状态页面]() ## 后续步骤对于负载测试，请参阅“firecrawl-load-scale”。

Firecrawl 高级故障排除

包含技能