# 实验设计 ## 目录 * 目的 * 何时使用 * 这是什么？ * 工作流程 * 常见模式 * 护栏 * 快速参考 ## 目的实验设计 (DOE) 可帮助您系统地发现多个因素如何影响结果，同时最大限度地减少实验运行次数。美国能源部不是一次测试一个变量（效率低下）或随机猜测（不可靠），而是使用结构化实验设计来： * **筛选**众多因素，找到关键的几个 * **优化**因子设置以最大化/最小化响应 * **发现因素相互影响的相互作用** * **绘制响应面**以了解完整的因子空间 * **验证针对噪声和环境变化的鲁棒性** ## 何时使用在以下情况下使用此技能： * **有限的实验预算**：您对测试的时间、成本或资源有限制 * **多重因素**：3+个可能影响结果的可控变量 * **相互作用怀疑**：因素可能相互作用（A 的影响取决于 B 的水平） * **需要优化**：找到最佳设置，而不仅仅是“比基线更好” * **需要筛选** ：许多候选因素（10+），需要确定重要的少数因素 * **响应面**：需要映射曲率，找到峰/谷，了解权衡 * **稳健的设计**：尽管存在噪音因素或环境变化，但仍必须正常工作 * **流程改进**：制造、化学流程、软件性能调整 * **产品开发**：具有多个参数的配方、配方、配置 * **A/B/n 测试**：具有多种变体和组合的 Web/应用程序功能 * **机器学习**：具有多个参数的模型的超参数调整触发短语：“优化”、“调整参数”、“因子测试”、“交互作用”、“响应面”、“高效实验”、“最小化运行”、“稳健性”、“敏感性分析” ## 这是什么？实验设计是一个用于规划、执行和分析实验的统计框架，您可以在其中故意改变多个输入因素以观察对输出响应的影响。 **简单示例：** 您正在通过 3 个因素来优化网络注册流程： * **因素 A**：表单布局（单页与多步骤） * **因素 B**：CTA 按钮颜色（蓝色与绿色） * **因素 C** ：社会证明（推荐与用户数量） **朴素方法**：一次测试一个 = 6 次运行（每个水平 2 个水平 × 3 个因子） * 但你怀念互动！也许蓝色更适合单页，绿色更适合多步骤。 **DOE 方法**：2³ 因子设计 = 8 次运行 * 测试所有组合：（单个/蓝色/推荐）、（单个/蓝色/计数）、（单个/绿色/推荐）等。 *揭示主要影响和相互作用 * 检测差异的统计能力 **结果**：您发现布局和 CTA 颜色相互作用强烈 - 多步骤 + 绿色胜过一切，但单页 + 蓝色紧随其后。社会认同的作用微乎其微。充满信心地做出数据驱动的决策。 ## 工作流程复制此清单并跟踪您的进度：实验设计进展： - [ ] 步骤 1：定义目标和约束 - [ ] 第 2 步：确定因素、水平和响应 - [ ] 步骤 3：选择实验设计 - [ ] 步骤 4：计划执行细节 - [ ] 步骤5：创建实验计划文档 - [ ] 第 6 步：验证质量 **第 1 步：定义目标和约束** 明确实验目标（筛选与优化）、响应指标、实验预算（最大运行次数）、时间/成本限制和成功标准。有关典型目标，请参阅常见模式。 **第 2 步：确定因素、水平和响应** 列出所有候选因素（可控输入），指定每个因素的水平（低/高或离散值），对因素进行分类（控制与噪声），并定义响应变量（可测量的输出）。要筛选许多因子 (8+)，请参阅 Plackett-Burman 和分数因子方法的 [resources/methodology.md]()。 **第3步：选择实验设计** 基于目标和约束： * **用于筛选 5 个以上因子且运行有限** → 使用 [resources/methodology.md]() 进行分数阶乘或 Plackett-Burman * **用于优化 2-5 个因子** → 使用 [resources/template.md]() 进行全阶乘或部分阶乘 * **对于响应曲面映射** → 使用 [resources/methodology.md]() 进行中心复合或 Box-Behnken * **针对噪声的稳健设计** → 使用 [resources/methodology.md]() 进行参数与噪声因子数组 **第4步：计划执行细节** 指定随机顺序（消除时间趋势）、分块策略（控制干扰变量）、复制计划（估计误差）、样本量合理性（功效分析）和测量协议。请参阅护栏了解关键要求。 **第5步：创建实验计划文档** 创建包含以下部分的“design-of-experiments.md”：目标、因素表、设计矩阵（具有因素设置的运行顺序）、响应变量、执行协议和分析计划。使用 [resources/template.md]() 进行结构。 **第 6 步：验证质量** 使用 [resources/evaluators/rubric_design_of_experiments.json]() 进行自我评估。检查：客观清晰度、因素完整性、设计适当性、随机化计划、测量协议、统计功效、分析计划和可交付质量。 **最低标准**：交付前平均分≥3.5。 ## 常见模式 **模式 1：筛选（许多因素→重要的少数因素）** * **背景**：10-30 个候选因素，有限的预算，想要确定 3-5 个关键因素 * **方法**：Plackett-Burman 或分数阶乘（决议 III/IV） * **输出**：效果大小的帕累托图，后续优化的候选名单 * **示例**：使用 15 个配置参数进行软件性能调整 **模式 2：优化（找到最佳设置）** * **上下文**：2-5 个因素已被确定为重要，想要找到最佳水平 * **方法**：全阶乘 (2^k) 或分数阶乘 + 最陡上升 * **输出** ：主效应图、交互图、推荐设置 * **示例**：具有温度、压力、时间因素的制造过程 **模式 3：响应面（绘制景观）** * **上下文**：需要了解曲率，找到最大/最小值，量化权衡 * **方法**：中央复合设计 (CCD) 或 Box-Behnken * **输出**：响应面方程、等高线图、最佳区域 * **示例**：化学配方及成分比例 **模式 4：稳健设计（尽管有噪音也能工作）** * **背景**：尽管存在不可控的变化，产品/流程仍必须表现良好 * **方法**：田口内外阵列（控制×噪声系数） * **输出**：最小化对噪声因素的敏感性的设置 * **示例**：必须在温度/湿度范围内工作的消费品 **模式 5：顺序实验（学习然后完善）** * **上下文**：高度不确定性，希望以最小的浪费迭代学习 * **方法**：筛选→最速上升→响应面→确认 * **输出**：逐步细化的理解和设置 * **示例**：具有未知因素关系的新产品开发 ## 护栏 **关键要求：** 1. **随机化运行顺序**：消除时间顺序偏差和潜伏变量的混淆。使用随机数生成器，而不是“方便”的序列。 2. **复制中心点**：对于具有连续因子的设计，复制中心点运行（3-5 次）以估计纯误差并检测曲率。 3. **避免混淆关键交互作用**：在分数阶乘中，不要将重要的双向交互作用与主效应混淆。如果相互作用很重要，请选择分辨率 ≥ IV。 4. **检查设计平衡**：确保正交性（设计矩阵中的因素不相关）。相关性 > 0.3 会降低精度和可解释性。 5. **精确定义响应**：使用客观、定量、可重复的测量。避免主观评分，除非与多个评估者进行校准。 6. **证明样本量**：运行功效分析以确保设计能够检测到有意义的效应大小，且具有可接受的 II 类错误风险 (β ≤ 0.20)。 7. **文件假设**：说明预期影响大小、相互作用假设、噪声方差估计。设计的有效性取决于这些。 8. **运行前计划分析**：在数据收集之前指定统计检验、显着性水平 (α)、效应大小指标。防止 p-hacking。 **常见陷阱：** * ❌ **一次一个因子 (OFAT)** ：错过交互作用，需要比因子设计更多的运行次数 * ❌ **忽略阻塞**：如果运行跨越天/批次/操作员，则相应地阻塞或将结果与时间趋势混淆 * ❌ **级别太多**：最初使用 2-3 个级别。更多级别会以指数方式增加运行次数。 * ❌ **未测量的因素** : 如果一个重要因素没有被控制/测量，它就会变成噪音 * ❌ **在实验中更改协议**：破坏设计结构。如有必要，重新启动或单独分析。 ## 快速参考 **关键资源：** * **[resources/template.md]()**：常见设计的快速入门模板（因子、筛选、响应面） * **[resources/methodology.md]()**：高级技术（优化设计、田口、混合实验、顺序策略） * **[resources/evaluators/rubric_design_of_experiments.json]()**：实验计划的质量标准 **典型工作流程时间：** * 简单阶乘（2-4 因数）：15-30 分钟 * 筛选设计（8+因素）：30-45分钟 * 响应面设计：45-60分钟 * 稳健设计（田口）：60-90 分钟 **何时升级：** * 用户需要混合实验（因子之和必须为100%） * 需要裂区设计（难以改变的因素） * 不规则约束的优化设计 * 贝叶斯自适应设计 → 对于这些高级案例使用 [resources/methodology.md]() **所需输入：** * **流程/系统** ：您正在试验的内容 * **因素**：具有候选级别的可控输入列表 * **响应**：可衡量的输出（KPI、指标） * **限制**：预算（最大运行次数）、时间、资源 * **目标**：筛选、优化、响应面或稳健设计 **产生的产出：** * `design-of-experiments.md`：完整的实验计划，包括设计矩阵、随机化、方案、分析方法

实验设计

包含技能