# 统计分析 ## 概述统计分析是检验假设和量化关系的系统过程。通过假设检查和 APA 报告进行假设检验（t 检验、方差分析、卡方）、回归、相关性和贝叶斯分析。将这项技能应用于学术研究。 ## 何时使用此技能该技能应该在以下情况下使用： * 进行统计假设检验（t 检验、方差分析、卡方） * 进行回归或相关分析 * 运行贝叶斯统计分析 * 检查统计假设和诊断 * 计算效应大小并进行功效分析 * 以APA格式报告统计结果 * 分析实验或观察数据以进行研究 ** ** ## 核心能力 ### 1\.测试选择和计划 * 根据研究问题和数据特征选择适当的统计检验 * 进行先验功效分析以确定所需的样本量 * 规划分析策略，包括多重比较校正 ### 2\.假设检验 * 在运行测试之前自动验证所有相关假设 * 提供诊断可视化（Q-Q 图、残差图、箱线图） * 在违反假设时建议采取补救措施 ### 3\.统计测试 * 假设检验：t 检验、方差分析、卡方、非参数替代 * 回归：线性、多重、逻辑、带诊断 * 相关性：Pearson、Spearman、置信区间 * 贝叶斯替代方案：贝叶斯 t 检验、方差分析、贝叶斯因子回归 ### 4\.效应大小和解释 * 计算并解释所有分析的适当效应量 * 提供效果估计的置信区间 * 区分统计意义和实际意义 ### 5\.专业报告 * 生成APA风格的统计报告 * 创建可供出版的图表 * 提供完整的解释以及所有必需的统计数据 ** ** ## 工作流决策树使用此决策树来确定您的分析路径：开始 │ ├─ 需要选择统计测试？ │ └─ 是 → 请参阅“测试选择指南” │ └─ 否 → 继续 │ ├─ 准备好检查假设了吗？ │ └─ 是 → 参见“假设检验” │ └─ 否 → 继续 │ ├─ 准备好运行分析了吗？ │ └─ 是 → 请参阅“运行统计测试” │ └─ 否 → 继续 │ └─ 需要报告结果？ └─ 是 → 请参阅“报告结果” ** ** ## 测试选择指南 ### 快速参考：选择正确的测试使用“references/test_selection_guide.md”获取全面指导。快速参考： **比较两组：** * 独立、连续、正态 → 独立 t 检验 * 独立、连续、非正态→Mann-Whitney U 检验 * 配对、连续、正态 → 配对 t 检验 * 配对、连续、非正态 → Wilcoxon 符号秩检验 * 二元结果→卡方或费舍尔精确检验 **比较 3 个以上组：** * 独立、连续、正态 → 单向方差分析 * 独立、连续、非正态 → Kruskal-Wallis 检验 * 配对、连续、正态 → 重复测量方差分析 * 配对、连续、非正态→弗里德曼检验 **关系：** * 两个连续变量 → Pearson（正态）或 Spearman 相关（非正态） * 具有预测变量的连续结果 → 线性回归 * 带有预测变量的二元结果 → 逻辑回归 **贝叶斯替代方案：** 所有测试都有贝叶斯版本，提供： * 关于假设的直接概率陈述 * 贝叶斯因子量化证据 * 能够支持原假设 * 参见 `references/bayesian_statistics.md` ** ** ## 假设检验 ### 系统假设验证 **在解释测试结果之前始终检查假设。** 使用提供的“scripts/assume_checks.py”模块进行自动检查：从scripts.assume_checks导入全面_假设_检查 # 通过可视化进行全面检查结果=全面假设检查（数据=df, value_col='分数', group_col='group', # 可选：用于组比较阿尔法=0.05 ）这执行： 1. **异常值检测**（IQR 和 z 分数方法） 2. **正态性检验**（Shapiro-Wilk 检验 + Q-Q 图） 3. **方差齐性**（Levene 检验 + 箱线图） 4. **解释和建议** ### 个人假设检查对于有针对性的检查，请使用单独的函数：从 script.assume_checks 导入 ( 检查正态性， check_normality_per_group, 检查方差的同质性，检查线性度，检测异常值） # 示例：通过可视化检查正态性结果 = 检查正态性（数据=df['分数'], name='考试成绩', 阿尔法=0.05，情节=真）打印（结果['解释']） print(结果['推荐']) ### 违反假设时该怎么办 **违反常态：** * 轻度违规 + 每组 n > 30 → 继续进行参数测试（稳健） * 中度违规 → 使用非参数替代方案 * 严重违规 → 变换数据或使用非参数检验 **违反方差齐性：** * 对于 t 检验 → 使用 Welch 的 t 检验 * 对于方差分析 → 使用 Welch 方差分析或 Brown-Forsythe 方差分析 * 对于回归 → 使用稳健标准误差或加权最小二乘法 **违反线性（回归）：** * 添加多项式项 * 变换变量 * 使用非线性模型或GAM 请参阅“references/assurations_and_diagnostics.md”以获得全面的指导。 ** ** ## 运行统计测试 ### Python 库用于统计分析的主要库： * **scipy.stats** ：核心统计测试 * **statsmodels** ：高级回归和诊断 * **pingouin** ：用户友好的统计测试与效果大小 * **pymc** ：贝叶斯统计建模 * **arviz** ：贝叶斯可视化和诊断 ### 示例分析 #### 具有完整报告的 T 测试将 pingouin 导入为 pg 将 numpy 导入为 np # 运行独立 t 检验结果 = pg.ttest(group_a, group_b, Correction='auto') # 提取结果 t_stat = 结果['T'].values[0] df = 结果['dof'].values[0] p_value = 结果['p-val'].values[0] cohens_d = 结果['cohen-d'].values[0] ci_lower = 结果['CI95%'].values[0][0] ci_upper = 结果['CI95%'].values[0][1] # 报告 print(f"t({df:.0f}) = {t_stat:.2f}, p = {p_value:.3f}") print(f"Cohen's d = {cohens_d:.2f}, 95% CI [{ci_lower:.2f}, {ci_upper:.2f}]") #### 方差分析与事后检验将 pingouin 导入为 pg # 单向方差分析 aov = pg.anova(dv='分数', 之间='组', 数据=df, 详细=True) 打印（aov） # 如果显着，进行事后测试如果 aov['p-unc'].values[0] < 0.05: posthoc = pg.pairwise_tukey(dv='分数', Between='group', data=df) 打印（事后） # 效果大小 eta_squared = aov['np2'].values[0] # 部分 eta 平方 print(f"部分 η² = {eta_squared:.3f}") #### 带诊断的线性回归将 statsmodels.api 导入为 sm 从 statsmodels.stats.outliers_influence 导入variance_inflation_factor # 拟合模型 X = sm.add_constant(X_predictors) # 添加截距模型 = sm.OLS(y, X).fit() # 总结打印（模型.摘要（）） # 检查多重共线性 (VIF) vif_data = pd.DataFrame() vif_data["变量"] = X.列 vif_data["VIF"] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])] 打印（vif_数据） # 检查假设残差 = model.resid 拟合=模型.拟合值 # 残差图将 matplotlib.pyplot 导入为 plt 图，轴 = plt.subplots(2, 2, Figsize=(12, 10)) # 残差与拟合轴[0, 0].scatter(拟合,残差,alpha=0.6) 轴[0, 0].axhline(y=0, 颜色='r', 线型='--') axis[0, 0].set_xlabel('拟合值') axis[0, 0].set_ylabel('残差') axis[0, 0].set_title('残差与拟合') # Q-Q 图从 scipy 导入统计数据 stats.probplot(残差, dist="norm",plot=axes[0, 1]) axes[0, 1].set_title('普通Q-Q') # 规模-位置轴[1, 0].scatter(拟合, np.sqrt(np.abs(残差/残差.std())), alpha=0.6) axis[1, 0].set_xlabel('拟合值') axis[1, 0].set_ylabel('√|标准化残差|') axis[1, 0].set_title('比例-位置') # 残差直方图轴[1, 1].hist（残差，bins=20，edgecolor='黑色'，alpha=0.7） axis[1, 1].set_xlabel('残差') axis[1, 1].set_ylabel('频率') axes[1, 1].set_title('残差直方图') plt.tight_layout() plt.show() #### 贝叶斯 T 检验将 pymc 导入为 pm 将 arviz 导入为 az 将 numpy 导入为 np 以 pm.Model() 作为模型： # 先验 mu1 = pm.Normal('mu_group1', mu=0, sigma=10) mu2 = pm.Normal('mu_group2', mu=0, sigma=10) 西格玛 = pm.HalfNormal('西格玛', 西格玛=10) # 可能性 y1 = pm.Normal('y1', mu=mu1, sigma=sigma, 观察=group_a) y2 = pm.Normal('y2', mu=mu2, sigma=sigma, 观察=group_b) # 导出数量 diff = pm.Deterministic('差异', mu1 - mu2) # 示例跟踪= pm.sample（2000，tune=1000，return_inferencedata=True） # 总结 print(az.summary(trace, var_names=['差异'])) # 组 1 > 组 2 的概率 prob_greater = np.mean(trace.posterior['difference'].values > 0) print(f"P(μ₁ > μ2 | data) = {prob_greater:.3f}") # 绘制后验图 az.plot_posterior(trace, var_names=['差异'], ref_val=0) ** ** ## 效果大小 ### 始终计算效果大小 **效应大小量化了幅度，而 p 值仅表明效应的存在。** 请参阅“references/effect_sizes_and_power.md”以获得全面的指导。 ### 快速参考：常见效果大小测试|效应大小|小|中等|大号 ---|---|---|---|--- T 检验 |科恩的 d | 0.20 | 0.20 0.50 | 0.50 0.80 方差分析 | η²_p | 0.01 | 0.01 0.06 | 0.06 0.14 相关性| r | 0.10 | 0.10 0.30 | 0.30 0.50 回归 | R² | 0.02 | 0.02 0.13 | 0.13 0.26 卡方 |克拉梅尔的 V | 0.07 | 0.07 0.21 | 0.21 0.35 **重要**：基准是指导方针。背景很重要！ ### 计算效果大小大多数效果大小由 pinouin 自动计算： # T 检验返回 Cohen 的 d 结果 = pg.ttest(x, y) d = 结果['cohen-d'].values[0] # 方差分析返回部分 eta 平方 aov = pg.anova(dv='分数', Between='组', data=df) eta_p2 = aov['np2'].values[0] # 相关性：r 已经是效果大小校正 = pg.校正(x, y) r = corr['r'].values[0] ### 效应大小的置信区间始终报告 CI 以显示精度：从 pingouin 导入compute_effsize_from_t # 用于 t 检验 d, ci = 计算_effsize_from_t( t_统计量， nx=len(组1), ny=len(组2), eftype='科恩' ） print(f"d = {d:.2f}, 95% CI [{ci[0]:.2f}, {ci[1]:.2f}]") ** ** ## 功率分析 ### 先验功效分析（研究计划）在数据收集之前确定所需的样本量：从 statsmodels.stats.power 导入（ tt_ind_solve_power， FT测试方差分析功率） # T 检验：检测 d = 0.5 需要多少 n？ n_required = tt_ind_solve_power( 效果大小=0.5，阿尔法=0.05，功率=0.80，比率=1.0，替代='双面' ） print(f"每组需要 n: {n_required:.0f}") # 方差分析：检测 f = 0.25 需要多少 n？ anova_power = FTestAnovaPower() n_per_group = anova_power.solve_power( 效果大小=0.25， n组=3，阿尔法=0.05，功率=0.80 ） print(f"每组需要 n: {n_per_group:.0f}") ### 敏感性分析（研究后）确定您可以检测到的效应大小： # 每组 n=50，我们可以检测到什么效果？可检测_d = tt_ind_solve_power( effect_size=None, # 解决这个问题诺布斯1=50，阿尔法=0.05，功率=0.80，比率=1.0，替代='双面' ） print(f"研究可以检测到 d ≥ {detectable_d:.2f}") **注意**：一般不建议进行事后功效分析（研究后计算功效）。请改用敏感性分析。有关详细指导，请参阅“references/effect_sizes_and_power.md”。 ** ** ## 报告结果 ### APA 风格的统计报告遵循“references/reporting_standards.md”中的指南。 ### 基本报告要素 1. **描述性统计**：所有组/变量的 M、SD、n 2. **测试统计**：测试名称、统计量、df、精确 p 值 3. **效果大小**：具有置信区间 4. **假设检查**：进行了哪些测试、结果、采取的行动 5. **所有计划分析**：包括非重大发现 ### 报告模板示例 #### 独立 T 检验 A 组（n = 48，M = 75.2，SD = 8.5）得分显着高于 B 组（n = 52，M = 68.3，SD = 9.2），t(98) = 3.82，p < .001，d = 0.77， 95% CI [0.36, 1.18]，双尾。正态性假设（Shapiro-Wilk： A 组 W = 0.97，p = .18； B 组 W = 0.96，p = .12) 和同质性方差（Levene 的 F(1, 98) = 1.23，p = .27）得到满足。 #### 单因素方差分析单向方差分析揭示了治疗条件的显着主效应根据测试分数，F(2, 147) = 8.45，p < .001，η²_p = .10。事后使用 Tukey 的 HSD 进行比较表明条件 A（M = 78.2， SD = 7.3）得分显着高于条件 B（M = 71.5， SD = 8.1，p = .002，d = 0.87）和条件 C（M = 70.1，SD = 7.9， p < .001，d = 1.07)。条件 B 和条件 C 没有显着差异（p = .52，d = 0.18）。 #### 多元回归进行多元线性回归来预测考试成绩学习时间、之前的 GPA 和出勤率。整体模型意义重大， F(3, 146) = 45.2，p < .001，R² = .48，调整后的 R² = .47。学习时间（B = 1.80，SE = 0.31，β = .35，t = 5.78，p < .001，95% CI [1.18，2.42]）和之前的 GPA（B = 8.52，SE = 1.95，β = .28，t = 4.37，p < .001， 95% CI [4.66, 12.38]）是显着的预测因素，而出勤率是不是（B = 0.15，SE = 0.12，β = .08，t = 1.25，p = .21，95% CI [-0.09，0.39]）。多重共线性不是一个问题（所有 VIF < 1.5）。 #### 贝叶斯分析使用弱贝叶斯独立样本 t 检验进行信息丰富的先验（平均差为 Normal(0, 1)）。后部分布表明A组得分高于B组（M_diff = 6.8，95% 可信区间 [3.2，10.4]）。贝叶斯因子 BF₁₀ = 45.3 提供了非常有力的证据来证明两者之间的差异组，A 组平均值超过的后验概率为 99.8% B组的平均值。收敛诊断令人满意（所有 R̂ < 1.01， ESS > 1000）。 ** ** ## 贝叶斯统计 ### 何时使用贝叶斯方法在以下情况下考虑贝叶斯方法： * 您有要合并的先前信息 * 你想要关于假设的直接概率陈述 * 样本量较小或计划连续数据收集 * 您需要量化原假设的证据 * 模型复杂（分层、缺失数据）请参阅“references/bayesian_statistics.md”以获取以下方面的全面指导： * 贝叶斯定理及其解释 * 事先规范（信息性、弱信息性、非信息性） * 使用贝叶斯因子进行贝叶斯假设检验 * 可信区间与置信区间 * 贝叶斯 t 检验、方差分析、回归和分层模型 * 模型收敛性检查和后验预测检查 ### 主要优势 1. **直观解释**：“根据数据，参数有 95% 的概率位于该区间内” 2. **无效的证据**：可以量化无效的支持 3. **灵活**：无 p-hacking 问题；可以在数据到达时对其进行分析 4. **不确定性量化**：完全后验分布 ** ** ## 资源该技能包括全面的参考资料： ### 参考目录 * **test_selection_guide.md** ：用于选择适当统计测试的决策树 * **assumations_and_diagnostics.md** ：检查和处理假设违规的详细指南 * **effect_sizes_and_power.md** ：计算、解释和报告效果大小；进行功率分析 * **bayesian_statistics.md** ：贝叶斯分析方法完整指南 * **reporting_standards.md** ：带有示例的 APA 风格报告指南 ### 脚本目录 * **assume_checks.py** ：通过可视化自动进行假设检查 * `complexive_assump_check()`：完整的工作流程 * `check_normality()`：使用 Q-Q 图进行正态性测试 * `check_ Uniformeity_of_variance()`：使用箱线图进行 Levene 检验 * `check_linearity()`：回归线性检查 * `detect_outliers()`：IQR 和 z 分数异常值检测 ** ** ## 最佳实践 1. **预先注册分析** 尽可能区分验证性和探索性 2. **在解释结果之前始终检查假设** 3. **报告效应大小**以及置信区间 4. **报告所有计划的分析**，包括不显着的结果 5. **区分统计意义和实际意义** 6. **分析前后的数据可视化** 7. **检查回归/方差分析的诊断**（残差图、VIF 等） 8. **进行敏感性分析**以评估稳健性 9. **共享数据和代码**以实现可重复性 10. **对违规、转变和决策保持透明** ** ** ## 要避免的常见陷阱 1. **P-hacking**：在事情变得重要之前不要测试多种方法 2. **HARKing**：不要将探索性发现作为证实性的证据 3. **忽略假设**：检查并报告违规情况 4. **混淆显着性和重要性**：p < .05 ≠ 有意义的效果 5. **不报告效应大小**：对于解释至关重要 6. **挑选结果**：报告所有计划的分析 7. **误解 p 值**：它们不是假设成立的概率 8. **多重比较**：在适当的时候纠正家庭错误 9. **忽略缺失数据**：了解机制（MCAR、MAR、MNAR） 10. **过度解释不显着的结果**：缺乏证据≠不存在证据 ** ** ## 入门清单开始统计分析时： * 定义研究问题和假设 * 确定适当的统计测试（使用test_selection_guide.md） * 进行功效分析以确定样本量 * 加载并检查数据 * 检查是否有缺失数据和异常值 * 使用假设_checks.py 验证假设 * 运行初步分析 * 使用置信区间计算效应大小 * 如果需要的话进行事后测试（并进行更正） * 创建可视化 * 按照reporting_standards.md写入结果 * 进行敏感性分析 * 共享数据和代码 ** ** ## 支持和进一步阅读对于以下问题： * **测试选择** ：参见references/test_selection_guide.md * **假设** ：参见references/assurations_and_diagnostics.md * **效果大小** : 参见references/effect_sizes_and_power.md * **贝叶斯方法**：参见references/bayesian_statistics.md * **报告**：参见references/reporting_standards.md **主要教材**： *科恩，J.（1988）。 _行为科学的统计功效分析_ * 菲尔德，A. (2013)。 _使用 IBM SPSS Statistics 发现统计数据_ * Gelman, A. 和 Hill, J. (2006)。 _使用回归和多级/分层模型进行数据分析_ * Kruschke，J.K.（2014）。 _进行贝叶斯数据分析_ **在线资源**： * APA 风格指南： * 统计咨询：交叉验证 (stats.stackexchange.com)

统计分析

包含技能