# Sweetviz EDA 比较技巧掌握 Sweetviz 进行自动探索性数据分析，具有强大的比较功能、目标变量分析和漂亮的 HTML 报告。 Sweetviz 擅长比较数据集（训练与测试）并针对目标变量分析特征。 ## 何时使用此技能 ### 在以下情况下使用 Sweetviz： * **数据集比较** \- 比较训练与测试、之前与之后或任何两个数据集 * **目标变量分析** \- 了解特征如何与目标相关 * **快速 EDA 报告** \- 需要在一行代码中进行全面的 EDA * **特征比较** \- 分析跨子集的特征分布 * **HTML 报告** \- 创建可共享的交互式分析报告 * **组内分析** \- 比较数据集中的子群体 * **数据验证** \- 检查数据集之间的数据漂移 * **特征选择** \- 识别建模的重要特征 ### 在以下情况下不要使用 Sweetviz： * **非常大的数据集** \- 超过 1M 行（使用采样） * **流数据** \- 需要实时分析 * **深度统计测试** \- 需要 p 值和假设检验 * **自定义可视化** \- 特定图表要求 * **交互式仪表板** \- 使用 Streamlit 或 Dash 代替 * **文本/NLP分析** \- 使用专用的NLP工具 ## 先决条件 # 基本安装 pip 安装 sweetviz # 使用 uv（推荐） uv pip 安装 sweetviz pandas numpy # 有了 Jupyter 支持 pip 安装 sweetviz pandas numpy jupyter # 验证安装 python -c“导入sweetviz作为sv;打印（f'Sweetviz版本：{sv.__version__}'）” ### 系统要求 * Python 3.6 或更高版本 * 熊猫 0.25.3 或更高版本 * 麻木 * matplotlib（用于内部绘图） * 现代网络浏览器（用于查看 HTML 报告） ## 核心能力 ### 1\.基本 EDA 报告（分析） **单一数据集分析：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np # 加载数据 df = pd.read_csv("data.csv") # 生成基本的EDA报告报告 = sv.analyze(df) # 保存 HTML 报告报告.show_html("sweetviz_report.html") # 在笔记本中显示（自动打开浏览器）报告.show_notebook() **来源名称：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd df = pd.read_csv("sales_data.csv") # 生成具有自定义名称的报告报告= sv.分析（来源=df, pairwise_analysis =“自动”＃“开”，“关”或“自动” ） report.show_html("sales_analysis.html", open_browser=True) **示例数据集：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np 从日期时间导入日期时间，时间增量 # 创建综合样本数据集 np.随机.种子(42) n = 5000 df = pd.DataFrame({ # 数字特征 "年龄": np.random.randint(18, 80, n), “收入”：np.random.exponential(50000, n), "credit_score": np.random.normal(700, 50, n).clip(300, 850).astype(int), "account_balance": np.random.exponential(10000, n), "transaction_count": np.random.poisson(15, n), # 分类特征 "性别": np.random.choice(["男", "女", "其他"], n, p=[0.48, 0.48, 0.04]), “教育”：np.random.choice( [“高中”、“学士”、“硕士”、“博士”]、 n, p=[0.3, 0.4, 0.2, 0.1] ), “就业状态”：np.random.choice( [“受雇”、“自雇”、“失业”、“退休”]、 n, p=[0.6, 0.2, 0.1, 0.1] ), "地区": np.random.choice(["北", "南", "东", "西"], n), # 日期特征 “加入日期”：[ 日期时间(2020, 1, 1) + timedelta(天=int(d)) 对于 np.random.uniform(0, 1460, n) 中的 d ], # 目标变量（二元分类） “搅动”：np.random.choice([0, 1], n, p=[0.8, 0.2]) }) # 添加一些缺失值 df.loc[np.random.choice(n, 200), "收入"] = np.nan df.loc[np.random.choice(n, 100), "credit_score"] = np.nan df.loc[np.random.choice(n, 150), "教育"] = np.nan # 基本分析报告 = sv.analyze(df) report.show_html("customer_analysis.html") ### 2\.目标变量分析 **二元目标分析：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np # 创建带有目标变量的数据集 np.随机.种子(42) n = 3000 df = pd.DataFrame({ “feature_1”：np.random.randn（n）， "feature_2": np.random.exponential(10, n), "feature_3": np.random.choice(["A", "B", "C"], n), "feature_4": np.random.randint(1, 100, n), "目标": np.random.choice([0, 1], n, p=[0.7, 0.3]) }) # 使用目标变量进行分析 # 显示每个特征与目标的关系报告= sv.分析（来源=df, target_feat="target" # 指定目标列）报告.show_html(“目标分析.html”) **持续目标分析：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np # 回归目标示例 np.随机.种子(42) n = 2000 # 影响目标的特征 x1 = np.random.randn(n) x2 = np.random.exponential(5, n) x3 = np.random.choice([0, 1], n) # 目标是特征+噪声的函数目标 = 10 + 2*x1 + 0.5*x2 + 3*x3 + np.random.randn(n) df = pd.DataFrame({ “特征线性”：x1， “feature_exp”：x2， “feature_binary”：x3， "feature_noise": np.random.randn(n), # 不相关的特征 "price": target # 连续目标 }) # 使用连续目标进行分析报告= sv.分析（来源=df, target_feat =“价格” ） report.show_html("regression_target_analysis.html") **多类别目标：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) 人数 = 2500 df = pd.DataFrame({ “feature_1”：np.random.randn（n）， "feature_2": np.random.uniform(0, 100, n), "类别": np.random.choice(["A", "B", "C"], n), “class_label”：np.random.choice( [“A类”，“B类”，“C类”，“D类”]， n, p=[0.4, 0.3, 0.2, 0.1] ） }) # 多类目标分析报告= sv.分析（来源=df, target_feat =“类标签” ） report.show_html("multiclass_analysis.html") ### 3\.数据集比较（Compare） **训练与测试比较：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np 从 sklearn.model_selection 导入 train_test_split # 创建样本数据集 np.随机.种子(42) n = 5000 df = pd.DataFrame({ “feature_1”：np.random.randn（n）， "feature_2": np.random.exponential(50, n), "feature_3": np.random.choice(["X", "Y", "Z"], n), "feature_4": np.random.randint(1, 100, n), "目标": np.random.choice([0, 1], n, p=[0.75, 0.25]) }) # 分为训练和测试 train_df，test_df = train_test_split（df，test_size = 0.2，random_state = 42） print(f"火车形状：{train_df.shape}") print(f"测试形状：{test_df.shape}") # 比较训练数据集和测试数据集比较报告 = sv.compare( source=[train_df, "训练数据"], 比较=[test_df, "测试数据"], target_feat =“目标” ） Comparison_report.show_html("train_test_comparison.html") **前后对比：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) # 有问题的原始数据 df_before = pd.DataFrame({ “值”：np.concatenate([ np.random.randn(900), np.array([50, -30, 100, 75, -50]) # 异常值 ]), "类别": np.random.choice(["A", "B", "C"], 905), "分数": np.random.uniform(0, 100, 905) }) # 添加缺失值 df_before.loc[np.random.choice(905, 80), "值"] = np.nan # 清理后的数据 df_after = df_before.copy() # 使用 IQR 删除异常值 Q1 = df_after["值"].quantile(0.25) Q3 = df_after["值"].quantile(0.75) IQR = Q3 - Q1 df_after = df_after[ (df_after["值"].isna()) | # 暂时保留 NaN ((df_after["值"] >= Q1 - 1.5 * IQR) & (df_after[“值”] <= Q3 + 1.5 * IQR)) ] # 填充缺失值 df_after["value"] = df_after["value"].fillna(df_after["value"].median()) # 清洁前与清洁后的比较比较 = sv.compare( source=[df_before, "清洁前"], Compare=[df_after, "清洁后"] ）比较.show_html("cleaning_comparison.html") **生产与开发数据：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) # 开发数据（历史） df_dev = pd.DataFrame({ “feature_1”：np.random.randn（3000）， "feature_2": np.random.exponential(100, 3000), "类别": np.random.choice(["A", "B", "C"], 3000, p=[0.5, 0.3, 0.2]) }) # 生产数据（分布略有不同 - 数据漂移） df_prod = pd.DataFrame({ "feature_1": np.random.randn(1000) * 1.2 + 0.3, # 移动和缩放 "feature_2": np.random.exponential(120, 1000), # 不同的平均值 "category": np.random.choice(["A", "B", "C", "D"], 1000, p=[0.4, 0.3, 0.2, 0.1]) # 新类别 }) # 检测数据漂移 drift_report = sv.compare( 来源=[df_dev，“开发”]，比较=[df_prod, "生产"] ） drift_report.show_html("data_drift_analysis.html") ### 4\.组内比较 (Compare_Intra) **比较数据集中的子群体：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) n = 4000 # 创建带有分类变量的数据集以进行分割 df = pd.DataFrame({ "年龄": np.random.randint(18, 70, n), “收入”：np.random.exponential(50000, n), “购买”：np.random.poisson(10, n), "satisfaction_score": np.random.uniform(1, 5, n), "customer_type": np.random.choice(["高级", "标准"], n, p=[0.3, 0.7]), “搅动”： np.random.choice([0, 1], n, p=[0.85, 0.15]) }) # 在同一数据集中比较高级客户和标准客户内部报告 = sv.compare_intra( 源_df = df， condition_series=df["customer_type"] == "Premium", name=["高级客户", "标准客户"], target_feat="搅动" ） intra_report.show_html("customer_type_comparison.html") **按布尔条件比较：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) n = 3000 df = pd.DataFrame({ "年龄": np.random.randint(18, 80, n), “收入”：np.random.exponential(60000, n), "credit_score": np.random.normal(700, 50, n).astype(int), "贷款金额": np.random.exponential(20000, n), "默认": np.random.choice([0, 1], n, p=[0.9, 0.1]) }) # 比较高收入和低收入客户中位数收入 = df["收入"].中位数() 收入比较 = sv.compare_intra( 源_df = df， Condition_series=df["收入"] > 收入中位数，名称=[“高收入”，“低收入”]， target_feat =“默认” ）收入_比较.show_html（“收入_段_比较.html”） **多段分析：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) n = 5000 df = pd.DataFrame({ "年龄": np.random.randint(18, 80, n), “花费”：np.random.exponential(500, n), “访问”：np.random.poisson(5, n), "地区": np.random.choice(["北", "南", "东", "西"], n), “转换”：np.random.choice([0, 1], n, p=[0.8, 0.2]) }) # 创建年龄组 df["年龄组"] = pd.cut( df["年龄"], 箱=[0, 30, 50, 100], labels=["年轻","中级","高级"] ） # 比较年轻人和老年人（中年除外）年龄比较 = sv.compare_intra( 源_df = df， condition_series=df["age_group"] == "年轻", name=["年轻(18-30)","老年(50+)"], target_feat =“已转换” ）年龄比较.show_html("age_group_comparison.html") ### 5\.功能配置 **指定特征类型：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) n = 2000 df = pd.DataFrame({ “id”：范围（1，n + 1）， "zip_code": np.random.randint(10000, 99999, n), # 应该是分类的 " rating": np.random.randint(1, 6, n), # 序数（1-5 颗星） “收入”：np.random.exponential(1000, n), "类别": np.random.choice(["A", "B", "C"], n), "目标": np.random.choice([0, 1], n) }) # 配置特征类型 feature_config = sv.FeatureConfig( Skip=["id"], # 跳过 ID 列 force_cat=["zip_code", " rating"], # 强制分类 force_num=[] # 强制为数值（如果需要））报告= sv.分析（来源=df, target_feat =“目标”， feat_cfg=feature_config ） report.show_html("configured_analysis.html") **跳过功能：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) 人数 = 1500 df = pd.DataFrame({ “user_id”：范围（n）， "session_id": [f"sess_{i}" for i in range(n)], "email": [f"user_{i}@example.com" for i in range(n)], “feature_1”：np.random.randn（n）， "feature_2": np.random.exponential(10, n), “结果”: np.random.choice([0, 1], n) }) # 跳过 ID 和 PII 列配置 = sv.FeatureConfig( 跳过=[“用户 ID”、“会话 ID”、“电子邮件”] ）报告= sv.分析（来源=df, target_feat =“结果”， feat_cfg=配置） report.show_html("filtered_analysis.html") ### 6\.成对分析控制 **控制相关性分析：** 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np np.随机.种子(42) n = 2000 # 具有许多特征的数据集 df = pd.DataFrame({ f“feature_{i}”：np.random.randn(n) for i in range(20) }) df["目标"] = np.random.choice([0, 1], n) # 禁用成对分析以提高速度 report_fast = sv.analyze( 来源=df, target_feat =“目标”， pairwise_analysis="off" # 更快，无相关矩阵） # 启用成对分析以获得完整的相关性 report_full = sv.analyze( 来源=df, target_feat =“目标”， pairwise_analysis="on" # 显示特征相关性） # 自动模式（默认）- 如果 < 20 个功能则启用 report_auto = sv.analyze( 来源=df, target_feat =“目标”， pairwise_analysis =“自动” ） report_full.show_html("full_pairwise.html") ## 完整示例 ### 示例 1：ML 数据集分析管道 #!/usr/bin/env python3 """ml_profiling_pipeline.py - 使用 Sweetviz 完成 ML 数据集分析""" 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np 从 sklearn.model_selection 导入 train_test_split 从日期时间导入日期时间导入操作系统导入 json def ml_profiling_pipeline( df: pd.DataFrame, 目标列：str，输出目录：str，测试大小：浮动= 0.2， id_cols：列表=无， cat_cols：列表=无 ) -> 字典： ”“” 完整的 ML 数据集分析管道。参数： df：输入数据帧 target_col：目标变量列名 output_dir：输出报告的目录 test_size：测试集比例 id_cols：要跳过的列（ID 等） cat_cols：强制分类的列返回：包含分析结果的字典 ”“” os.makedirs（output_dir，exist_ok = True）时间戳 = datetime.now().strftime("%Y%m%d_%H%M%S") print(f"启动 ML 分析管道") print(f"数据集形状：{df.shape}") print(f"目标列：{target_col}") 结果={ “时间戳”：时间戳， “original_shape”：df.shape， “目标列”：目标列， “报告”：{} } # 配置功能 feat_cfg = sv.FeatureConfig( 跳过 = id_cols 或 [], force_cat=cat_cols 或 [] ） # 1. 带目标的完整数据集分析 print("\n1.生成完整的数据集分析...") full_report = sv.analyze( 来源=df, target_feat=target_col, feat_cfg=feat_cfg, pairwise_analysis =“自动” ） full_path = os.path.join(output_dir, f"full_analysis_{timestamp}.html") full_report.show_html(full_path, open_browser=False) 结果[“报告”][“full_analysis”] = full_path print(f" 已保存：{full_path}") # 2. 分割数据 print("\n2.分为训练/测试...") train_df, test_df = train_test_split( df，test_size = test_size，random_state = 42， stratify=df[target_col] 如果 df[target_col].nunique() < 20 否则无）结果[“train_shape”] = train_df.shape 结果[“test_shape”] = test_df.shape print(f" 训练：{train_df.shape}，测试：{test_df.shape}") # 3. 训练与测试比较 print("\n3.生成训练与测试比较...") 比较报告 = sv.compare( source=[train_df, "训练集"], 比较=[test_df, "测试集"], target_feat=target_col, feat_cfg=feat_cfg ） Comparison_path = os.path.join(output_dir, f"train_test_comparison_{timestamp}.html") Comparison_report.show_html(comparison_path, open_browser=False) 结果[“报告”][“train_test_comparison”] = Comparison_path print(f" 已保存：{comparison_path}") # 4.目标类分析（用于分类）如果 df[target_col].nunique() <= 10: print("\n4.正在生成目标类比较...") # 获取最常见的类 top_classes = df[target_col].value_counts().nlargest(2).index.tolist() 如果 len(top_classes) >= 2: class_comparison = sv.compare_intra( 源_df = df， condition_series=df[target_col] == top_classes[0], 名称=[f"类：{top_classes[0]}"，f"类：{top_classes[1]}"]， feat_cfg=feat_cfg ） class_path = os.path.join(output_dir, f"class_comparison_{timestamp}.html") class_comparison.show_html(class_path, open_browser=False) 结果[“报告”][“类比较”] = 类路径 print(f" 已保存：{class_path}") # 5.汇总统计 print("\n5.正在计算汇总统计数据...") 结果[“feature_summary”] = { “total_features”：len(df.columns) - 1, "numeric_features": len(df.select_dtypes(include=[np.number]).columns) - 1, "categorical_features": len(df.select_dtypes(include=["object", "category"]).columns), "missing_values": df.isnull().sum().sum(), "missing_percentage": (df.isnull().sum().sum() / (df.shape[0] * df.shape[1])) * 100 } # 目标分布 target_dist = df[target_col].value_counts(normalize=True).to_dict() results["target_distribution"] = {str(k): round(v, 4) for k, v in target_dist.items()} # 保存结果 JSON results_path = os.path.join(output_dir, f"profiling_results_{timestamp}.json") 将 open(results_path, "w") 作为 f： json.dump(结果，f，缩进=2，默认=str) 打印(f"\n{'='*60}") print(f"管道完成！") print(f"报告保存到：{output_dir}") print(f"结果 JSON: {results_path}") 打印（f“{'='* 60}”）返回结果 def create_sample_ml_dataset(n_samples: int = 5000) -> pd.DataFrame: """创建示例 ML 数据集以进行演示。""" np.随机.种子(42) df = pd.DataFrame({ “customer_id”：范围（1，n_samples + 1）， "年龄": np.random.randint(18, 80, n_samples), “收入”：np.random.exponential（50000，n_samples）， "credit_score": np.random.normal(700, 50, n_samples).clip(300, 850).astype(int), "account_age_days": np.random.exponential(365, n_samples).astype(int), "num_products": np.random.poisson(3, n_samples), "total_transactions": np.random.poisson(50, n_samples), "avg_transaction_value": np.random.exponential(100, n_samples), “support_tickets”：np.random.poisson（2，n_samples）， "satisfaction_score": np.random.uniform(1, 5, n_samples), "tenure_category": np.random.choice(["新", "常规", "忠诚"], n_samples, p=[0.3, 0.4, 0.3]), "渠道": np.random.choice(["在线", "移动", "分行"], n_samples), "地区": np.random.choice(["北", "南", "东", "西"], n_samples), “搅动”：np.random.choice([0, 1], n_samples, p=[0.85, 0.15]) }) # 添加缺失值 df.loc[np.random.choice(n_samples, 200), "收入"] = np.nan df.loc[np.random.choice(n_samples, 100), "credit_score"] = np.nan df.loc[np.random.choice(n_samples, 150), "satisfaction_score"] = np.nan 返回df # 用法示例如果 __name__ == "__main__": # 创建样本数据集 df = create_sample_ml_dataset(5000) # 运行分析管道结果= ml_profiling_pipeline( df=df, target_col=“搅动”，输出目录=“ml_profiling_output”，测试大小=0.2， id_cols=["customer_id"], cat_cols=["credit_score"] ） print("\n结果摘要:") print(f" 火车形状：{结果['train_shape']}") print(f" 测试形状：{结果['test_shape']}") print(f" 目标分布：{results['target_distribution']}") ### 示例 2：数据质量评估 #!/usr/bin/env python3 """data_quality_assessment.py - 使用 Sweetviz 进行数据质量评估""" 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np 从日期时间导入日期时间导入操作系统导入 json def 评估数据质量（ df: pd.DataFrame, 输出目录：str， Reference_df：pd.DataFrame = None，目标列：str = 无 ) -> 字典： ”“” 全面的数据质量评估。参数： df：要评估的 DataFrame output_dir：报告的输出目录 Reference_df：用于比较的参考/基线数据集 target_col：可选目标变量返回：质量评估结果 ”“” os.makedirs（output_dir，exist_ok = True）时间戳 = datetime.now().strftime("%Y%m%d_%H%M%S") 结果={ “时间戳”：时间戳， “数据集形状”：df.shape， “质量指标”：{}， “报告”：[] } # 1. 基本质量指标 print("正在计算质量指标...") # 完整性细胞总数 = df.shape[0] * df.shape[1] Missing_cells = df.isnull().sum().sum() 完整性 = (1 - 缺失单元 / 单元总数) * 100 # 按列缺失 missing_by_col = df.isnull().sum().to_dict() missing_pct_by_col = {k: round(v / len(df) * 100, 2) for k, v inmissing_by_col.items()} # 独特性重复行 = df.duplicate().sum() 唯一性 = (1 - 重复行 / len(df)) * 100 # 基数基数 = {col: df[col].nunique() for col in df.columns} high_cardinality = [col for col, nunique in cardinality.items() 如果 nunique / len(df) > 0.9] Constant_cols = [col 为 col，nunique 在 cardinality.items() 中，如果 nunique <= 1] 结果[“质量指标”] = { “完整性得分”：轮（完整性，2）， “uniqueness_score”：轮（唯一性，2）， “total_missing_cells”：int（missing_cells）， “missing_by_column”：missing_pct_by_col， “重复行”：int（重复行）， “high_cardinality_columns”：high_cardinality， “常量列”：常量列， “基数”：基数 } # 2. 生成 Sweetviz 报告 print("正在生成 Sweetviz 分析报告...") # 配置跳过明显的 ID 列 Potential_ids = [col 为 df.columns 中的 col if df[col].nunique() == len(df) 或 col.lower() 中的“id”] feat_cfg = sv.FeatureConfig(skip=潜在_ids) Analysis_report = sv.analyze( 来源=df, target_feat=target_col, feat_cfg=feat_cfg, pairwise_analysis =“自动” ） report_path = os.path.join(output_dir, f"quality_analysis_{timestamp}.html") Analysis_report.show_html(report_path, open_browser=False) 结果[“报告”].append(report_path) # 3.参考比较（如果提供）如果reference_df不是None： print("正在生成参考比较报告...") 比较报告 = sv.compare( source=[reference_df, "参考/基线"], 比较=[df, "当前数据集"], target_feat=target_col, feat_cfg=feat_cfg ） Comparison_path = os.path.join(output_dir, f"reference_comparison_{timestamp}.html") Comparison_report.show_html(comparison_path, open_browser=False) 结果[“报告”].append(comparison_path) # 计算漂移指标漂移指标 = {} numeric_cols = df.select_dtypes(include=[np.number]).columns 对于 numeric_cols 中的 col：如果在reference_df.columns中列： ref_mean = reference_df[col].mean() curr_mean = df[col].mean() ref_std = reference_df[col].std() 如果 ref_std > 0：漂移 = abs(curr_mean - ref_mean) / ref_std drift_metrics[col] = round(漂移, 3) 结果[“drift_metrics”]=drift_metrics 结果[“significant_drift”] = [ col 为 col，如果分数 > 0.5，则在drift_metrics.items() 中得分 ] # 4. 保存结果 results_path = os.path.join(output_dir, f"quality_results_{timestamp}.json") 将 open(results_path, "w") 作为 f： json.dump(结果，f，缩进=2，默认=str) # 5. 打印摘要打印(f"\n{'='*60}") print("数据质量评估摘要") 打印（f“{'='* 60}”） print(f"数据集形状：{df.shape[0]} 行 x {df.shape[1]} 列") print(f"\n质量分数:") print(f" 完整性: {完整性:.1f}%") print(f" 唯一性: {uniqueness:.1f}%") print(f"\n发现问题:") print(f" 缺失值：{missing_cells:,}") print(f" 重复行：{duplicate_rows:,}") print(f" 常量列：{len(constant_cols)}") print(f" 高基数: {len(high_cardinality)}") 如果reference_df不是None并且results.get(“significant_drift”)： print(f"\n数据漂移警告:") print(f" 显着漂移：{results['significant_drift']}") print(f"\n报告保存到：{output_dir}") 打印（f“{'='* 60}”）返回结果 # 用法示例如果 __name__ == "__main__": np.随机.种子(42) n = 3000 # 创建当前数据集 df_current = pd.DataFrame({ “id”：范围（n）， “value_a”：np.random.randn(n), "value_b": np.random.exponential(100, n), "类别": np.random.choice(["X", "Y", "Z"], n), "分数": np.random.uniform(0, 100, n) }) # 添加一些质量问题 df_current.loc[np.random.choice(n, 200), "value_a"] = np.nan df_current.loc[np.random.choice(n, 100), "value_b"] = np.nan # 创建参考数据集（略有不同） df_reference = pd.DataFrame({ “id”：范围（n）， “value_a”：np.random.randn(n), "value_b": np.random.exponential(100, n), "类别": np.random.choice(["X", "Y", "Z"], n), "分数": np.random.uniform(0, 100, n) }) # 运行评估结果=评估数据质量（ df=df_当前， output_dir="quality_assessment_output", 参考_df = df_参考） ### 示例 3：特征选择分析 #!/usr/bin/env python3 """feature_selection_analysis.py - 使用 Sweetviz 进行 ML 特征分析""" 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np 从 sklearn.model_selection 导入 train_test_split 导入操作系统 defanalyze_features_for_selection( df: pd.DataFrame, 目标列：str，输出目录：str ) -> 字典： ”“” 使用 Sweetviz 分析要选择的特征。参数： df：具有特征和目标的输入数据帧 target_col：目标变量列名 output_dir：输出目录返回：特征分析结果 ”“” os.makedirs（output_dir，exist_ok = True） # 识别特征类型 numeric_features = df.select_dtypes(include=[np.number]).columns.tolist() categorical_features = df.select_dtypes(include=["object", "category"]).columns.tolist() # 从特征中删除目标如果 numeric_features 中的 target_col： numeric_features.remove(target_col) 如果 categorical_features 中的 target_col： categorical_features.remove（target_col） print(f"分析 {len(numeric_features)} 数字和 {len(categorical_features)} 分类特征") # 1. 目标全特征分析 print("\n1.生成完整的特征分析...") full_report = sv.analyze( 来源=df, target_feat=target_col, pairwise_analysis="on" # 启用相关性分析）完整报告.show_html( os.path.join（output_dir，“full_feature_analysis.html”）， open_browser=False ） # 2. 按目标类别分析如果 df[target_col].nunique() <= 10: print("\n2.按目标类分析特征分布...") target_values = df[target_col].unique() 如果 len(目标值) >= 2: # 比较前两个类类 1，类 2 = 排序（ df[target_col].value_counts().nlargest(2).index.tolist() ） class_report = sv.compare_intra( 源_df = df， condition_series=df[target_col] == class1, 名称=[f"目标={class1}", f"目标={class2}"] ）类报告.show_html( os.path.join（output_dir，“feature_by_target_class.html”）， open_browser=False ） # 3. 分析缺失的模式 Missing_cols = df.columns[df.isnull().any()].tolist() 如果缺少_列： print(f"\n3. 找到含有缺失值的 {len(missing_cols)} 列") # 创建缺失指标进行分析 df_missing = df.copy() 对于 Missing_cols 中的 col： df_missing[f"{col}_missing"] = df[col].isnull().astype(int) # 分析缺失值与目标的关系 Missing_cols_indicators = [f"{col}_missing" 代表 Missing_cols 中的 col] df_subset = df_missing[missing_cols_indicators + [target_col]] 缺失报告 = sv.analyze( 源=df_子集， target_feat=target_col ）缺少报告.show_html( os.path.join（output_dir，“missing_pattern_analysis.html”）， open_browser=False ） # 4.计算基本特征重要性指标 print("\n4.正在计算特征统计量...") 特征统计 = [] 对于 numeric_features 中的 col：统计数据 = { “特征”：上校， “类型”：“数字”， "missing_pct": df[col].isnull().mean() * 100, "unique_ratio": df[col].nunique() / len(df), "std": df[col].std(), "cv": df[col].std() / df[col].mean() 如果 df[col].mean() != 0 else 0 } # 如果目标是数字，则与目标相关如果 df[target_col].dtype 在 [np.int64, np.float64] 中： stats["target_correlation"] = df[col].corr(df[target_col]) feature_stats.append(统计) 对于 categorical_features 中的 col：统计数据 = { “特征”：上校， “类型”：“分类”， "missing_pct": df[col].isnull().mean() * 100, "unique_ratio": df[col].nunique() / len(df), "n_categories": df[col].nunique() } feature_stats.append(统计) feature_df = pd.DataFrame(feature_stats) feature_df.to_csv( os.path.join（output_dir，“feature_statistics.csv”），索引=假） print(f"\n报告保存到：{output_dir}") 返回{ “数字特征”：数字特征， “分类特征”：分类特征， “功能统计”：功能统计， “missing_columns”：missing_cols } # 用法示例如果 __name__ == "__main__": np.随机.种子(42) n = 3000 # 创建具有不同重要性的特征 x1 = np.random.randn(n) # 重要 x2 = np.random.randn(n) # 重要 x3 = np.random.randn(n) # 噪声 df = pd.DataFrame({ “重要特征_1”：x1， “重要特征_2”：x2， “噪声特征”：x3， "categorical_feature": np.random.choice(["A", "B", "C"], n), “目标”：((x1 + x2) > 0).astype(int) }) # 添加缺失值 df.loc[np.random.choice(n, 100), "important_feature_1"] = np.nan 结果=analyze_features_for_selection( df=df, target_col=“目标”，输出目录=“特征分析_输出” ） ## 集成示例 ### Sweetviz 与 Streamlit #!/usr/bin/env python3 """sweetviz_streamlit.py - 用于 Sweetviz 报告的 Streamlit 应用程序""" 将streamlit导入为st 将 sweetviz 导入为 sv 将 pandas 导入为 pd 导入临时文件导入操作系统 st.set_page_config（page_title =“Sweetviz EDA”，布局=“宽”） st.title("Sweetviz 探索性数据分析") # 文件上传 uploaded_file = st.file_uploader("上传 CSV 文件", type=["csv"]) 如果上传文件： df = pd.read_csv(上传文件) st.subheader("数据预览") st.dataframe(df.head(100)) st.subheader("数据集信息") col1, col2, col3 = st.columns(3) col1.metric("行数", df.shape[0]) col2.metric("列", df.shape[1]) col3.metric("缺失值", df.isnull().sum().sum()) # 分析选项 st.sidebar.header("分析选项") target_col = st.sidebar.selectbox( “目标变量（可选）”， [“无”] + 列表(df.columns) ）成对 = st.sidebar.selectbox( “成对分析”， [“自动”、“开”、“关”] ） Skip_cols = st.sidebar.multiselect( “要跳过的列”，列表（df.列）） if st.button("生成报告"): 与 st.spinner(“生成 Sweetviz 报告...”)： feat_cfg = sv.FeatureConfig(skip=skip_cols) 如果skip_cols 否则无报告= sv.分析（来源=df, target_feat=target_col 如果 target_col != "无" 否则无， feat_cfg=feat_cfg, pairwise_analysis=成对） # 保存到临时文件将 tempfile.NamedTemporaryFile(delete=False, suffix=".html") 作为 f： report.show_html(f.name, open_browser=False) 以 open(f.name, "r") 作为 html_file： html_content = html_file.read() os.unlink(f.name) # 在iframe中显示 st.components.v1.html（html_content，高度=800，滚动=True） ### Sweetviz 与 Jupyter Magic # 在 Jupyter 笔记本中将 sweetviz 导入为 sv 将 pandas 导入为 pd # 加载数据 df = pd.read_csv("data.csv") # 快速分析（在新选项卡中打开）报告 = sv.analyze(df) report.show_notebook() # 从笔记本在浏览器中打开 # 内联显示（适用于较新的 Jupyter 版本）报告.show_notebook( w="100%", # 宽度 h="600px", # 高度 scale=0.8 # 比例因子） # 用于比较 train_df = df.sample(frac=0.8) test_df = df.drop(train_df.index) 比较 = sv.compare( [train_df，“火车”]， [test_df，“测试”] ）比较.show_notebook() ### 数据管道中的 Sweetviz #!/usr/bin/env python3 """data_pipeline_sweetviz.py - 将 Sweetviz 集成到数据管道中""" 将 sweetviz 导入为 sv 将 pandas 导入为 pd 将 numpy 导入为 np 从日期时间导入日期时间导入操作系统导入日志记录日志记录.basicConfig（级别=日志记录.INFO）记录器=logging.getLogger(__name__) 类 DataPipelineProfiler： """用于数据管道的 Sweetviz 分析器。""" def __init__(self, 输出目录: str): self.output_dir = 输出目录 os.makedirs（output_dir，exist_ok = True）自我报告 = [] def profile_stage( 自我, df: pd.DataFrame, 阶段名称：str， target_col: str = 无， previous_df: pd.DataFrame = None ) -> 字符串: ”“” 在管道阶段分析数据。参数： df：当前阶段的DataFrame stage_name：管道阶段的名称 target_col：目标变量（可选） previous_df：前一阶段的数据帧（可选）返回：生成报告的路径 ”“” 时间戳 = datetime.now().strftime("%Y%m%d_%H%M%S") 如果 previous_df 不是 None： # 对比报告 logger.info(f"正在生成阶段的比较报告：{stage_name}") 报告= sv.比较（ source=[previous_df, "之前"], 比较=[df, "之后"], target_feat=target_col ） report_path = os.path.join( self.output_dir, f“{stage_name}_comparison_{timestamp}.html” ）其他： # 单一分析报告 logger.info(f"正在生成阶段的分析报告：{stage_name}") 报告= sv.分析（来源=df, target_feat=target_col ） report_path = os.path.join( self.output_dir, f“{stage_name}_analysis_{timestamp}.html” ） report.show_html(report_path, open_browser=False) self.reports.append(report_path) logger.info(f"报告已保存：{report_path}") 返回报告路径 defgenerate_summary(self) -> 字典： """生成所有分析报告的摘要。""" 返回{ “total_reports”：len(self.reports), “报告”：自我报告， “output_dir”：self.output_dir } # 管道使用示例 def example_pipeline(): """具有分析功能的示例数据管道。""" 探查器 = DataPipelineProfiler(“pipeline_reports”) # 第一阶段：原始数据 np.随机.种子(42) df_raw = pd.DataFrame({ “值”： np.concatenate([np.random.randn(950), [100, -50, np.nan] * 10]), "类别": np.random.choice(["A", "B", "C"], 980), “目标”: np.random.choice([0, 1], 980) }) profiler.profile_stage(df_raw, "01_raw_data", target_col="target") # 第 2 阶段：缺失值处理 df_cleaned = df_raw.copy() df_cleaned["值"] = df_cleaned["值"].fillna(df_cleaned["值"].median()) profiler.profile_stage( df_cleaned，“02_missing_handled”， target_col=“目标”，以前的_df = df_raw ） # 第 3 阶段：异常值去除 Q1 = df_cleaned["值"].quantile(0.25) Q3 = df_cleaned["值"].quantile(0.75) IQR = Q3 - Q1 df_no_outliers = df_cleaned[ (df_cleaned["值"] >= Q1 - 1.5 * IQR) & (df_cleaned[“值”] <= Q3 + 1.5 * IQR) ] profiler.profile_stage( df_no_outliers，“03_outliers_removed”， target_col=“目标”，以前的_df = df_cleaned ） # 总结摘要 = profiler.generate_summary() print(f"\n管道分析完成！") print(f"生成的 {summary['total_reports']} 报告") 返回摘要如果 __name__ == "__main__": 示例_管道() ## 最佳实践 ### 1\.对 ML 项目使用目标分析 # 好：始终指定 ML 数据集的目标报告= sv.analyze（df，target_feat =“目标”） # 避免：丢失目标分析 report = sv.analyze(df) # 未显示目标关系 ### 2\.大型数据集样本 # 好：大型数据集的样本如果 len(df) > 100000： df_sample = df.sample(n=100000, random_state=42) 报告 = sv.analyze(df_sample) 其他：报告 = sv.analyze(df) # 避免：直接分析巨大的数据集 # report = sv.analyze(df_with_millions_of_rows) # 非常慢 ### 3\.正确配置功能类型 # 好：对类似 ID 的数字列强制分类配置 = sv.FeatureConfig( 跳过=["customer_id", "transaction_id"], force_cat=[“邮政编码”、“地区代码”、“评级”] ）报告 = sv.analyze(df, feat_cfg=config) # 避免：让 Sweetviz 将邮政编码视为数字 ### 4\.使用比较进行验证 # 好：比较训练/测试以进行数据泄漏检测比较 = sv.compare( [train_df，“火车”]， [test_df，“测试”]， target_feat =“目标” ） # 避免：仅分析训练数据 ### 5\.控制成对分析 # 好：禁用许多功能以提高速度 report = sv.analyze(df,pairwise_analysis="off") # 快速 # 好：当特征相关性很重要时启用 report = sv.analyze(df,pairwise_analysis="on") # 完整相关性 ## 故障排除 ### 常见问题 **问题：报告生成速度慢** # 解决方案 1：禁用成对分析报告= sv.analyze（df，pairwise_analysis =“关闭”） # 解决方案2：样本数据报告 = sv.analyze(df.sample(50000)) # 解决方案 3：跳过高基数列 config = sv.FeatureConfig(skip=["high_card_col"]) 报告 = sv.analyze(df, feat_cfg=config) **问题：大数据集的内存错误** # 解决方案：分块或样本处理样本大小 = min(len(df), 100000) 报告 = sv.analyze(df.sample(sample_size, random_state=42)) **问题：HTML 报告无法打开** # 解决方案：手动保存并打开 report.show_html("report.html", open_browser=False) # 然后在浏览器中打开report.html # 或者指定布局 report.show_html("report.html",layout="vertical") **问题：分类变量被视为数字** # 解决方案：强制分类类型 config = sv.FeatureConfig(force_cat=["邮政编码", "评级"]) 报告 = sv.analyze(df, feat_cfg=config) # 或者在分析之前进行转换 df["邮政编码"] = df["邮政编码"].astype(str) **问题：日期列无法识别** # 解决方案：转换为正确的日期时间 df["date_col"] = pd.to_datetime(df["date_col"]) 报告 = sv.analyze(df) **问题：报告显示太多类别** # Sweetviz 自动限制为顶级类别 # 对于自定义处理，在分析之前减少基数 df["类别"] = df["类别"].apply( lambda x: x 如果 x 在 top_categories 中，则“其他” ） ## 版本历史 * **1.0.0** (2026-01-17)：初始版本 * 基本 EDA 报告生成（分析） * 目标变量分析 * 数据集比较（compare） * 组内比较（compare_intra） * 功能配置选项 * 成对分析控制 * ML 分析管道示例 * 数据质量评估示例 * 特征选择分析示例 * 流线型集成 * 数据管道集成 * 最佳实践和故障排除 ## 资源 * **官方文档**： * **PyPI**： * **中型文章**： ** ** **使用 Sweetviz 生成强大的 EDA 比较报告 - 分析、比较和理解您的数据！**

甜维兹

包含技能