# 低原性 ## 概述 Hypogenic 使用大型语言模型提供自动假设生成和测试，以加速科学发现。该框架支持三种方法：HypoGeniC（数据驱动假设生成）、HypoRefine（协同文献和数据集成）和 Union 方法（文献和数据驱动假设的机械组合）。 ## 快速入门只需几分钟即可开始使用 Hypogenic： # 安装包 uv pip install 低原 # 克隆示例数据集 git 克隆 https://github.com/ChicagoHAI/HypoGeniC-datasets.git ./data # 运行基本假设生成 hypergenic_ Generation --config ./data/your_task/config.yaml --method lowogenic --num_hypotheses 20 # 对生成的假设进行推理 hypergenic_inference --config ./data/your_task/config.yaml --hypotheses 输出/hypotheses.json **或使用Python API：** 从 hyogenic import BaseTask # 使用您的配置创建任务任务 = BaseTask(config_path="./data/your_task/config.yaml") # 生成假设任务.generate_hypotheses(method="hypogenic", num_hypotheses=20) # 运行推理结果 = task.inference(hypothesis_bank="./output/hypotheses.json") ## 何时使用此技能在执行以下操作时使用此技能： * 从观测数据集中生成科学假设 * 系统地测试多个相互竞争的假设 * 将文献见解与经验模式相结合 * 通过自动化假设构思加速研究发现 * 需要假设驱动分析的领域：欺骗检测、人工智能生成的内容识别、心理健康指标、预测模型或其他实证研究 ## 主要特点 **自动假设生成** * 在几分钟内根据数据生成 10-20+ 个可检验的假设 * 基于验证性能的迭代细化 * 支持基于 API（OpenAI、Anthropic）和本地法学硕士 **文献整合** * 通过 PDF 处理从研究论文中提取见解 * 将理论基础与经验模式相结合 * 使用 GROBID 的系统性文献到假设流程 **性能优化** * Redis缓存降低了重复实验的API成本 * 大规模假设检验的并行处理 * 自适应细化侧重于具有挑战性的示例 **灵活配置** * 基于模板的提示工程，具有变量注入 * 针对特定领域任务的自定义标签提取 * 模块化架构，方便扩展 **经过验证的结果** * 与少数样本基线相比提高了 8.97% * 比纯文献方法提高 15.75% * 80-84% 的假设多样性（非冗余见解） * 人类评估者报告决策显着改进 ## 核心能力 ### 1\. HypoGeniC：数据驱动的假设生成通过迭代细化仅根据观察数据生成假设。 **流程：** 1. 使用小数据子集初始化以生成候选假设 2. 根据性能迭代完善假设 3. 用具有挑战性的例子中的新假设取代表现不佳的假设 **最适合：** 没有现有文献的探索性研究，新颖数据集中的模式发现 ### 2\. HypoRefine：文献和数据整合通过代理框架将现有文献与经验数据协同结合。 **流程：** 1. 从相关研究论文（通常是 10 篇论文）中提取见解 2. 从文献中生成基于理论的假设 3. 根据观察模式生成数据驱动的假设 4. 通过迭代改进完善两个假设库 **最适合：** 具有已建立的理论基础的研究，验证或扩展现有理论 ### 3\.联合方法将纯文献假设与框架输出机械地结合起来。 **变体：** * **文献∪ HypoGeniC** ：将文献假设与数据驱动生成相结合 * **文献 ∪ HypoRefine** ：将文献假设与综合方法相结合 **最适合：** 全面的假设覆盖，消除冗余，同时保持多样化的观点 ## 安装通过 pip 安装： uv pip install 低原 **可选依赖项：** * **Redis 服务器**（端口 6832）：启用 LLM 响应缓存，以显着降低迭代假设生成期间的 API 成本 * **s2orc-doc2json** ：在 HypoRefine 工作流程中处理文献 PDF 时需要 * **GROBID** ：PDF 预处理所需（参见文献处理部分） **克隆示例数据集：** # 对于 HypoGeniC 示例 git 克隆 https://github.com/ChicagoHAI/HypoGeniC-datasets.git ./data # 对于 HypoRefine/Union 示例 git 克隆 https://github.com/ChicagoHAI/Hypothesis-agent-datasets.git ./data ## 数据集格式数据集必须遵循 HuggingFace 数据集格式以及特定的命名约定： **所需文件：** * `_train.json`：训练数据 * `_val.json`: 验证数据 * `_test.json`: 测试数据 **JSON 中所需的键：** * `text_features_1` 到 `text_features_n`：包含特征值的字符串列表 * `label`：包含真实标签的字符串列表 **示例（标题点击预测）：** { “标题_1”：[ “怎么了，彗星？你刚刚被*探测*”， “科学家在量子计算方面取得突破” ], “标题_2”：[ “今天世界各地的科学家都屏住了呼吸。这就是原因。”, “新型量子计算机实现里程碑” ], “标签”：[ “标题 2 的点击次数比标题 1 多”， “标题 1 的点击次数多于标题 2” ] } **重要说明：** * 所有列表的长度必须相同 * 标签格式必须与您的 `extract_label()` 函数输出格式匹配 * 可以自定义功能键以匹配您的域（例如“review_text”、“post_content”等） ## 配置每个任务都需要一个“config.yaml”文件来指定： **所需要素：** * 数据集路径（训练/验证/测试） * 提示模板： * 观察结果生成 * 批量假设生成 * 假设推论 * 相关性检查 * 自适应方法（针对 HypoRefine） **模板功能：** * 用于动态变量注入的数据集占位符（例如，`${text_features_1}`、`${num_hypotheses}`） * 用于特定领域解析的自定义标签提取函数 * 基于角色的提示结构（系统、用户、助理角色） **配置结构：** 任务名称：您的任务名称 train_data_path：./your_task_train.json val_data_path：./your_task_val.json 测试数据路径：./your_task_test.json 提示模板： # 可重用提示组件的额外键观察结果： | 功能 1：${text_features_1} 功能 2：${text_features_2} 观察：${标签} # 所需模板批量生成： system: “这里是您的系统提示” user: "您的用户提示带有 ${num_hypotheses} 占位符" 推论：系统：“你的推理系统提示” user: "您的推理用户提示" # 高级功能的可选模板 Few_shot_baseline：{...} 是相关的：{...} 自适应推理：{...} 自适应选择：{...} 请参阅“references/config_template.yaml”以获取完整的示例配置。 ## 文献处理（HypoRefine/Union 方法）要使用基于文献的假设生成，您必须预处理 PDF 论文： **第 1 步：设置 GROBID**（仅限第一次） bash ./modules/setup_grobid.sh **第 2 步：添加 PDF 文件** 将研究论文放入 `literature/YOUR_TASK_NAME/raw/` **步骤 3：处理 PDF** # 启动GROBID服务 bash ./modules/run_grobid.sh # 为您的任务处理 PDF 光盘实例 python pdf_preprocess.py --task_name YOUR_TASK_NAME 这会将 PDF 转换为结构化格式以进行假设提取。未来版本将支持自动文献搜索。 ## CLI 用法 ### 假设生成低发生代——帮助 **关键参数：** * 任务配置文件路径 * 模型选择（基于API或本地） * 生成方法（HypoGeniC、HypoRefine 或 Union） * 生成的假设数量 * 假设库的输出目录 ### 假设推论低原推理——帮助 **关键参数：** * 任务配置文件路径 * 假设银行文件路径 * 测试数据集路径 * 推理方法（默认或多重假设） * 结果的输出文件 ## Python API 使用对于编程控制和自定义工作流程，请直接在 Python 代码中使用 Hypogenic： ### 基本次世代从 hyogenic import BaseTask # 首先克隆示例数据集 # git 克隆 https://github.com/ChicagoHAI/HypoGeniC-datasets.git ./data # 使用自定义 extract_label 函数加载您的任务任务 = 基本任务( config_path="./data/your_task/config.yaml", extract_label=lambda 文本：extract_your_label(文本) ） # 生成假设任务.generate_hypotheses( 方法=“低原”，假设数=20， output_path="./output/hypotheses.json" ） # 运行推理结果=任务.推理（ Hypothesis_bank="./output/hypotheses.json", test_data =“./data/your_task/your_task_test.json” ） ### HypoRefine/Union 方法 # 对于文献整合方法 # git 克隆 https://github.com/ChicagoHAI/Hypothesis-agent-datasets.git ./data # 使用 HypoRefine 生成任务.generate_hypotheses( 方法=“超精细”，假设数=15，文学路径=“./文学/your_task/”，输出路径=“./输出/” ） # 这会生成 3 个假设库： # - HypoRefine（综合方法） # - 仅限文献的假设 # - 文学∪HypoRefine（联盟） ### 多假设推理从 example.multi_hyp_inference 导入 run_multi_hypothesis_inference # 同时测试多个假设结果= run_multi_hypothesis_inference( config_path="./data/your_task/config.yaml", Hypothesis_bank="./output/hypotheses.json", test_data =“./data/your_task/your_task_test.json” ） ### 自定义标签提取 “extract_label()”函数对于解析 LLM 输出至关重要。根据您的任务实施它： def extract_label(llm_output: str) -> str: """从 LLM 推理文本中提取预测标签。默认行为：搜索“最终答案：\s+(.*)”模式。针对特定于域的输出格式进行自定义。 ”“” 进口再 match = re.search(r'最终答案:\s+(.*)', llm_output, re.IGNORECASE) 如果匹配：返回 match.group(1).strip() 返回 llm_output.strip() **重要提示：** 提取的标签必须与数据集中“标签”值的格式匹配，才能正确计算准确性。 ## 工作流程示例 ### 示例 1：数据驱动的假设生成 (HypoGeniC) **场景：** 在没有事先理论框架的情况下检测人工智能生成的内容 **步骤：** 1. 准备包含文本样本和标签的数据集（人类与人工智能生成的） 2. 使用适当的提示模板创建“config.yaml” 3. 运行假设生成：低原生成--config config.yaml--方法低原--num_hypotheses 20 4. 在测试集上运行推理： hypergenic_inference --config config.yaml --hypotheses 输出/hypotheses.json --test_data 数据/test.json 5. 分析结果的形式、语法精度和语气差异等模式 ### 示例 2：基于文献的假设检验 (HypoRefine) **场景：** 基于现有研究的酒店评论中的欺骗检测 **步骤：** 1.收集10篇关于语言欺骗线索的相关论文 2. 准备包含真实评论和欺诈评论的数据集 3. 配置文献处理和数据生成模板的config.yaml 4. 运行 HypoRefine： hyperogenic_ Generation --config config.yaml --method hyperrefine --papers 论文/ --num_hypotheses 15 5. 测试假设，检查代词频率、细节特异性和其他语言模式 6. 比较基于文献和数据驱动的假设表现 ### 示例 3：综合假设覆盖率（并集法） **场景：** 精神压力检测最大化假设多样性 **步骤：** 1. 从心理健康研究论文中生成文献假设 2. 从社交媒体帖子中生成数据驱动的假设 3.运行Union方法进行合并和去重： hyperogenic_ Generation --config config.yaml --method union --literature_hypotheses lit_hyp.json 4. 推理捕获理论结构（发布行为变化）和数据模式（情感语言转变） ## 性能优化 **缓存：** 启用 Redis 缓存以减少重复 LLM 调用的 API 成本和计算时间 **并行处理：** 利用多个工作人员进行大规模假设生成和测试 **自适应细化：** 使用具有挑战性的示例来迭代地提高假设质量 ## 预期结果使用低源性的研究表明： * AI内容检测任务准确率提升14.19% * 欺骗检测任务准确率提高 7.44% * 80-84% 的假设对提供独特、非冗余的见解 * 多个研究领域的人类评估者给出的高有用性评级 ## 故障排除 **问题：**生成的假设太通用 **解决方案：**优化`config.yaml`中的提示模板以请求更具体的、可测试的假设 **问题：**推理性能差 **解决方案：**确保数据集有足够的训练样本，调整假设生成参数，或增加假设数量 **问题：**标签提取失败 **解决方案：**为特定于域的输出解析实现自定义 `extract_label()` 函数 **问题：** GROBID PDF 处理失败 **解决方案：** 确保 GROBID 服务正在运行（`bash ./modules/run_grobid.sh`）并且 PDF 是有效的研究论文 ## 创建自定义任务要将新任务或数据集添加到 Hypogenic： ### 第 1 步：准备数据集按照所需格式创建三个 JSON 文件： * `your_task_train.json` * `your_task_val.json` * `your_task_test.json` 每个文件必须具有文本特征（“text_features_1”等）和“label”的键。 ### 步骤 2：创建 config.yaml 使用以下命令定义您的任务配置： * 任务名称和数据集路径 * 观察、生成、推理的提示模板 * 可重复使用提示组件的任何额外按键 * 占位符变量（例如，`${text_features_1}`、`${num_hypotheses}`） ### 步骤 3：实现 extract_label 函数创建一个自定义标签提取函数来解析您所在域的 LLM 输出：从 hyogenic import BaseTask def extract_my_label(llm_output: str) -> str: """为您的任务提取自定义标签。必须返回与数据集“标签”字段格式相同的标签。 ”“” # 示例：从特定格式中提取如果 llm_output 中的“最终预测：”： return llm_output.split("最终预测：")[-1].strip() # 回退到默认模式进口再 match = re.search(r'最终答案:\s+(.*)', llm_output, re.IGNORECASE) 如果匹配则返回 match.group(1).strip() 否则 llm_output.strip() # 使用您的自定义任务任务 = 基本任务( config_path="./your_task/config.yaml", extract_label=extract_my_label ） ### 步骤 4：（可选）流程文献对于 HypoRefine/Union 方法： 1. 创建 `literature/your_task_name/raw/` 目录 2. 添加相关研究论文PDF 3. 运行 GROBID 预处理 4. 使用“pdf_preprocess.py”进行处理 ### 第 5 步：生成并测试使用 CLI 或 Python API 运行假设生成和推理： # CLI 方法 hypergenic_ Generation --config your_task/config.yaml --method lowogenic --num_hypotheses 20 hypergenic_inference --config your_task/config.yaml --hypotheses 输出/hypotheses.json # 或者使用Python API（参见Python API使用部分） ## 存储库结构了解存储库布局：假设生成/ ├── lowogenic/ # 核心包代码 ├──hyogenic_cmd/ # CLI 入口点 ├──thesis_agent/ # HypoRefine 代理框架 ├──文学/ #文学处理实用程序 ├── modules/ # GROBID 和预处理模块 ├── Examples/ # 示例脚本 │ ├── Generation.py # 基本的 HypoGeniC 生成 │ ├── union_ Generation.py # HypoRefine/Union 生成 │ ├── inference.py # 单假设推理 │ ├── multi_hyp_inference.py # 多重假设推理 │ └── pdf_preprocess.py # 文献PDF处理 ├── data/ # 示例数据集（单独克隆） ├── 测试/ # 单元测试 └── IO_prompting/ # 提示模板和实验 **关键目录：** * **hypogenic/** ：带有BaseTask和生成逻辑的主包 * **examples/** : 常见工作流程的参考实现 * **literature/** ：PDF处理和文献提取工具 * **modules/** : 外部工具集成（GROBID 等） ## 相关出版物 ### HypoBench (2025) 刘 H.、黄 S.、胡 J.、周 Y. 和谭 C. (2025)。 HypoBench：迈向假设生成的系统性和原则性基准测试。 arXiv 预印本 arXiv：2504.11524。 * **论文：** * **描述：** 假设生成方法系统评估的基准框架 ** BibTeX：** @misc{liu2025hypobench系统原理基准测试， title={HypoBench：迈向假设生成的系统性和原则性基准测试}，作者={刘浩坤、黄思聪、胡静宇、周杨桥宇、谭晨浩}，年={2025}, eprint={2504.11524}, archivePrefix={arXiv}, PrimaryClass={cs.AI}, 网址={https://arxiv.org/abs/2504.11524}, } ### 文学遇上数据 (2024) 刘 H.、周 Y.、李明、袁 C. 和谭 C. (2024)。文献与数据的结合：假设生成的协同方法。 arXiv 预印本 arXiv：2410.17309。 * **论文：** * **代码：** * **描述：** 介绍 HypoRefine 并演示基于文献和数据驱动的假设生成的协同组合 ** BibTeX：** @misc{liu2024文学遇见数据协同， title={文献遇上数据：假设生成的协同方法}，作者={刘浩坤、周杨桥宇、李明轩、袁晨飞、谭晨浩}，年={2024}, eprint={2410.17309}, archivePrefix={arXiv}, PrimaryClass={cs.AI}, 网址={https://arxiv.org/abs/2410.17309}, } ### 使用大型语言模型生成假设 (2024) 周 Y.、刘 H.、Srivastava, T.、梅 H. 和 Tan, C. (2024)。使用大型语言模型生成假设。科学 NLP 的 EMNLP 研讨会论文集。 * **论文：** * **描述：** 用于数据驱动假设生成的原始 HypoGeniC 框架 ** BibTeX：** @inproceedings{zhou2024假设生成大型语言， title={使用大型语言模型生成假设}，作者={Yangqiaoyu Zhou、Haokun Liu、Tejes Srivastava、Hongyuan Mei 和 Chenhao Tan}， booktitle = {EMNLP Workshop of NLP for Science 论文集}, 年={2024}, url={https://aclanthology.org/2024.nlp4science-1.10/}, } ## 其他资源 ### 官方链接 * **GitHub 存储库：** * **PyPI 包：** * **许可证：** 麻省理工学院许可证 * **问题与支持：** ### 示例数据集克隆这些存储库以获得即用型示例： # HypoGeniC 示例（仅限数据驱动） git 克隆 https://github.com/ChicagoHAI/HypoGeniC-datasets.git ./data # HypoRefine/Union 示例（文献+数据） git 克隆 https://github.com/ChicagoHAI/Hypothesis-agent-datasets.git ./data ### 社区与贡献 * **贡献者：** 7+ 活跃贡献者 * **星星：** GitHub 上的 89+ * **主题：** 研究工具、可解释性、假设生成、科学发现、法学硕士应用对于贡献或问题，请访问 GitHub 存储库并检查问题页面。 ## 本地资源 ###参考资料/ `config_template.yaml` \- 包含所有必需的提示模板和参数的完整示例配置文件。这包括： * 用于任务配置的完整 YAML 结构 * 所有方法的提示模板示例 * 占位符变量文档 * 基于角色的提示示例 ### 脚本/ 脚本目录可用于： * 自定义数据准备实用程序 * 格式转换工具 * 分析和评估脚本 * 与外部工具集成 ###资产/ 资产目录可用于： * 示例数据集和模板 * 样本假设库 * 可视化输出 * 文档补充

低原性的

包含技能