# Semgrep 静态分析 ## 何时使用 Semgrep **理想场景：** * 快速安全扫描（几分钟，而不是几小时） * 基于模式的漏洞检测 * 执行编码标准和最佳实践 * 查找已知的漏洞模式（OWASP Top 10、CWE Top 25） * 文件内污点分析和数据流跟踪 * 针对特定代码模式的自定义规则开发 * 在使用更深入的工具之前先进行安全分析 * CI/CD 安全门可实现快速反馈 * 多语言安全扫描 **补充其他工具：** * 在手动代码审查之前使用以捕获常见模式 * 结合 SARIF Issue Reporter 获取详细调查结果 * 与 CodeQL 一起使用以实现全面覆盖 * 与依赖性扫描仪配对（OSV-Scanner、Depscan） **在以下情况下考虑使用 CodeQL：** * 需要跨文件的过程间污点跟踪 * 需要跨模块进行复杂的数据流分析 * 通过深度集成分析自定义专有框架 ## 何时不使用请勿将此技能用于： * 复杂的过程间数据流分析（使用CodeQL代替） * 二进制分析或编译代码，无源代码 * 需要 AST/CFG 遍历的自定义深度语义分析 * 跨多个函数边界和文件跟踪污点 * 秘密检测（使用Gitleaks） * 依赖漏洞扫描（使用OSV-Scanner或Depscan） * IaC安全分析（使用KICS） * API端点发现（使用Noir） ## 安装 # 点 python3 -m pip install semgrep # pipx（推荐） pipx 安装 semgrep # 自制软件酿造安装 semgrep # 码头工人 docker pull returntocorp/semgrep:最新 docker run --rm -v "${PWD}:/src" returntocorp/semgrep semgrep --config auto /src # 更新 pip install --升级 semgrep # 验证 semgrep --版本 ## 核心工作流程 ### 1\.快速扫描 semgrep --config auto 。 # 自动检测规则 semgrep --config auto --metrics=off 。 # 禁用专有代码的遥测 ### 2\.使用规则集 semgrep --config p/<规则集> 。 # 单一规则集 semgrep --config p/security-audit --config p/trailofbits 。 # 多个规则集|描述 ---|--- `p/默认` |一般安全性和代码质量 `p/安全审计` |全面的安全规则 `p/owasp-前十名` | OWASP 十大漏洞 `p/cwe-top-25` | CWE 前 25 个漏洞 `p/r2c-安全审计` | r2c安全审计规则 `p/trailofbits` |比特踪迹安全规则 `p/python` | Python 特定的 `p/javascript` | JavaScript 特定的 `p/golang` | Go 特定的 ### 3\.输出格式 # SARIF 输出（用于 CI/CD） semgrep --config p/security-audit --sarif -o results.sarif 。 # JSON 输出 semgrep --config p/security-audit --json -o results.json 。 # 带有数据流痕迹的文本输出 semgrep --config p/security-audit --dataflow-traces 。 # JUnit XML semgrep --config p/security-audit --junit-xml -o results.xml 。 # GitLab SAST 格式 semgrep --config p/security-audit --gitlab-sast -o gl-sast-report.json 。 # Vim 快速修复 semgrep --config p/security-audit --vim 。 ### 4\.扫描特定路径 # 单个文件 semgrep --config p/python app.py # 具体目录 semgrep --config p/javascript src/ # 包含测试（默认排除） semgrep --config auto --include='**/test/**' 。 # 排除路径 semgrep --config auto --exclude='vendor' --exclude='node_modules' 。 # 多种语言 semgrep --config p/python --config p/javascript 。 ### 5\.高级功能 # 启用 Pro Engine 功能（需要许可证） semgrep --config p/security-audit --pro 。 # Pro Engine 文件间分析 semgrep --config p/security-audit --pro --pro-intrafile 。 # 禁用遥测 semgrep --config auto --metrics=off 。 # 详细输出 semgrep --config p/security-audit --verbose 。 # 安静模式（仅显示结果） semgrep --config p/security-audit --quiet 。 ## 编写自定义规则 ### 基本结构规则： - id：硬编码密码语言：[Python] 消息：“检测到硬编码密码：$PASSWORD” 严重性：错误模式：密码=“$PASSWORD” ### 模式语法语法 |描述 |示例 ---|---|--- `...` |匹配任何东西 | `函数(...)` `$VAR` |捕获元变量 | `$FUNC($INPUT)` `<... ...>` |深度表达匹配| `<...用户输入...>` ### 模式运算符操作员|描述 ---|--- `模式` |匹配精确的模式 `模式` |全部必须匹配 (AND) `模式-任一` |任意匹配（或） `模式非` |排除匹配项 `模式内部` |仅在上下文内匹配 `模式不在内部` |仅匹配外部上下文 `模式正则表达式` |正则表达式匹配 `元变量正则表达式` |捕获值的正则表达式 `元变量比较` |比较值 ### 组合模式规则： - id：sql注入语言：[Python] 消息：“潜在的 SQL 注入” 严重性：错误图案： - 模式-要么： - 模式：cursor.execute($QUERY) - 模式：db.execute($QUERY) - 模式不： - 模式：cursor.execute("...", (...)) - 元变量正则表达式：元变量：$QUERY 正则表达式：.*\+.*|.*\.format\(.*|.*%.* ### 污点模式（数据流）简单的模式匹配可以找到明显的情况： # 模式 `os.system($CMD)` 捕捉到了这一点： os.system(user_input) # 找到但错过了间接流动： # 相同的模式忽略了这一点： cmd = 用户输入已处理 = cmd.strip() os.system(processed) # 错过了 - 没有直接匹配污点模式通过分配和转换来跟踪数据： * **来源** ：不受信任的数据进入的位置（`user_input`） * **传播者**：它如何流动（`cmd = ...`，`processed = ...`） * **消毒剂**：什么使它安全（`shlex.quote()`） * **Sink** ：变得危险的地方（`os.system()`）规则： - id：命令注入语言：[Python] 消息：“用户输入流向命令执行” 严重性：错误模式：污点模式来源： - 模式：request.args.get(...) - 模式：request.form[...] - 模式：request.json 图案水槽： - 模式：os.system($SINK) - 模式：subprocess.call($SINK, shell=True) - 模式：subprocess.run($SINK, shell=True, ...) 模式消毒剂： - 模式：shlex.quote(...) - 模式：int(...) ### 带元数据的完整规则规则： - id：flask-sql-注入语言：[Python] 消息：“SQL注入：用户输入流向查询而无需参数化” 严重性：错误元数据： cwe：“CWE-89：SQL注入” owasp：“A03：2021 - 注入” 信心：高模式：污点模式来源： - 模式：request.args.get(...) - 模式：request.form[...] - 模式：request.json 图案水槽： - 模式：cursor.execute($QUERY) - 模式：db.execute($QUERY) 模式消毒剂： - 模式：int(...) 修复：cursor.execute($QUERY, (params,)) ## 测试规则 ### 测试文件格式 # 测试规则.py def test_vulnerable(): user_input = request.args.get("id") # 规则ID：flask-sql-injection 光标.execute("从用户中选择 * WHERE id = " + user_input) def test_safe(): user_input = request.args.get("id") # 好的：flask-sql-注入 cursor.execute("从用户中选择 * WHERE id = ?", (user_input,)) semgrep --测试规则/ ## CI/CD 集成（GitHub 操作）名称： Semgrep 于：推：分支：[主要] 拉请求：时间表： - cron: '0 0 1 * *' # 每月职位： semgrep：运行：ubuntu-latest 容器：图片：returntocorp/semgrep 步骤： - 使用：actions/checkout@v4 与： fetch-depth: 0 # 差异感知扫描所需 - 名称：运行 Semgrep 运行：| if [ "${{ github.event_name }}" = "pull_request" ];然后 semgrep ci --baseline-commit ${{ github.event.pull_request.base.sha }} 否则 semgrep ci 菲环境： SEMGREP_规则：>- p/安全审计 p/owasp-前十名 p/尾迹位 ## 配置 ### .semgrepignore 测试/夹具/ **/测试数据/ 生成/ 供应商/ 节点模块/ ### 抑制误报密码 = get_from_vault() # nosmgrep：硬编码密码危险_但是_安全（）#nosemgrep ## 性能 semgrep --config 规则/ --time 。 # 检查规则性能 ulimit -n 4096 # 增加大型代码库的文件描述符 ### 规则中的路径过滤规则： - id：我的规则路径：包括：[src/] 排除：[src/生成/] ## 常见用例 ### 1\.全面的安全审计 # 具有 SARIF 输出的多规则集扫描 semgrep 扫描 \ --config p/安全审计\ --config p/owasp-top-ten \ --config p/cwe-top-25 \ --sarif -o 安全审计.sarif \ 。 ### 2\.特定语言的深度扫描 # 具有污染模式的 Python semgrep 扫描 \ --config p/python \ --config p/flask \ --config p/django \ --数据流跟踪 \ --sarif -o python-security.sarif \ ./后端 # JavaScript/TypeScript semgrep 扫描 \ --config p/javascript \ --config p/打字稿\ --config p/react \ --sarif -o js-security.sarif \ ./前端 ### 3\.具有现有规则集的自定义规则 # 结合自定义和社区规则 semgrep 扫描 \ --config ./自定义规则 \ --config p/安全审计\ --sarif -o 组合扫描.sarif \ 。 ### 4\. CI/CD 差异扫描 # 仅扫描已更改的文件（PR 上下文） git diff --仅名称 origin/main...HEAD | \ xargs semgrep scan --config p/security-audit --sarif -o diff-scan.sarif ## 理解输出 ### SARIF 结构 Semgrep SARIF v2.1.0 包括： * **规则** ：每个带有元数据的 Semgrep 规则 * **结果**：匹配模式的特定代码位置 * **属性**： * 严重性：错误、警告、信息 * CWE 和 OWASP 映射 * 置信水平 * 修复建议（如果有） * 数据流跟踪（如果启用） ### 结果类别严重性 |含义 ---|--- **错误** |高可信度安全漏洞 **警告** |需要审查的潜在安全问题 **信息** |代码异味或违反最佳实践 ## 自动修复 # 显示可用的修复 semgrep scan --config p/security-audit --autofix --dryrun 。 # 自动应用修复 semgrep scan --config p/security-audit --autofix 。 # 应用前查看修复 semgrep scan --config p/security-audit --autofix --dryrun 。 |少 ## 第三方规则 # 位规则的踪迹 git 克隆 https://github.com/trailofbits/semgrep-rules.git semgrep 扫描 -f semgrep-rules/rules --sarif -o results.sarif 。 # Semgrep 注册表 semgrep scan --config "r/trailofbits" 。 # 自定义远程规则 semgrep scan --config https://example.com/custom-rules.yaml 。 ## 高级规则开发 ### 使用元变量传播规则： - id：上下文感知-xss 语言：[javascript] 消息：“XSS：用户输入流向innerHTML” 严重性：错误模式：污点模式来源： - 模式：req.query.$PARAM 模式传播器： - 模式：$X.toString() 来自：$X 到：$X.toString() - 模式：`${$X}` 来自：$X 至：`${$X}` 图案水槽： - 模式：$ELEMENT.innerHTML = $DATA 模式消毒剂： - 模式：DOMPurify.sanitize($X) ### 聚焦元变量规则： - id：sql-注入-高级语言：[Python] 消息：“通过字符串格式进行 SQL 注入” 严重性：错误图案：| $CURSOR.执行($QUERY) 焦点元变量：$QUERY 元变量正则表达式：元变量：$QUERY 正则表达式：.*(\+|格式|%).* ## 性能优化 # 限制特定文件类型 semgrep 扫描 --include='*.py' --include='*.js' 。 # 增加大文件的超时时间 semgrep 扫描 --超时 60 。 # 使用基线进行更快的增量扫描 semgrep 扫描 --baseline-commit HEAD~1 。 # 并行处理（默认使用所有CPU） semgrep 扫描 --jobs 4 。 # 禁用昂贵的规则 semgrep scan --config p/security-audit --exclude-rule 'expense-rule-id' 。 ## 支持的语言 Semgrep 支持 30 多种语言： * **Web** ：JavaScript、TypeScript、JSX、TSX、HTML * **后端**：Python、Go、Java、Kotlin、Scala、C# * **系统**：C、C++、Rust * **移动**：Swift、Kotlin、Java、Objective-C * **脚本**：Ruby、PHP、Bash、Lua、Perl * **基础设施**：Terraform、Dockerfile、YAML、JSON * **数据**：SQL（通用） * **其他**：Elixir、Clojure、Solidity、Apex、R ## Semgrep 专业版与社区版特色 |社区 |专业版 ---|---|--- **模式匹配** | ✓ | ✓ **文件内污染** | ✓ | ✓ **自定义规则** | ✓ | ✓ **SARIF 输出** | ✓ | ✓ **跨文件分析** | ✗ | ✓ **文件间污染** | ✗ | ✓ **供应链** | ✗ | ✓ **秘密检测** | ✗ | ✓ **助理（人工智能）** | ✗ | ✓ ## 故障排除 ### 常见问题 # 规则解析错误 semgrep 扫描 --validate --config custom-rules.yaml # 大文件超时 semgrep 扫描 --超时 120 。 # 内存问题 semgrep 扫描 --max-内存 4000 。 #MB # 调试模式 semgrep scan --debug --config p/security-audit 。 ### 规则测试 # 针对测试文件的测试规则 semgrep 扫描 --测试规则/ # 验证规则语法 semgrep 扫描 --validate --config 规则/my-rule.yaml # 基准规则 semgrep 扫描 --time --config 规则/测试代码库/ ## 限制 * **跨文件限制**：仅在社区版中存在文件内污染 * **基于模式** ：无法理解复杂的业务逻辑 * **性能**：具有许多规则的大型代码库可能会很慢 * **误报**：正则表达式模式可能会过度匹配 * **语言差距**：某些语言的规则覆盖范围有限 ## 拒绝的理由快捷方式|为什么这是错误的 ---|--- “Semgrep 没有发现任何内容，代码很干净” | Semgrep 是基于模式的；它无法跟踪跨功能的复杂数据流 “我写了一条规则，所以我们都受到保护”|规则需要使用“semgrep --test”进行测试；假阴性是沉默的 “污染模式捕获注入”|仅当您正确定义了所有源、汇和消毒剂时 “职业规则很全面”|专业规则很好，但并不详尽；为您的代码库补充自定义规则 “太多的发现 = 嘈杂的工具” |高发现数通常意味着真正的问题；调整规则，不要禁用它们 ## 参考文献 * 注册表： * 游乐场： * 文档： * 规则示例： * 模式语法： * 位规则的踪迹： * OWASP 规则： * 博客： * GitHub 操作： * SARIF 规范： * 初始来源：[Trail of Bits 技能]()

semgrep

包含技能