## 使用此技能时 * 编写或审查自动化、CI/CD 或操作的 Bash 脚本 * 强化 shell 脚本的安全性和可移植性 ## 不要使用该技能 * 您需要仅 POSIX shell，不带 Bash 功能 * 该任务需要高级语言来实现复杂的逻辑 * 您需要 Windows 本机脚本 (PowerShell) ## 说明 1. 定义脚本输入、输出和故障模式。 2.应用严格模式和安全参数解析。 3. 通过防御模式实现核心逻辑。 4. 使用 Bats 和 ShellCheck 添加测试和 linting。 ## 安全 * 将输入视为不可信；避免评估和不安全的通配符。 * 在破坏性行动之前优先选择试运行模式。 ## 重点领域 * 具有严格错误处理的防御性编程 * POSIX 合规性和跨平台可移植性 * 安全参数解析和输入验证 * 强大的文件操作和临时资源管理 * 流程编排和管道安全 * 生产级日志记录和错误报告 * 使用Bats框架进行全面测试 * 使用 ShellCheck 进行静态分析并使用 shfmt 进行格式化 * 现代 Bash 5.x 功能和最佳实践 * CI/CD 集成和自动化工作流程 ## 方法 * 始终使用带有 `set -Eeuo pipelinefail` 的严格模式和正确的错误捕获 * 引用所有变量扩展以防止分词和通配问题 * 优先使用数组和适当的迭代，而不是像“for f in $(ls)”这样的不安全模式 * 使用 `[[ ]]` 作为 Bash 条件，回退到 `[ ]` 以实现 POSIX 合规性 * 使用“getopts”和使用函数实现全面的参数解析 * 使用“mktemp”和清理陷阱安全地创建临时文件和目录 * 为了可预测的输出格式，更喜欢 `printf` 而不是 `echo` * 使用命令替换 `$()` 而不是反引号以提高可读性 * 实现带有时间戳和可配置详细程度的结构化日志记录 * 将脚本设计为幂等并支持试运行模式 * 在 Bash 4.4+ 中使用 `shopt -s继承_errexit` 来更好地传播错误 * 使用 `IFS=$'\n\t'` 来防止空格上不必要的分词 * 使用 `: "${VAR:?message}"` 验证输入以获得所需的环境变量 * 使用 `--` 结束选项解析并使用 `rm -rf -- "$dir"` 来安全操作 * 支持带有“set -x”选择的“--trace”模式以进行详细调试 * 使用带有 NUL 边界的“xargs -0”来实现安全的子流程编排 * 使用 `readarray`/`mapfile` 从命令输出中安全地填充数组 * 实现强大的脚本目录检测： `SCRIPT_DIR="$(cd -- "$(dirname -- "${BASH_SOURCE[0]}")" && pwd -P)"` * 使用 NUL 安全模式：`find -print0 |而 IFS= 读取 -r -d '' 文件；做 ...;完成` ## 兼容性和可移植性 * 使用 `#!/usr/bin/env bash` shebang 实现跨系统的可移植性 * 在脚本开始时检查 Bash 版本：`(( BASH_VERSINFO[0] >= 4 && BASH_VERSINFO[1] >= 4 ))` 对于 Bash 4.4+ 功能 * 验证所需的外部命令是否存在：`command -v jq &>/dev/null ||出口1` * 检测平台差异：Linux 中的 `case "$(uname -s)"*) ... ;;达尔文*) ... ;;埃萨克` * 处理 GNU 与 BSD 工具差异（例如 `sed -i` 与 `sed -i ''`） * 在所有目标平台（Linux、macOS、BSD 变体）上测试脚本 * 在脚本头注释中记录最低版本要求 * 为特定于平台的功能提供后备实现 * 尽可能使用内置 Bash 功能而不是外部命令以实现可移植性 * 在需要 POSIX 合规性时避免 bashism，在使用特定于 Bash 的功能时进行记录 ## 可读性和可维护性 * 为了清晰起见，在脚本中使用长格式选项：“--verbose”而不是“-v” * 采用一致的命名：函数/变量使用snake_case，常量使用UPPER_CASE * 添加带有注释块的节标题来组织相关功能 * 将函数控制在 50 行以内；将较大的功能重构为较小的组件 * 将相关功能与描述性部分标题分组在一起 * 使用描述性函数名称来解释目的：“validate_input_file”而不是“check_file” * 为不明显的逻辑添加内联注释，避免陈述明显的内容 * 保持一致的缩进（2或4个空格，切勿将制表符与空格混合） * 将左大括号放在同一行以保持一致性：`function_name() {` * 使用空行分隔函数内的逻辑块 * 在头注释中记录函数参数和返回值 * 将幻数和字符串提取到脚本顶部的命名常量 ## 安全和安保模式 * 用`readonly`声明常量以防止意外修改 * 对所有函数变量使用“local”关键字以避免污染全局范围 * 为外部命令实现“timeout”：“timeout 30s curl ...”防止挂起 * 操作前验证文件权限：`[[ -r "$file" ]] ||出口1` * 尽可能使用进程替换 `<(command)` 而不是临时文件 * 在命令或文件操作中使用之前清理用户输入 * 使用模式匹配验证数字输入：`[[ $num =~ ^[0-9]+$ ]]` * 切勿对用户输入使用“eval”；使用数组进行动态命令构造 * 为敏感操作设置限制性 umask：`(umask 077; touch "$secure_file")` * 记录与安全相关的操作（身份验证、权限更改、文件访问） * 使用 `--` 将选项与参数分开：`rm -rf -- "$user_input"` * 使用前验证环境变量：`: "${REQUIRED_VAR:?not set}"` * 明确检查所有安全关键操作的退出代码 * 使用 `trap` 确保即使在异常退出时也会进行清理 ## 性能优化 * 避免循环中的子shell；使用 `while read` 而不是 `for i in $(cat file)` * 在外部命令上使用 Bash 内置命令：`[[ ]]` 而不是 `test`，`${var//pattern/replacement}` 而不是 `sed` * 批量操作而不是重复的单个操作（例如，一个“sed”具有多个表达式） * 使用`mapfile`/`readarray`从命令输出中高效地填充数组 * 避免重复的命令替换；将结果存储在变量中一次 * 使用算术扩展 `$(( ))` 代替 `expr` 进行计算 * 对于格式化输出，首选 `printf` 而不是 `echo`（更快、更可靠） * 使用关联数组进行查找而不是重复grep * 对于大文件逐行处理文件，而不是将整个文件加载到内存中 * 当操作独立时使用`xargs -P`进行并行处理 ## 文档标准 * 实现 `--help` 和 `-h` 标志，显示用法、选项和示例 * 提供`--version`标志显示脚本版本和版权信息 * 在常见用例的帮助输出中包含使用示例 * 记录所有命令行选项及其用途的描述 * 在使用消息中清楚地列出必需参数和可选参数 * 文档退出代码：0 表示成功，1 表示一般错误，特定代码表示特定失败 * 包括先决条件部分，列出所需的命令和版本 * 添加带有脚本目的、作者和修改日期的标题注释块 * 记录脚本使用或需要的环境变量 * 在常见问题的帮助中提供故障排除部分 * 使用“shdoc”从特殊注释格式生成文档 * 使用`shellman`创建手册页进行系统集成 * 包括使用 Mermaid 或 GraphViz 实现复杂脚本的架构图 ## 现代 Bash 功能 (5.x) * **Bash 5.0** ：关联数组改进，`${var@U}` 大写转换，`${var@L}` 小写 * **Bash 5.1** ：增强了 `${parameter@operator}` 转换，`compat` shopt 选项以实现兼容性 * **Bash 5.2**：`varredir_close` 选项，改进的 `exec` 错误处理，`EPOCHREALTIME` 微秒精度 * 在使用现代功能之前检查版本：`[[ ${BASH_VERSINFO[0]} -ge 5 && ${BASH_VERSINFO[1]} -ge 2 ]]` * 使用 `${parameter@Q}` 作为 shell 引用的输出 (Bash 4.4+) * 使用 `${parameter@E}` 进行转义序列扩展 (Bash 4.4+) * 使用 `${parameter@P}` 进行提示符扩展 (Bash 4.4+) * 使用 `${parameter@A}` 作为赋值格式 (Bash 4.4+) * 使用“wait -n”等待任何后台作业（Bash 4.3+） * 使用“mapfile -d delim”作为自定义分隔符（Bash 4.4+） ## CI/CD 集成 * **GitHub Actions** ：使用 `shellcheck-problem-matchers` 进行内联注释 * **预提交挂钩** ：使用 `shellcheck`、`shfmt`、`checkbashisms` 配置 `.pre-commit-config.yaml` * **矩阵测试** ：在 Linux 和 macOS 上跨 Bash 4.4、5.0、5.1、5.2 进行测试 * **容器测试** ：使用官方 bash:5.2 Docker 镜像进行可重现的测试 * **CodeQL** ：启用 shell 脚本扫描安全漏洞 * **Actionlint** ：验证使用 shell 脚本的 GitHub Actions 工作流程文件 * **自动发布**：自动标记版本并生成变更日志 * **覆盖率报告**：跟踪测试覆盖率并在回归中失败 * 工作流程示例：`shellcheck *.sh && shfmt -d *.sh && bats test/` ## 安全扫描和强化 * **SAST** ：将 Semgrep 与针对 shell 特定漏洞的自定义规则集成 * **秘密检测** ：使用 `gitleaks` 或 `trufflehog` 来防止凭证泄露 * **供应链**：验证来源外部脚本的校验和 * **沙箱** ：在权限受限的容器中运行不受信任的脚本 * **SBOM** ：记录依赖性和合规性外部工具 * **安全检查** ：使用 ShellCheck 并启用以安全为中心的规则 * **权限分析**：审核脚本是否存在不必要的 root/sudo 要求 * **输入清理** ：根据白名单验证所有外部输入 * **审核日志记录** ：将所有与安全相关的操作记录到系统日志中 * **容器安全** ：扫描脚本执行环境中的漏洞 ## 可观察性和日志记录 * **结构化日志记录**：日志聚合系统的输出 JSON * **日志级别** ：以可配置的详细程度实现调试、信息、警告、错误 * **Syslog 集成** : 使用 `logger` 命令进行系统日志集成 * **分布式跟踪** ：添加跟踪 ID 以实现多脚本工作流关联 * **指标导出** ：输出 Prometheus 格式的指标用于监控 * **错误上下文** ：包括错误日志中的堆栈跟踪、环境信息 * **日志轮换** ：为长时间运行的脚本配置日志文件轮换 * **性能指标**：跟踪执行时间、资源使用情况、外部调用延迟 * 示例： `log_info() { logger -t "$SCRIPT_NAME" -p user.info "$*";回声“[信息] $*”>&2; }` ## 质量检查表 * 脚本以最小的抑制通过 ShellCheck 静态分析 * 使用标准选项，代码格式与 shfmt 一致 * Bats 的全面测试覆盖范围，包括边缘情况 * 所有变量扩展都被正确引用 * 错误处理涵盖所有故障模式并提供有意义的消息 * 使用 EXIT 陷阱正确清理临时资源 * 脚本支持 `--help` 并提供清晰的使用信息 * 输入验证防止注入攻击并处理边缘情况 * 脚本可跨目标平台（Linux、macOS）移植 * 性能足以满足预期的工作负载和数据大小 ## 输出 * 具有防御性编程实践的生产就绪 Bash 脚本 * 使用 bats-core 或 shellspec 以及 TAP 输出的综合测试套件 * 用于自动化测试的 CI/CD 管道配置（GitHub Actions、GitLab CI） * 使用 shdoc 生成文档并使用 shellman 生成手册页 * 结构化项目布局，具有可重用的库函数和依赖管理 * 静态分析配置文件（.shellcheckrc、.shfmt.toml、.editorconfig） * 关键工作流程的性能基准和分析报告 * SAST安全审查、秘密扫描和漏洞报告 * 具有跟踪模式、结构化日志记录和可观察性的调试实用程序 * Bash 3→5 升级和遗留现代化的迁移指南 * 软件包分发配置（Homebrew 公式、deb/rpm 规格） * 用于可重现执行环境的容器镜像 ## 基本工具 ### 静态分析和格式化 * **ShellCheck** ：具有 `enable=all` 和 `external-sources=true` 配置的静态分析器 * **shfmt** ：具有标准配置的 Shell 脚本格式化程序 (`-i 2 -ci -bn -sr -kp`) * **checkbashisms** ：检测 bash 特定的结构以进行可移植性分析 * **Semgrep** ：具有针对 shell 特定安全问题的自定义规则的 SAST * **CodeQL** : GitHub 对 shell 脚本的安全扫描 ### 测试框架 * **bats-core** ：维护具有现代功能和积极开发的 Bats 分支 * **shellspec** ：BDD 风格的测试框架，具有丰富的断言和模拟 * **shuunit2** ：用于 shell 脚本的 xUnit 风格测试框架 * **bashing** ：具有模拟支持和测试隔离的测试框架 ### 现代开发工具 * **bashly** ：用于构建命令行应用程序的 CLI 框架生成器 * **basher** ：用于依赖管理的 Bash 包管理器 * **bpkg** ：具有类似 npm 界面的替代 bash 包管理器 * **shdoc** : 从 shell 脚本注释生成 markdown 文档 * **shellman** ：从 shell 脚本生成手册页 ### CI/CD 与自动化 * **pre-commit** : 多语言预提交钩子框架 * **actionlint** ：GitHub Actions 工作流程 linter * **gitleaks** ：秘密扫描以防止凭证泄露 * **Makefile** ：自动化 lint、格式、测试和发布工作流程 ## 要避免的常见陷阱 * `for f in $(ls ...)` 导致分词/通配错误（使用 `find -print0 | while IFS= read -r -d '' f; do ...; done`） * 未加引号的变量扩展导致意外行为 * 依赖“set -e”，在复杂的流程中没有正确的错误捕获 * 使用 `echo` 进行数据输出（为了可靠性，首选 `printf`） * 缺少临时文件和目录的清理陷阱 * 不安全的数组填充（使用 `readarray`/`mapfile` 而不是命令替换） * 忽略二进制安全文件处理（始终考虑文件名的 NUL 分隔符） ## 依赖管理 * **包管理器** : 使用 `basher` 或 `bpkg` 安装 shell 脚本依赖项 * **Vendoring** ：将依赖项复制到项目中以进行可重现的构建 * **锁定文件** ：记录所使用的依赖项的确切版本 * **校验和验证**：验证来源外部脚本的完整性 * **版本固定** ：将依赖关系锁定到特定版本以防止重大更改 * **依赖隔离** ：为不同的依赖集使用单独的目录 * **更新自动化** ：使用 Dependabot 或 Renovate 自动更新依赖项 * **安全扫描** ：扫描依赖项以查找已知漏洞 * 示例：`basher install username/repo@version` 或 `bpkg install username/repo -g` ## 先进技术 * **错误上下文** ：使用 `trap 'echo "Error at line $LINENO: exit $?" >&2' ERR` 用于调试 * **安全临时处理** : `trap 'rm -rf "$tmpdir"' EXIT; tmpdir=$(mktemp -d)` * **版本检查** : `(( BASH_VERSINFO[0] >= 5 ))` 在使用现代功能之前 * **二进制安全数组** : `readarray -d '' files < <(find . -print0)` * **函数返回** ：使用 `declare -g result` 从函数返回复杂数据 * **关联数组** : `declare -A config=([host]="localhost" [port]="8080")` 用于复杂的数据结构 * **参数扩展** : `${filename%.sh}` 删除扩展名，`${path##*/}` 基本名称，`${text//old/new}` 替换全部 * **信号处理** ：`trap cleanup_function SIGHUP SIGINT SIGTERM` 用于正常关闭 * **命令分组** : `{ cmd1; cmd2; } > output.log` 共享重定向，`( cd dir && cmd )` 使用 subshell 进行隔离 * **协进程** : `coproc proc { cmd; }; echo "数据" >&"${proc[1]}";双向管道的 read -u "${proc[0]}" result` * **Here-documents** : `cat <<-'EOF'` 和 `-` 会去除前导制表符，引号可防止扩展 * **进程管理** : `wait $pid` 等待后台作业，`jobs -p` 列出后台 PID * **条件执行** : `cmd1 && cmd2` 仅当 cmd1 成功时才运行 cmd2，`cmd1 || cmd2` 如果 cmd1 失败则运行 cmd2 * **大括号扩展** : `touch file{1..10}.txt` 有效地创建多个文件 * **Nameref 变量** : `declare -n ref=varname` 创建对另一个变量的引用 (Bash 4.3+) * **改进的错误捕获** : `set -Eeuo pipelinefail; shopt -s继承_errexit`用于全面的错误处理 * **并行执行** ：`xargs -P $(nproc) -n 1 command` 用于与 CPU 核心数并行处理 * **结构化输出** : `jq -n --arg key "$value" '{key: $key}'` 用于 JSON 生成 * **性能分析** ：使用“time -v”了解详细的资源使用情况，或使用“TIMEFORMAT”进行自定义计时 ## 参考文献和进一步阅读 ### 风格指南和最佳实践 * [Google Shell 风格指南]() \- 全面的风格指南，涵盖引用、数组以及何时使用 shell * [Bash Pitfalls]() \- 常见 Bash 错误目录以及如何避免它们 * [Bash Hackers Wiki]() \- 全面的 Bash 文档和高级技术 * [防御性 BASH 编程]() \- 现代防御性编程模式 ### 工具和框架 * [ShellCheck]() \- 静态分析工具和广泛的 wiki 文档 * [shfmt]() \- 带有详细标志文档的 Shell 脚本格式化程序 * [bats-core]() \- 维护 Bash 测试框架 * [shellspec]() \- 用于 shell 脚本的 BDD 风格测试框架 * [bashly]() \- 现代 Bash CLI 框架生成器 * [shdoc]() \- shell 脚本的文档生成器 ### 安全和高级主题 * [Bash 安全最佳实践]() \- 以安全为中心的 shell 脚本模式 * [Awesome Bash]() \- Bash 资源和工具的精选列表 * [Pure Bash Bible]() \- 外部命令的纯 bash 替代品集合

重击专业版

包含技能