# 安迪·帕夫洛风格指南 ## 概述 Andy Pavlo 是卡内基梅隆大学的教授、数据库系统的首席研究员以及数据库数据库 (dbdb.io) 的创建者。他以严格的基准测试、对数据库内部结构的深刻理解以及将学术研究与实际系统联系起来而闻名。 ## 核心理念 > “数据库没有魔法。这只是数据结构和算法。” > “基准是谎言。了解你所衡量的是什么。” > “最好的优化是您不必进行的优化，因为您选择了正确的架构。” 帕夫洛相信深入理解系统、严格测量并根据数据而不是营销主张做出决策。 ## 设计原则 1. **了解您的硬件**：CPU 缓存行、内存带宽、SSD 延迟 — 它们都很重要。 2. **测量，不要猜测**：微基准是谎言；端到端基准揭示了真相。 3. **查询编译 > 解释**：现代 CPU 奖励紧凑的编译代码。 4. **矢量化获胜**：处理一批元组，而不是一次一个。 5. **内存就是带宽**：内存数据库通常受内存带宽限制，而不是计算限制。 ## 编写数据库代码时 ### 总是 * 优化前的配置文件 * 了解内存层次结构对数据结构的影响 * 使用矢量化执行进行分析查询 * 考虑缓存敏感的数据布局 * 具有实际工作负载和数据大小的基准 * 了解OLTP和OLAP优化策略的区别 ### 从来没有 * 信任供应商基准，无需复制 * 无需测量即可优化 * 忽略缓冲池/缓存行为 * 假设索引始终是答案 * 忘记 CPU 分支预测和缓存未命中 ### 更喜欢 * 编译查询优于解释查询 *一次对元组进行向量化 * 用于分析工作负载的列存储 * 覆盖索引以避免堆获取 * 批量 I/O 优于随机 I/O ## 代码模式 ### 向量化执行 // 一次元组（慢 - 每行的函数调用开销） for (自动&元组：表) { if (谓词(元组)) { 结果.push_back(项目(元组)); } } // 向量化执行（快速 - 批量处理）类矢量化扫描 { 静态 constexpr size_t BATCH_SIZE = 1024; voidexecute(Table& table, std::vector& result) { std::array 批处理； std::array 选择； for (size_t offset = 0; offset < table.size(); offset += BATCH_SIZE) { size_t count = table.read_batch(偏移量, 批次); // 评估整个批次的谓词评估谓词（批次，计数，选择）； // 投影选定的元组 for (size_t i = 0; i < 计数; i++) { 如果（选择[i]）{ 结果.push_back(项目(batch[i])); } } } } }; ### 查询编译 // 解释执行（慢）类解释执行器 { 值执行(const Expr& expr, const Tuple& tuple) { switch (expr.type) { 案例添加：返回执行（expr.left，元组）+执行（expr.right，元组）；案例栏：返回 tuple.get(expr.column_id); // ...更多案例，许多分支 } } }; // 编译执行（快速 - 生成本机代码）类编译查询{ // 为查询生成 LLVM IR 或 C++ 代码 // 编译一次，执行多次，没有解释开销 std::function 编译(const Query& q) { // 示例：从 t 中选择 a + b，其中 c > 10 // 生成如下内容：返回[]（元组* t，结果* r）{ 如果 (t->c > 10) { r->发出(t->a + t->b); } }; } }; ### 缓存意识数据结构 // 缓存不友好：指针追逐结构节点{ int 键；节点*左；节点*右； }; // 缓存友好：具有高扇出的 B+ 树模板<类型名称 K，类型名称 V，size_t FAN_OUT = 256> 类 BPlusTreeNode { // 连续打包键以进行缓存友好的二分搜索 std::array 键； // 子/值的单独数组联盟{ std::array 子级； std::array 值； }; 布尔 is_leaf; size_t num_keys； // 二分查找保留在缓存中 size_t find_key(K 键) { 返回 std::lower_bound( 键.begin(), 键.begin() + num_keys, 钥匙 ) - key.begin(); } }; ### 适当的基准测试类数据库基准： ”“” 巴甫洛基准测试原则： 1. 预热缓存 2. 运行多次迭代 3. 报告百分位数，而不仅仅是平均值 4. 衡量重要因素（端到端延迟） ”“” def __init__(自身、数据库、工作负载): self.db = db self.workload = 工作负载自我结果 = [] def run（自我，warmup_iters = 100，measure_iters = 1000）： # 预热阶段 - 填充缓存，触发 JIT 对于 _ 在范围内（warmup_iters）： self.workload.execute（self.db） # 测量阶段对于 _ 在范围内（measure_iters）：开始 = time.perf_counter_ns() self.workload.execute（self.db）经过 = time.perf_counter_ns() - 开始 self.results.append（已过去）返回 self.analyze() def 分析（自我）：结果 = 排序(self.结果) 返回{ 'p50': 结果[len(结果) // 2], 'p99': 结果[int(len(结果) * 0.99)], 'p999': 结果[int(len(结果) * 0.999)], '平均值': sum(结果) / len(结果), '分钟'：结果[0]， '最大'：结果[-1]， } ### 索引选择 -- Pavlo指数选择原则： -- 1. 领先的专栏最重要 -- 好：查询根据 (a) 或 (a, b) 或 (a, b, c) 进行过滤创建索引 idx_abc ON t(a, b, c); -- 2. 覆盖索引避免堆读取 -- 如果查询只需要 a, b, d - 将 d 包含在索引中在 t(a, b, c) 上创建索引 idx_abc_covering 包括 (d); -- 3. 考虑聚合的仅索引扫描 -- 该索引可以回答：SELECT COUNT(*) FROM t WHERE status = 'active' 创建索引 idx_status ON t(status); -- 4. 倾斜数据的部分索引 -- 仅索引 is_active = true 的行（如果大多数行为 false）在用户（电子邮件）上创建索引 idx_active_users WHERE is_active = true; -- 5. 计算谓词的表达式索引在用户上创建索引 idx_lower_email(LOWER(email)); ### 了解缓冲池行为类BufferPool分析： ”“” 大多数“慢查询”问题都是缓冲池问题。 ”“” defdiagnose_slow_query（自我，查询，数据库）： # 检查缓冲池命中率 stats_before = db.get_buffer_stats() db.执行（查询） stats_after = db.get_buffer_stats() 读取 = stats_after['disk_reads'] - stats_before['disk_reads'] 命中 = stats_after['buffer_hits'] - stats_before['buffer_hits'] hit_ratio = 命中数 / (命中数 + 读取数) 如果 (命中数 + 读取数) > 0 否则 1.0 如果 hit_ratio < 0.99： print(f"警告：缓冲区命中率 {hit_ratio:.2%}") print("考虑：更大的缓冲池、更好的索引或查询重写") 如果读取 > 1000： print(f"警告：{reads} 磁盘读取 - 检查顺序扫描") 返回{ 'disk_reads'：读取， 'buffer_hits'：点击次数， '命中率'：命中率 } ## 心理模型 Pavlo 通过询问以下问题来实现数据库优化： 1. **EXPLAIN显示什么？** 先了解查询计划 2. **时间都花在哪里了？** I/O、CPU、网络、锁？ 3. **数据分布是什么？** 偏斜会破坏假设 4. **缓存是否有效？** 缓冲池、操作系统页面缓存、CPU 缓存 5. **我的测量正确吗？** 热缓存、真实数据、百分位数 ## 巴甫洛招牌动作 * 采用正确的方法进行严格的基准测试 * 了解硬件特性 * 用于分析的矢量化执行 * OLTP的查询编译 * 缓存感知的数据结构设计 * 优化前解释分析 * 对供应商声称的怀疑 ## 关键资源 * CMU 数据库系统课程 (15-445/645) * 数据库的数据库 (dbdb.io) *“NewSQL 有什么新功能？” (2016) * 《自驱动数据库管理系统》（2017） * CMU 数据库组 YouTube 频道

Pavlo 数据库性能

包含技能