# 人体提取技能 ## 描述 GPU 加速的管道，用于检测、跟踪和分类行车记录仪镜头中的人物。处理 MP4 视频以提取人体作物，并使用可选的基于 CLIP 的头套分类，将所有输出保存到具有综合索引的统一目录。 ## 目的从行车记录仪记录中提取人类存在的视觉证据以进行调查分析。使用 NVDEC 解码、批量 YOLOv8 检测、ByteTrack 多对象跟踪和可选的 CLIP 分类进行高吞吐量优化。 ** ** ## 用法 ### 基本调用从 2025 年 10 月 6 日的 Park_R 视频中提取人物 ### 高级调用扫描 Park_R\20251006 和 20251007，仅保留有人的帧，将所有输出保存在一个文件夹中，为每个带有方框的时间戳添加一个全帧，最大程度地使用我的 GPU，以 80% 的置信度过滤出蒙头的个体 ** ** ## 输入参数 ### 必填 * **roots** (list[str]): 一个或多个包含 MP4 文件的源目录 * 示例：`["G:\\My Drive\\PROJECTS\\INVESTIGATION\\DASHCAM\\Park_R\\20251006"]` ### 核心检测 * **confidence** (float, 默认值: 0.35): YOLOv8 检测置信度阈值 (0.0-1.0) * **iou** (float, 默认: 0.50): NMS 的 IoU 阈值 (0.0-1.0) * **yolo_batch** (int, default: 64): YOLOv8批量大小(32-128取决于VRAM) ### CLIP 过滤（可选） * **clip_filter.enabled** (bool, default: false): 启用头部覆盖分类 * **clip_filter.threshold** （浮点数，默认值：0.80）：CLIP 置信度阈值 * **clip_filter.batch** （int，默认值：384）：CLIP 批量大小 (256-512) ### 硬件加速 * **nvdec** (bool, 默认: true): 使用NVIDIA硬件视频解码 * **gpu_id** (int, 默认值: 0): CUDA 设备 ID ### 输出控制 * **single_output_dir** (str, 默认: "parsed\ALL_CROPS"): 统一输出目录 * **save_full_frame** (bool, 默认值: false): 每个时间戳保存一个带注释的全帧 * **full_frame_maxw** （int，默认值：1280）：全帧保存的最大宽度 * **draw_boxes** (bool, default: true): 在全帧上注释框 ### 文件名约定 * **filename_version** （str，默认值：“v1”）：输出文件名的版本标记 ### 重复数据删除 * **dedup.enabled** (bool, 默认值: true): 启用相似度去重 * **dedup.ssim**（浮点数，默认值：0.92）：SSIM阈值（0.0-1.0） * **dedup.rate_cap_per_track_per_min** （int，默认值：12）：每分钟每轨的最大裁剪数 ### 并行处理 * **parallel.dates** (list[str], 可选): 同时处理多个日期 * **parallel.max_workers** (int, default: 3): 最大并行日期工作者 ** ** ## 输出格式 ### 成功响应 { “状态”：“好的”， “摘要”：{ “视频处理”：142， “作物保存”：4414， “帧保存”：728， “gpu_util_avg”：0.85， “处理时间秒”：2847， “错误”：0 }, “文物”：{ "index_csv": "G:\\我的驱动器\\PROJECTS\\APPS\\Human_Detection\\parsed\\ALL_CROPS\\INDEX.csv", "output_dir": "G:\\我的驱动器\\PROJECTS\\APPS\\Human_Detection\\parsed\\ALL_CROPS", "log_file": "G:\\我的驱动器\\PROJECTS\\APPS\\Human_Detection\\parsed\\ALL_CROPS\\run_20251006_143022.log" }, “性能”：{ “nvdec_active”：真， “yolo_batch”：64， “剪辑批次”：384， “平均每秒帧数”：48.3， “vram_peak_gb”：9.2 }, “注释”：[ “NVDEC硬件解码激活”， “批量YOLO=64，CLIP=384”， “GPU 利用率：85%” ] } ### 错误响应 { “状态”：“错误”， “错误”：“CUDA内存不足”， "suggestion": "减少批量大小：yolo_batch=48，clip_batch=256", “部分结果”：{ “视频处理”：67， “作物保存”：2103 } } ** ** ## 输出结构 ### 目录布局已解析\ALL_CROPS\ ├── INDEX.csv # 全局主索引 ├── INDEX.20251006_pid1234.csv # 分片（合并前） ├── run_20251006_143022.log # 执行日志 │ # 裁剪文件（每人检测） ├── 20251006__20251006142644_070785B__t15234__f365__trk017__x1014y46w266h659__c85__v1.webp ├── 20251006__20251006143844_070787B__t8420__f202__trk003__x234y567w180h420__c92__v1.webp │ # 全帧文件（可选，每个时间戳一个） ├── 20251006__20251006142644_070785B__t15234__FRAME__v1.webp └── 20251006__20251006143844_070787B__t8420__FRAME__v1.webp ### 文件名约定 **裁剪格式：** <日期>____t__f__trk__xywh__c__v.webp 示例： 20251006__20251006142644_070785B__t15234__f365__trk017__x1014y46w266h659__c85__v1.webp 解码： - 日期：2025-10-06 - 视频：20251006142644_070785B.MP4 - 时间戳：15234 毫秒帧数：365 - 赛道：17 - 框：x=1014，y=46，w=266，h=659 - CLIP 置信度：85%（头部覆盖） - 版本：v1 **全帧格式：** <日期>____t__FRAME__v.webp 示例： 20251006__20251006142644_070785B__t15234__FRAME__v1.webp ### INDEX.csv 架构数据集、日期、video_rel、video_stem、frame_idx、ts_ms、track_id、x1、y1、w、h、person_conf、covered_conf、file_type、crop_file、sha1、bboxes_json、注释、pipeline_ver、yolo_batch、clip_batch、nvdec、created_utc # 示例行： Park_R,20251006,20251006\20251006142644_070785B.MP4,20251006142 644_070785B,365,15234,17,1014,46,266,659,0.92,0.85,作物,2025100 6__20251006142644_070785B__t15234__f365__trk017__x1014y46w266h659__c85__v1.webp,a3f2c8b9...,,,v1,64,384,1,2025-10-06T14:30:22Z Park_R,20251006,20251006\20251006142644_070785B.MP4,20251006142644_0 70785B,365,15234,,,,,,,车架,20251006__20251006142644_070785B__t15234 __FRAME__v1.webp,d4e1a2c7...,"[{""x1"":1014,""y1"":46,""w"":266,""h"" :659,""conf"":0.92,""track"":17}]",1,v1,64,384,1,2025-10-06T14:30:22Z **列定义：** * **数据集**：源相机（Park_R、Park_F、Movie_F、Movie_R） * **日期** : YYYYMMDD * **video_rel** ：数据集根的相对路径 * **video_stem** ：不带 .MP4 扩展名的文件名 * **frame_idx** : 视频中的帧号 * **ts_ms** : 时间戳（以毫秒为单位） * **track_id** ：ByteTrack ID（对于 FRAME 行为空） * **x1,y1,w,h** ：边界框（对于 FRAME 行为空） * **person_conf** : YOLOv8 检测置信度 * **covered_conf** ：CLIP 头部覆盖置信度（0-100 范围，如果禁用则为空） * **文件类型**：“裁剪”或“框架” * **crop_file** : 相对文件名 * **sha1** ：文件哈希完整性 * **bboxes_json** ：框架中的所有检测（仅限框架行） * **注释** ：如果在框架上绘制框，则为 1，否则为 0 * **pipeline_ver** : 语义版本标签 * **yolo_batch** ：使用的 YOLO 批量大小 * **clip_batch** ：使用的 CLIP 批量大小（如果禁用则为 0） * **nvdec** ：如果使用 NVDEC，则为 1，否则为 0 * **created_utc** : ISO 8601 时间戳 ** ** ## 实施细节 ### 处理管道 [MP4 视频] │ ▼ [NVDEC解码器（GPU）] RGB 张量 → CUDA 流 A │ ▼ 【YOLOv8s检测】批量（64帧） FP16，conf=0.35 │ ▼ [ByteTrack追踪] IoU=0.5，max_age=10 │ ├──────────────────────► [全画幅保护] │（可选，缩小比例，带注释） ▼ [ROI 对齐（GPU）] 在 GPU 上提取作物 │ ▼ [CLIP分类] ◄──────（可选）批量（384 种作物） FP16，阈值=0.80 │ ▼ [重复数据删除过滤器] SSIM≥0.92 速率上限：12/分钟/曲目 │ ▼ [异步I/O线程池] WebP 编码 (q=85) 分片索引写入 │ ▼ [最终合并] 索引.csv ### GPU优化策略 **双 CUDA 流：** * 流A：YOLOv8检测 * 流B：CLIP分类 * 重叠计算+内存传输 **动态批处理：** * 累积帧直到达到批量大小 * 超时（100ms）立即处理 * 保持 GPU 管道满载（80-90% 利用率） **内存管理：** * 固定内存可实现更快的 CPU↔GPU 传输 * 预分配张量缓冲区 * 流顺序操作 **解码器优先级：** 1. NVDEC（GPU 硬件解码器）- 速度提高 5-10 倍 2. 如果 NVDEC 不可用，则 CPU 回退 (OpenCV) 3.多线程DataLoader（8-12个worker） ### 性能目标（RTX 4080 16GB）公制|目标|注释 ---|---|--- GPU 利用率 | 80-90% | NVDEC+双码流+大批量吞吐量| 3-4 个视频/分钟 |停车视频（2 FPS 采样）显存使用情况 | 6-10 GB | YOLO=64，CLIP=384 延迟 |每个视频 <30 秒 |包括解码、检测、跟踪、分类 ### 配置调整 **如果 GPU 利用率 < 70%：** 1. 增加批量大小：`yolo_batch=80`、`clip_batch=448` 2. 验证 NVDEC 是否处于活动状态（检查响应中的“nvdec_active”） 3.增加并行workers：`max_workers=4` **如果 CUDA OOM：** 1.先减少CLIP批次：`clip_batch=256` 2.然后减少YOLO批次：`yolo_batch=48` 3. 禁用全帧保存：`save_full_frame=false` **如果磁盘 I/O 瓶颈：** 1. 禁用全帧： `save_full_frame=false` 2.降低质量：`full_frame_maxw=960`，WebP q=75 3.使用更快的存储（NVMe SSD） ** ** ## CLI 等效项 # 基本用法 python -m src.cli.run_multi_dates \ --root "G:\我的驱动器\PROJECTS\INVESTIGATION\DASHCAM\Park_R" \ --out 已解析\ALL_CROPS \ --日期 20251006 20251007 \ --use-nvdec --conf 0.35 --iou 0.5 # CLIP 过滤的高级用法 python -m src.cli.run_multi_dates \ --root "G:\我的驱动器\PROJECTS\INVESTIGATION\DASHCAM\Park_R" \ --out 已解析\ALL_CROPS \ --日期 20251006 20251007 20251008 \ --use-nvdec \ --yolo-batch 64 \ --clip-batch 384 \ --剪辑阈值 0.80 \ --conf 0.35 \ --iou 0.5 \ --保存全帧 \ --draw-boxes \ --并行3 ** ** ## 交互示例 ### 示例 1：基本检测 **用户：**“从 10 月 6 日的 Park_R 视频中提取所有人类” **技能调用：** { “模式”：“提取人类”， "roots": ["G:\\我的硬盘\\PROJECTS\\INVESTIGATION\\DASHCAM\\Park_R\\20251006"], “置信度”：0.35， "single_output_dir": "已解析\\ALL_CROPS", “nvdec”：正确 } ### 示例 2：使用 CLIP 进阶 **用户：**“10 月 6 日至 8 日扫描 Park_R，以 80% 的置信度筛选戴头巾的人，保存带注释的帧，最大 GPU 使用率” **技能调用：** { “模式”：“提取人类”， “根”：[ “G：\\我的驱动器\\项目\\调查\\ DASHCAM \\ Park_R \\ 20251006”， “G：\\我的驱动器\\项目\\调查\\ DASHCAM \\ Park_R \\ 20251007”， “G：\\我的驱动器\\项目\\调查\\ DASHCAM \\ Park_R \\ 20251008” ], “置信度”：0.35， “iou”：0.50， “yolo_batch”：64， “剪辑过滤器”：{ “启用”：正确， “阈值”：0.80， “批次”：384 }, “nvdec”：正确， “save_full_frame”：真， “draw_boxes”：正确， "single_output_dir": "已解析\\ALL_CROPS", “并行”：{ “最大工人数”：3 } } ### 示例 3：低资源模式 **用户：**“Process Park_R 10 月 6 日，GPU 内存最少” **技能调用：** { “模式”：“提取人类”， "roots": ["G:\\我的硬盘\\PROJECTS\\INVESTIGATION\\DASHCAM\\Park_R\\20251006"], “置信度”：0.35， “yolo_batch”：32， “剪辑过滤器”：{ “启用”：假 }, “nvdec”：假， “save_full_frame”：假， "single_output_dir": "已解析\\ALL_CROPS" } ** ** ## 安全与护栏 ### 不 * ❌ 移动或删除源 MP4 文件 * ❌ 推断性别，除非明确启用（敏感、嘈杂） * ❌ 未经用户同意处理视频 * ❌ 共享包含可识别人员的输出 ### 做 * ✅ 在处理之前验证 GPU 可用性 * ✅ 对 GPS 覆盖实施经度符号修正 * ✅ 在 INDEX.csv 中维护审计跟踪 * ✅ 记录版本、批次、NVDEC 使用情况 * ✅ 通过建议优雅地处理 OOM ### 恢复安全 * 幂等：按文件名跳过已处理的作物 * 基于分片：部分运行可以恢复 * 索引完整性：SHA1 哈希验证文件正确性 ** ** ## 测试与验证 ### 运行前检查 # GPU 可用性断言 torch.cuda.is_available(),“需要 CUDA” 断言 torch.cuda.device_count() > 0,“未找到 GPU” # 模型文件断言 Path("models/yolov8s.pt").exists(), "YOLOv8 模型缺失" # 输出目录可写输出目录 = 路径（“已解析/ALL_CROPS”） output_dir.mkdir（父母= True，exist_ok = True）断言 os.access(output_dir, os.W_OK), "输出目录不可写" ### 运行后验证 # 检查输出是否存在断言路径（“解析/ALL_CROPS/INDEX.csv”）.exists（）断言 len(list(Path("parsed/ALL_CROPS").glob("*.webp"))) > 0 # 验证 INDEX.csv df = pd.read_csv("已解析/ALL_CROPS/INDEX.csv") 断言 df['crop_file'].notna().all() 断言 df['person_conf']. Between(0, 1).all() # 往返示例样本 = df.sample(1).iloc[0] 断言路径（f“已解析/ALL_CROPS/{sample['crop_file']}”）.exists（） # GPU利用率检查断言 gpu_util_avg > 0.70，f“低 GPU 利用率：{gpu_util_avg}” ** ** ## 依赖关系 ### 必填 * Python 3.10+ * PyTorch 2.0+ 和 CUDA 11.8+ * 超解 (YOLOv8) * 变形金刚（CLIP） * opencv-python * 枕头 * 熊猫 * 麻木 ### 可选（性能） * NVIDIA 视频编解码器 SDK (NVDEC) * TensorRT（未来优化） * nvJPEG（GPU JPEG编码） ### 安装 cd "G:\我的驱动器\PROJECTS\APPS\Human_Detection" pip install -r 要求.txt ** ** ## 故障排除 ### 常见问题 **1\. CUDA 内存不足** 错误：CUDA 内存不足。尝试分配 2.50 GiB 解决方案：减少批量 yolo_batch：64→48→32 剪辑批次：384 → 256 → 128 **2\. NVDEC 不可用** 警告：NVDEC 不可用，回退到 CPU 解码解决方案：检查NVIDIA驱动版本（≥525.60） GPU必须支持视频编解码器SDK 验证：nvidia-smi --query-gpu=name --format=csv **3\. GPU 利用率低** 警告：GPU 利用率仅为 45% 解决方案： 1. 增加批量大小（如果 VRAM 允许） 2.启用NVDEC：nvdec=true 3.增加并行workers：max_workers=4 4.检查CPU瓶颈（使用更多的DataLoader工人） **4\.处理速度慢** 性能：0.8 个视频/分钟（预计 3-4 个）诊断： 1.检查磁盘I/O（使用SSD） 2. 验证 NVDEC 是否处于活动状态（比 CPU 快 5-10 倍） 3. 配置文件： python -m torch.utils.bottleneck script.py ** ** ## 未来的增强 ### 计划中 * TensorRT 优化（2-4 倍 CLIP 加速） * 多GPU分片（在不同GPU上处理不同日期） * GPU JPEG/WebP 编码 (nvJPEG) * 实时流媒体模式 ### 正在考虑中 * 人脸识别集成 * 性别分类（仅限选择加入，带有警告） * 动作识别（行走、站立等） * 多摄像头融合（跨摄像头关联检测） ** ** ## 版本历史 **v1.0**（当前） * 初始版本 * YOLOv8s + ByteTrack + CLIP * NVDEC 支持 * 统一输出目录 * 全球索引.csv ** ** ## 参考文献 * [YOLOv8 文档]() * [ByteTrack 论文]() * [CLIP 论文]() * [NVIDIA 视频编解码器 SDK]() ** ** ## 联系与支持对于问题或疑问： 1. 检查 `parsed/ALL_CROPS/run_*.log` 以获取错误详细信息 2. 查看 GPU 诊断：`nvidia-smi` 3. 验证输入路径存在且可读 4. 验证 CUDA/PyTorch 安装：`python -c "import torch; print(torch.cuda.is_available())"`

人体提取器

包含技能