MediaPipe Hands 手部追踪完全指南：5 分钟跑通 21 点 3D 手部关键点检测

MediaPipe Hands 手部追踪完全指南：5 分钟跑通 21 点 3D 手部关键点检测

【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe

MediaPipe Hands 是 Google 开源的手部追踪方案，从单帧画面里实时找出双手的 21 个 3D 关键点。想给产品加手势交互、AR 或手语能力、又没有视觉背景的开发者，看完这篇就能上手。

为什么你需要手部追踪：先找到手掌，再数手指

做个"隔空操控"功能，听起来不难：用户手一挥，屏幕上的东西跟着动。真做起来才知道坑在哪——手这个东西，是计算机视觉里出了名的难伺候对象。

它经常自己挡自己（手指盖住手掌），晃起来毫无规律，身上还没有人脸那种高对比度的"五官"可抓。你直接把整张图丢给一个大模型去猜所有手指的位置，结果又慢又不准。

MediaPipe Hands 的解法像侦察兵排雷：先用手雷定位，再蹲下来细看。

• 第一步是"找手掌"。一个小而快的检测模型扫一遍全图，圈出手掌的大致范围。手掌是相对刚性的块状物，比张开五指的手好认得多。
• 第二步是"数手指"。把圈出来的那块区域裁下来，交给高精度模型，回归出 21 个 3D 关节坐标。

类比一下：你要在足球场里找一个人，是先扫全场锁定位置（找手掌），还是先放大到那个人脸再确认（数手指）？两阶段都干了，但只做一次贵的。

更聪明的地方在于视频模式：第 2 帧之后，它直接用上一帧的关键点算出裁剪区域，不再全图重搜。只有当追踪丢失、模型跟丢手了，才会回到"全图找手掌"那一步。就像你盯住熟人走路，目光会跟着他移动，而不会每个瞬间都重新搜一遍整个房间。这套流水线在仓库里对应的图就是 hand_tracking 的 pbtxt 配置。

能力展开：手部追踪能帮你做什么

拿到 21 个点之后，能玩出的花样比想象的多。

AR 里的"虚拟遥控器"。每个点的 x、y 都归一化到 [0, 1]，z 表示深度（以手腕为原点，值越小越靠近镜头）。这意味着你不仅能知道手指在画面哪个位置，还知道它离摄像头多远。把虚拟戒指、菜单面板"戴"到指尖上，靠的就是这套坐标。另外输出的世界坐标是以米为单位的真实 3D 尺度，AR 场景里做尺寸对齐特别省事。

手势控制。不需要训练什么花哨的模型，很多手势用 21 个点的几何关系就能判：食指和中指伸直、其余握紧，就是"剪刀手"；五指张开就是"掌"。把点的运动轨迹连成时序，"上滑""下划"这种指令也能做出来，PPT 翻页、智能家居控制都成立。

手语识别。单手 21 点加上随时间的变化，就是一组结构清晰的"手语特征序列"，接一个分类模型，手语到文本的实时翻译就有了地基。

左右手识别。输出里自带 handedness 字段，告诉你这是 Left 还是 Right，附一个置信度分数。⚠️ 有个容易踩的坑：这个判断假设输入是镜像翻转过的自拍画面。如果你用的是普通摄像头、没做镜像，左右结果要自己手动对调，不然用户举右手它会说 Left。

上手环节：一条命令安装，5 分钟跑通第一个例子

🎬 环境准备就一行：

pip install mediapipe

下面是能跑的最小示例，打开摄像头，实时画出手部骨架：

import cv2 import mediapipe as mp hands = mp.solutions.hands.Hands( max_num_hands=2, # 最多同时追踪 2 只手 model_complexity=0, # 选轻量级关键点模型，速度优先 min_detection_confidence=0.5) # 检测成功的置信度门槛 cap = cv2.VideoCapture(0) # 打开摄像头 while cap.isOpened(): ok, frame = cap.read() if not ok: continue frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) # 先转 RGB 再喂给模型 results = hands.process(frame) # 核心就这一步 if results.multi_hand_landmarks: # 每只手 21 个点的列表 for lm in results.multi_hand_landmarks: mp.solutions.drawing_utils.draw_landmarks( frame, lm, mp.solutions.hands.HAND_CONNECTIONS) # 画出 21 点和骨架连线 frame = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR) cv2.imshow("MediaPipe Hands", frame) if cv2.waitKey(5) & 0xFF == 27: # 按 ESC 退出 break cap.release()

运行后你会看到：画面里每只手被 21 个点标出，点之间用线连成"手指骨架"，手指一动，点就跟着动。这就通了。

参数避坑：每个旋钮拧动会发生什么

⚙️ 所有参数都在初始化Hands()时传入。下表把每个旋钮的后果标清楚：

两条经验默认值就够了：别乱动。0.5 / 0.5 是官方默认，视频场景保持static_image_mode=false，先把流程跑顺，再针对具体场景微调。

提速实战：把延迟打下来的三个办法

⚡ 嫌慢的时候，按这个顺序动手，性价比从高到低：

1. model_complexity=0。关键点模型直接换轻量档，是单步推理延迟下降最直接的方式，交互类应用（手势控制、游戏）通常感知不到精度损失。
2. 让视频模式真正生效。确认static_image_mode=false，并且喂给它的是一路连续帧。这样大部分帧只走"裁剪区域 + 关键点模型"，最贵的全图手掌检测只在丢失时触发。处理一批孤立图片时反而要把它设成true，否则帧间复用逻辑会帮倒忙。
3. 减少每帧的额外开销。官方示例里有这么一行：image.flags.writeable = False，让 OpenCV 以引用传图、避免拷贝，画完标注再改回True。移动端部署的话，Android/iOS 端开启runOnGpu=true，把整条流水线和推理都搬到 GPU 上，收益比桌面端更明显。

更多细节和平台差异（JS、Android、iOS 的 API 名略有不同）可以翻一下 官方 hands 文档。

一条命令装好、十几行代码跑起来、每只手 21 个 3D 点实时到手——MediaPipe Hands 把"让计算机看懂手"这件事的门槛压到了相当低的位置。下一步，不如就把摄像头打开，让你的第一个手势指令动起来吧。

【免费下载链接】mediapipeCross-platform, customizable ML solutions for live and streaming media.项目地址: https://gitcode.com/GitHub_Trending/med/mediapipe