基于Mediapipe与KNN的实时跌倒检测系统：从原理到工程实践-编程实验室

简介：本资源是一个面向智能医疗与计算机视觉初学者的跌倒检测实战项目，聚焦老年人居家安全监测场景，通过Mediapipe实时提取人体3D关键点并结合KNN算法实现跌倒状态分类。资源包共9个文件（7.98MB），含3个核心Python脚本（姿态检测、模型训练、推理部署）、2个标注数据集CSV（normal_point.csv与fall_point.csv）、1个训练好的KNN模型（PoseKeypoint.joblib）、1个实测跌倒视频（Fall_Trim.mp4）、1个效果演示动图（result.gif）及1份结构清晰的README说明文档。已有259人学习下载，内容覆盖从Mediapipe模型加载、3D骨架坐标归一化预处理、K值调优与距离度量设计，到完整端到端推理流程，附带可直接运行的训练与检测脚本，便于快速复现、调试与二次开发。

1. 项目缘起：一个被低估的居家安全刚需

前阵子有个朋友跟我聊起，说他家里老人独居，最担心的就是万一在卫生间或者客厅不小心摔倒，身边没人，手机又不在手边，那后果不堪设想。他问我，现在AI这么火，有没有什么技术方案能低成本地解决这个问题？我脑子里第一个蹦出来的就是“跌倒检测”。这其实不是什么新概念，但过去要么依赖昂贵的可穿戴设备（比如智能手表、跌倒报警器），要么就是基于深度摄像头的复杂方案，成本和部署门槛都太高。

直到我最近上手实践了一个项目，用普通的RGB摄像头（比如电脑自带的或者一个便宜的USB摄像头），结合Mediapipe和KNN算法，就能实现一个相当可靠的实时跌倒检测系统。这个项目的核心思路非常清晰：用Mediapipe从视频流里实时提取出人体的3D骨架关键点，然后用一个轻量级的KNN分类器，根据这些关键点的空间姿态变化，来判断人体是否处于“跌倒”状态。

听起来是不是挺酷的？它完美避开了对特殊硬件的依赖，也绕开了训练一个庞大深度学习模型所需要的海量数据和计算资源。今天，我就把这个项目的完整实现思路、核心代码拆解、以及我在调试过程中踩过的那些“坑”，毫无保留地分享出来。无论你是想为家人做一个安防小工具，还是对计算机视觉和机器学习结合的实际应用感兴趣，这篇文章都能给你一份可以直接“抄作业”的实战指南。

2. 技术选型背后的逻辑：为什么是Mediapipe + KNN？

在动手之前，我们先得把“为什么这么选”搞清楚。技术选型不是拍脑袋，每一个选择背后都有其权衡和理由。

2.1 Mediapipe：轻量且强大的姿态估计引擎

市面上做人体姿态估计的库不少，比如OpenPose、AlphaPose等。为什么偏偏选Mediapipe？

第一是轻量与高效。Mediapipe由Google开发，其设计初衷就是用于移动端和边缘设备的实时多媒体处理。它的姿态估计模型（BlazePose）在精度和速度之间取得了非常好的平衡。在我的实测中，在一台普通的消费级CPU上，处理单帧图像也能达到接近实时的速度（20-30 FPS），这对于需要持续监控的跌倒检测应用来说至关重要。你总不希望系统延迟好几秒才报警吧？

第二是输出丰富。Mediapipe Pose模块不仅能提供传统的2D关键点坐标（x, y），还能提供带置信度的3D关键点坐标（x, y, z）以及一个可见性分数。这个“z”值（深度）虽然是一个相对值而非绝对的物理距离，但它对于判断人体的空间姿态（如是否平躺、侧卧）具有决定性意义。这是很多纯2D方案无法比拟的优势。

第三是开箱即用，集成简单。Mediapipe提供了Python、JavaScript等多种语言的API，几行代码就能跑起来一个姿态估计的Demo，大大降低了开发门槛。我们不需要从零开始训练模型，可以直接利用其强大的预训练模型。

注意：Mediapipe的3D坐标是“相机中心”坐标系下的，Z轴指向相机。Z值越大，表示离相机越远。这个相对深度信息对我们判断身体与地面的夹角已经足够了。

2.2 KNN算法：小样本场景下的分类利器

有了骨架关键点数据，我们怎么判断“跌倒”呢？最直接的想法可能是训练一个深度学习分类器（如CNN+LSTM）。但这需要大量标注好的“跌倒”和“非跌倒”视频数据，收集和标注成本极高。

这时，KNN（K-Nearest Neighbors，K最近邻）算法的优势就体现出来了。

KNN的核心思想极其朴素：在特征空间中，如果一个样本的K个最相似的邻居中的大多数属于某一个类别，则该样本也属于这个类别。它不需要显式的训练过程（或者说，它的“训练”只是把数据存储起来），非常适合我们这种小样本、特征维度明确的场景。

我们的特征是什么？就是Mediapipe提取出的、经过处理的关键点数据（例如，关节角度、躯干与地面的夹角、关键点高度差等）。我们只需要人工采集或模拟一小段“跌倒”和“正常活动”（行走、坐下、站立）的视频，提取出特征并打好标签，就能构建一个可用的分类模型。

选择KNN的三大理由：

实现简单：算法逻辑清晰，自己手写一个基础版也不难，用scikit-learn的话更是几行代码的事。
无需复杂训练：省去了漫长的模型训练和调参时间，快速验证想法。
解释性强：如果分类出错，我们可以很容易地回溯，看看是哪些“邻居”导致了误判，便于分析和优化特征。

当然，KNN也有缺点，比如预测时计算开销随数据量增大而增加（但我们的场景数据量不大），以及对特征缩放敏感。这些我们在后续实现中都会针对性处理。

3. 系统架构与核心流程拆解

整个项目的流水线可以清晰地分为四个阶段：数据采集与标注 -> 特征工程 -> 模型训练 -> 实时检测与报警。下面我们逐一深入。

3.1 数据准备：模拟与采集真实姿态

理想的数据应该包含各种跌倒姿态（前扑、后仰、侧摔）和各种正常姿态（走、跑、坐、蹲、弯腰）。对于个人项目，我们可以通过以下方式获取：

模拟拍摄：在确保安全的前提下（如在地垫上），自己或请朋友模拟跌倒动作，用摄像头录制视频。注意从不同角度（正面、侧面）录制一些，以增加模型的鲁棒性。
使用公开数据集：虽然完全匹配的少，但可以寻找包含“跌倒”动作的视频数据集，如UR Fall Detection Dataset。不过，我们的方案更依赖自身提取的骨架特征，所以对原始视频背景要求不高。
关键点提取与保存：这是核心步骤。我们写一个脚本，用Mediapipe处理每一帧视频，提取33个3D关键点坐标，并根据当前动作手动或半自动地打上标签（“fall”或“normal”）。

import cv2 import mediapipe as mp import numpy as np import pandas as pd mp_pose = mp.solutions.pose pose = mp_pose.Pose(static_image_mode=False, model_complexity=1, enable_segmentation=False, min_detection_confidence=0.5) def extract_landmarks_from_video(video_path, label): cap = cv2.VideoCapture(video_path) all_landmarks = [] while cap.isOpened(): ret, frame = cap.read() if not ret: break # 转换颜色空间，Mediapipe需要RGB image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = pose.process(image_rgb) if results.pose_landmarks: # 提取33个关键点的x, y, z坐标，共99个特征 landmarks = [] for lm in results.pose_landmarks.landmark: landmarks.extend([lm.x, lm.y, lm.z]) # 注意：这里x,y,z是归一化坐标 landmarks.append(label) # 在特征向量末尾添加标签 all_landmarks.append(landmarks) cap.release() return np.array(all_landmarks) # 示例：处理跌倒视频和正常视频 fall_data = extract_landmarks_from_video('fall_video.mp4', label=1) # 1代表跌倒 normal_data = extract_landmarks_from_video('normal_video.mp4', label=0) # 0代表正常 # 合并数据并保存 all_data = np.vstack([fall_data, normal_data]) df = pd.DataFrame(all_data) # 最后一列是标签，前面99列是特征 df.columns = [f'f{i}' for i in range(99)] + ['label'] df.to_csv('pose_landmark_dataset.csv', index=False)

3.2 特征工程：从原始坐标到有效特征

直接把99个坐标（33个点*3维）扔给KNN效果通常不好，因为存在大量冗余和噪声。我们需要设计更能表征“跌倒”本质的特征。这里我分享几个经过实践验证有效的特征：

躯干倾斜角：这是最核心的特征。通过计算肩膀中点和臀部中点连线与垂直方向的夹角。跌倒时，这个夹角会急剧增大。

# 假设 landmarks 是包含33个点(x,y,z)的列表 # 左肩: 11, 右肩: 12, 左髋: 23, 右髋: 24 (Mediapipe索引) shoulder_center = (landmarks[11] + landmarks[12]) / 2 hip_center = (landmarks[23] + landmarks[24]) / 2 # 计算向量 torso_vector = hip_center - shoulder_center # 从肩到髋的向量 # 计算与垂直向量 (0, -1, 0) 在YZ平面上的夹角（忽略X轴左右倾斜） vertical_vec = np.array([0, -1, 0]) # 取 torso_vector 的 Y和Z 分量 torso_vec_yz = np.array([torso_vector[1], torso_vector[2]]) dot_product = np.dot(torso_vec_yz, vertical_vec) norm_product = np.linalg.norm(torso_vec_yz) * np.linalg.norm(vertical_vec) torso_angle = np.degrees(np.arccos(dot_product / norm_product))

身体重心高度（归一化）：计算所有关键点（或躯干关键点）的平均Y坐标。跌倒时，身体重心会迅速降低。需要根据人的身高进行归一化，或者使用其变化率。avg_y = np.mean([lm.y for lm in landmarks])
关键点速度/加速度：计算特定点（如头部、臀部）在连续帧间的位移变化。突然的、大幅度的向下运动是跌倒的强信号。
关节角度：例如膝盖弯曲角、肘关节角。跌倒过程中，关节角度变化模式与正常行走、坐下不同。
支撑面特征：通过脚踝、脚尖关键点的位置判断支撑是否稳定。但仅用2D图像判断支撑面比较困难。

在实际项目中，我选取了躯干倾斜角、头部高度（归一化）、臀部高度（归一化）以及左右肩与左右髋在垂直方向上的最大高度差（用于检测侧摔）这四个特征，构成了一个4维的特征向量。这个低维特征向量不仅计算快，而且对KNN非常友好。

实操心得：特征工程是项目成败的关键。一开始我尝试用全部99个坐标，结果KNN模型对噪声非常敏感，在摄像头前稍微晃一下就可能误报。后来聚焦到“躯干倾斜角”这个物理意义明确的特征上，效果立竿见影。记住，好的特征应具备强区分度、低冗余和明确的物理意义。

3.3 模型训练：KNN的调优与陷阱

有了特征数据和标签，我们就可以训练KNN分类器了。这里我用scikit-learn演示。

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.neighbors import KNeighborsClassifier from sklearn.preprocessing import StandardScaler from sklearn.metrics import classification_report # 1. 加载数据 df = pd.read_csv('pose_feature_dataset.csv') # 这个CSV包含我们 engineered features X = df.drop('label', axis=1).values y = df['label'].values # 2. 数据标准化！这是KNN的必须步骤 scaler = StandardScaler() X_scaled = scaler.fit_transform(X) # 3. 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42) # 4. 训练KNN模型 # 关键参数：n_neighbors (K值), weights ('uniform'或'distance'), metric (距离度量，如'euclidean'欧氏距离) knn = KNeighborsClassifier(n_neighbors=5, weights='distance', metric='euclidean') knn.fit(X_train, y_train) # 5. 评估 y_pred = knn.predict(X_test) print(classification_report(y_test, y_pred)) # 6. 保存模型和标准化器（用于后续实时检测） import joblib joblib.dump(knn, 'fall_detection_knn_model.pkl') joblib.dump(scaler, 'feature_scaler.pkl')

几个关键的调优点和踩坑记录：

K值选择：K太小（如1）容易过拟合，对噪声敏感；K太大会使分类边界模糊。我通过交叉验证发现，在这个任务中，K=3或5效果较好。可以用GridSearchCV搜索最佳K值。
距离权重：weights='distance'意味着更近的邻居投票权重更高，这通常比uniform（一票一权）效果更好。
特征标准化：这是重中之重！因为我们的特征（如角度、高度）量纲和数值范围不同。如果不做标准化，数值大的特征（如像素坐标）会完全主导距离计算，导致模型失效。StandardScaler（Z-score标准化）是标准操作。
类别不平衡：如果“正常”帧远多于“跌倒”帧，模型会偏向多数类。需要确保数据集中两类样本数量大致平衡，或者使用class_weight参数。

3.4 实时检测与报警逻辑

训练好模型后，我们就可以搭建一个实时检测的Pipeline了。这个流程是持续循环的：

捕获帧：从摄像头读取一帧图像。
姿态估计：送入Mediapipe，获取33个3D关键点。
特征提取：从关键点中实时计算我们定义好的那几个特征（如躯干倾斜角）。
特征标准化：使用之前保存的scaler，对实时提取的特征进行同样的标准化变换。
分类预测：将标准化后的特征向量输入KNN模型，得到预测标签（0或1）。
决策与报警：不要单帧决策！这是减少误报的关键。我采用了一个“时间窗口投票”机制：维护一个最近N帧（比如15帧，约0.5秒）的预测结果队列。当队列中“跌倒”标签的比例超过一个阈值（如70%），并且当前帧的躯干倾斜角也超过一个物理阈值（如60度），才最终触发“跌倒”报警。这样可以过滤掉瞬间的误检测（如快速弯腰捡东西）。
报警输出：触发报警后，可以在画面上显示醒目的警示框和文字，并发出声音警报，或者通过网络请求通知预设的联系人。

import cv2 import mediapipe as mp import numpy as np import joblib from collections import deque # 加载模型和标准化器 knn = joblib.load('fall_detection_knn_model.pkl') scaler = joblib.load('feature_scaler.pkl') mp_pose = mp.solutions.pose pose = mp_pose.Pose() mp_drawing = mp.solutions.drawing_utils # 初始化预测队列 prediction_window = deque(maxlen=15) alert_threshold = 0.7 # 窗口内跌倒帧比例阈值 angle_threshold = 60 # 躯干角度阈值 cap = cv2.VideoCapture(0) # 打开摄像头 while cap.isOpened(): ret, frame = cap.read() if not ret: break image_rgb = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB) results = pose.process(image_rgb) alert_text = "Status: Normal" if results.pose_landmarks: # 绘制骨架 mp_drawing.draw_landmarks(frame, results.pose_landmarks, mp_pose.POSE_CONNECTIONS) # 1. 提取关键点 landmarks = results.pose_landmarks.landmark # 2. 计算特征（例如，这里只计算躯干倾斜角作为示例特征） # 注意：需要将landmark的归一化坐标转换为可用于计算角度的形式 # 这里简化处理，实际应使用3.2节中的方法计算多个特征 shoulder_center = np.array([(landmarks[11].x + landmarks[12].x)/2, (landmarks[11].y + landmarks[12].y)/2, (landmarks[11].z + landmarks[12].z)/2]) hip_center = np.array([(landmarks[23].x + landmarks[24].x)/2, (landmarks[23].y + landmarks[24].y)/2, (landmarks[23].z + landmarks[24].z)/2]) torso_vec = hip_center - shoulder_center # 计算角度（简化版，实际应在YZ平面计算） torso_angle = np.degrees(np.arccos(torso_vec[1] / (np.linalg.norm(torso_vec) + 1e-10))) # 构建特征向量（这里只用了一个角度，实际应用应使用训练时用的所有特征） current_feature = np.array([[torso_angle]]) # 实际应为多维，如 [angle, height, ...] # 3. 标准化特征 current_feature_scaled = scaler.transform(current_feature) # 4. 预测 prediction = knn.predict(current_feature_scaled)[0] prediction_window.append(prediction) # 5. 基于时间窗口的决策 if len(prediction_window) == prediction_window.maxlen: fall_ratio = sum(prediction_window) / len(prediction_window) if fall_ratio > alert_threshold and torso_angle > angle_threshold: alert_text = "ALERT: FALL DETECTED!" # 触发报警动作：播放声音、发送通知等 # 例如：cv2.putText(frame, "!!! FALL !!!", ...) # 在画面上显示角度和状态 cv2.putText(frame, f"Torso Angle: {torso_angle:.1f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 255, 0), 2) cv2.putText(frame, alert_text, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255) if "ALERT" in alert_text else (0, 255, 0), 2) cv2.imshow('Fall Detection', frame) if cv2.waitKey(1) & 0xFF == ord('q'): break cap.release() cv2.destroyAllWindows()

4. 实战中的挑战与优化策略

把流程跑通只是第一步，要让这个系统真正可靠，还需要解决一系列实际问题。

4.1 Mediapipe的稳定性与误检处理

Mediapipe在光照良好、人物全身可见且无严重遮挡时表现优异。但在实际家居环境中，挑战很多：

遮挡问题：人被家具部分遮挡（如走过桌子后面）、躺下时肢体被自身遮挡。这会导致关键点丢失或位置跳变。
- 策略：使用关键点的“可见性（visibility）”分数进行过滤。对于置信度过低的关键点，在特征计算中予以忽略或使用插值（如用上一帧的位置）。
- 策略：关注那些不易被遮挡的“核心关键点”，如鼻、肩、髋。即使四肢点丢失，靠核心点也能做初步判断。
多人场景：如果画面中出现多人，Mediapipe默认只检测最显著的一人。对于家庭监控，这通常够用。如果需要检测多人，可以启用model_complexity=2并处理多个pose_landmarks，但计算开销会增大。
快速运动模糊：跌倒是一个快速过程，可能导致图像模糊，影响检测精度。
- 策略：除了单帧特征，更要依赖我在3.4节提到的时间窗口投票机制。一帧的误判不会触发报警，系统看的是短时间内的趋势。

4.2 特征工程的再优化：应对边界情况

最初的特征集（躯干角、高度）能处理大部分向前后跌倒的情况，但对于“缓慢滑倒”或“靠着墙坐下”这类边界情况，容易误判。

我的优化方法是引入运动历史信息作为特征：

速度特征：计算臀部关键点在连续帧间Y坐标的变化率。一个快速的负向速度（向下运动）是跌倒的强特征，而缓慢下降可能是坐下。
加速度特征：速度的变化率。跌倒开始瞬间的加速度会有一个峰值。
姿态持续性：计算“疑似跌倒姿态”（如躯干角>45度）持续的帧数。短暂的倾斜是弯腰，持续的倾斜才可能是跌倒或躺下。

将这些动态特征与静态空间特征结合，能大幅提升模型对复杂场景的判别能力。

4.3 降低误报：融合多源信息的决策逻辑

误报（False Positive）是安防系统的大敌。除了上述的时间窗口滤波，还可以：

区域限制：只检测特定区域（如客厅地毯区域、卫生间）。通过设定一个ROI（Region of Interest），忽略其他区域的运动，可以有效减少宠物、窗帘晃动等干扰。
姿态白名单：明确定义一些绝不会是跌倒的正常姿态，如“完全站立”（躯干角<20度且高度正常）、“标准坐姿”（躯干角较大但臀部高度很低且稳定）。当系统检测到这些姿态时，即使时间窗口内有跌倒信号，也予以否决。
报警延迟与确认：触发报警条件后，不立即发出远程通知，而是先启动本地声光报警。如果人在一段时间内（如10秒）自行起身（系统检测到姿态恢复），则取消远程报警。这给了人一个反应时间，避免因误报造成不必要的恐慌。

4.4 性能优化与部署考量

在树莓派或旧笔记本上部署时，性能是关键。

降低处理帧率：对于跌倒检测，不需要很高的帧率。将视频流处理降至5-10 FPS，可以显著降低CPU占用。
降低Mediapipe模型复杂度：model_complexity参数设为0（最轻量）或1（均衡），而不是2（最重）。
特征计算优化：只计算必要的特征，避免在实时循环中进行复杂的矩阵运算。
使用多进程：将图像采集、姿态估计、特征计算与分类、UI显示放在不同的进程中，利用多核CPU能力。

5. 项目源码结构与扩展方向

一个完整的项目源码通常包含以下模块，我建议这样组织：

fall_detection_project/ ├── data/ │ ├── raw_videos/ # 存放原始采集的视频 │ └── processed/ # 存放提取好的特征CSV文件 ├── src/ │ ├── data_preprocessing.py # 视频处理、关键点提取、特征工程脚本 │ ├── train_model.py # 数据加载、标准化、训练KNN模型并保存 │ ├── realtime_detection.py # 主程序：实时摄像头跌倒检测 │ └── utils.py # 公共函数，如角度计算、报警逻辑 ├── models/ │ ├── knn_model.pkl # 训练好的KNN模型 │ └── scaler.pkl # 特征标准化器 ├── requirements.txt # 项目依赖包列表 └── README.md # 项目说明文档

关于扩展方向，这个项目还有很大的潜力可挖：

集成与报警：将Python检测程序作为一个服务，当检测到跌倒时，调用网络API（如发送邮件、微信消息、触发智能家居的灯光闪烁或拨打本地电话）进行报警。
模型升级：当收集到足够多的数据后，可以尝试更复杂的模型，如轻量级的神经网络（如MobileNetV2 + LSTM），或许能获得更好的性能。但KNN方案在数据量少时，始终是一个快速可靠的起点。
多视角融合：如果条件允许，在房间对角部署两个摄像头，利用多视角信息可以更准确地判断3D姿态，极大减少遮挡带来的问题。
加入行为识别：不仅可以检测跌倒，还可以扩展识别“挥手求救”、“长时间静止”等异常行为，成为一个更全面的老人看护系统。

回过头看，这个项目最吸引我的地方，在于它用非常务实的技术组合（Mediapipe解决感知，KNN解决小样本分类），低成本地解决了一个真实的痛点。它不需要你精通深度学习全部理论，但需要你深刻理解问题本身，并能有创意地运用工具。从Mediapipe的坐标里算出那个关键的“躯干倾斜角”，再到用时间窗口滤掉偶发的误报，每一步都充满了工程化的思考。

本文还有配套的精品资源，点击获取