本文介绍了 Matter 1.5 中新增的摄像头功能，并讨论了基于 Espressif Matter SDK 对 ESP32 系列 SoC 的摄像头支持。
乐鑫 SoC 现已支持基于 Matter 的摄像头方案——这是业内首个面向 MCU 的摄像头设备实现方案。
Matter 1.5中的摄像头支持
2025 年 11 月，连接标准联盟 (Connectivity Standards Alliance, CSA) 在 Matter 1.5 中引入了摄像头支持。这使设备厂商能够构建可跨任何 Matter 生态互操作的摄像头设备，无需自定义应用或接口。Matter 规范采用广泛使用的 WebRTC 框架来实现这一功能。
Matter 1.5 中的摄像头可支持多种设备类型：
- 视频门铃：结合摄像头与通用开关，实现带视频和音频流的门铃
- 音频门铃：摄像头配合通用开关，实现音频流功能
- 泛光灯：结合摄像头与灯光，主要用于安防场景
- 快照摄像头：支持按需获取静态图像
- 对讲机：提供设备间按需双向通信
- 铃声设备：播放预置音效，通常与门铃配合使用，虽非直接摄像头类型，但可集成
Matter摄像头的优势
- 远程查看：Matter 允许控制器（或生态系统）配置摄像头的 STUN/TURN 服务器，设备厂商无需自行处理 NAT 穿透
- 端到端加密：支持 Secure Frame (SFrame) 技术，实现复杂多设备生态中音视频流的端到端加密
- 录制上传：支持使用标准 CMAF (Common Media Application Format) 上传录制媒体，可选加密
- 区域管理：提供二维笛卡尔坐标区功能，可用于隐私遮挡或运动检测，同时支持数字化 PTZ (Pan-Tilt-Zoom) 覆盖多个区域
技术概览
以下架构图展示了 Matter 摄像头的应用架构：
工作流程
支持 Matter 的控制器（如手机 App）将摄像头设备加入 Matter 网络。随后，当用户请求视频流时，处理流程从 Camera AV Stream Management 集群开始。该集群会验证请求、检查兼容的流配置，并通过查询底层摄像头硬件确保有足够的资源可用。
接着，Matter 控制器通过 WebRTC Transport Provider 和 Requestor 集群向摄像头设备发送 SDP offer，启动WebRTC 会话。控制器创建新的 WebRTC 传输，将远端描述设置为该 offer，并请求分配必要的音视频流。
一旦流成功分配，摄像头设备生成 SDP answer 并返回给控制器。随后，控制器提供 ICE (Interactive Connectivity Establishment) 候选节点以建立网络连接，摄像头设备将这些远程候选节点加入传输，收集候选节点后返回给客户端。ICE 协商完成后，WebRTC 会话建立，点对点 (P2P) 实时音视频流开始传输。
数据模型
摄像头能力基于 Matter 的以下集群 (Clusters)：
- Camera AV Stream Management：管理和控制音视频及快照流的标准化接口，包括流资源协商、会话分配/释放及优先级管理
- Camera AV Settings User Level Management：定义摄像头音视频设置的用户级属性与命令，包括分辨率、帧率、码率及 PTZ 参数
- Push AV Stream Transport：提供事件驱动的音视频流推送机制，可响应触发或事件上传媒体
- WebRTC Transport Provider：定义 WebRTC 传输端点接口，包括 SDP 协商、ICE 候选处理及安全低延迟传输管理
- Zone Management：定义和管理摄像头视野中的逻辑区域（区域形状、大小及行为，如运动检测或隐私遮挡）
乐鑫 MCU 摄像头方案
大多数摄像头运行 Linux 系统，而基于 ESP32-P4 的 MCU 摄像头是业内首例 MCU 实现方案，具备明显优势：
- 电池供电：采用分离式 WebRTC 架构，将流媒体与信令分别由 ESP32-P4 和 ESP32-C5/C6 处理。ESP32-P4 非流媒体时可进入深度睡眠，ESP32-C5/C6 保持 Wi-Fi 轻睡眠，实现低功耗长续航
- 安全性增强：相比 Linux 摄像头，MCU 无完整操作系统和复杂包管理器，攻击面更小，设备更安全
- 成本优势：无需高成本应用处理器、大容量内存或复杂电源管理，降低制造成本同时保持高质量视频流能力
- 快速启动：MCU 系统启动时间仅毫秒级，实现近即时激活和视频采集
乐鑫 MCU Matter 摄像头基于 Matter SDK，完整实现了 Camera 设备类型功能。
硬件架构
- ESP32-P4：双核 SoC，支持 MIPI-CSI 摄像头输入和 H.264 硬件编码，实现实时 1080p@30fps。直接连接摄像头传感器、麦克风和扬声器
- ESP32-C5/ESP32-C6：提供摄像头 Wi-Fi 连接，C5 支持 2.4GHz/5GHz 双频，C6 支持 2.4GHz，运行 Matter 协议栈和应用层
当前特性
- Full HD (1920x1080) 视频捕获 (1080p@30fps) 并支持 H.264 硬件编码
- 实时音视频流 (WebRTC)
- 双向通话
- 低功耗电池供电设计
- 支持多路视频流同时推送
试用指南
硬件：
- ESP32-P4 功能验证开发板，支持 MIPI-CSI 摄像头
- 与 ESP32-P4 兼容的摄像头模块
- Matter 支持的手机 App 或 Host 控制器
软件：
- 按照 Camera 示例步骤构建、烧录和测试
即将支持的功能
- 快照拍摄 (JPEG)
- 安全：录制并加密上传媒体 (CMAF)
- 隐私与 PTZ：笛卡尔坐标区与云台控制
随着 Matter 1.5 在智能家居生态中的持续推广，基于乐鑫 SoC 的 MCU 摄像头将为市场提供互操作性、安全且高性价比的摄像头方案，推动未来智能摄像头设备的发展。
