185、无人机图传链路中的ISP低延迟设计——基于全志V853的RAW域直通与H.264编码前处理优化
去年夏天在深圳某无人机方案商那里调一版双目避障图传，客户要求端到端延迟压到80ms以内，我们拿全志V853做主控，Sensor是OV5647，跑的是RAW10输出。当时第一版固件出来，延迟直接飙到180ms，飞手打杆明显感觉画面“粘手”。用示波器量PTP时间戳，发现光ISP到编码器之间就吃了将近70ms，这还不算网络传输和显示刷新。后来把整条链路拆开逐级打点，才定位到问题不在编码器，也不在Sensor驱动，而是ISP内部那条默认的“完整处理管线”在作祟。V853这颗芯片的ISP其实支持RAW域直通模式，但SDK默认配置是走完去噪、坏点校正、镜头阴影补偿、自动白平衡、色彩矩阵、Gamma、锐化、降噪这一整套，每一级都有行缓冲和帧延迟，叠加起来就是灾难。
先说说RAW域直通是什么概念。Sensor出来的RAW数据，理论上可以直接绕过ISP的大部分模块，只做必要的格式转换和裁剪，然后直接喂给编码器。但这里有个坑：H.264编码器通常不接受RAW格式输入，它要的是YUV420或者NV12。所以“直通”不是真的把RAW丢给编码器，而是把ISP的处理链砍到最短——只保留RAW到YUV的格式转换，跳过所有需要统计和反馈的模块。全志V853的ISP里有一个叫“Bypass Mode”的开关，在驱动里对应isp_bypass_enable这个寄存器位。打开之后，ISP只做Bayer到RGB的插值，然后直接转YUV，不做任何降噪、不做坏点补偿、不做Gamma校正。代价是画面噪点会明显，暗部会有偏色，但延迟能砍掉一大半。
我们当时在V853的驱动里
