1. Android视频编码基础与MediaCodec入门
在移动端视频处理中，H.264和H.265是最常用的视频编码标准。Android系统通过MediaCodec API为开发者提供了硬件加速的编解码能力，这比传统的软件编码效率高出3-5倍。我曾在多个项目中实测，使用MediaCodec进行1080P视频编码时，CPU占用率能控制在15%以下，而软件编码通常需要占用40%以上的CPU资源。
MediaCodec的工作流程可以类比为工厂流水线：输入缓冲区就像原材料入口，编码器是加工车间，输出缓冲区则是成品出口。异步模式相当于给这条流水线配备了智能调度系统，当原材料到达时会自动通知我们（onInputBufferAvailable），当成品完成时也会主动提醒（onOutputBufferAvailable）。这种机制避免了轮询检查的资源浪费，在实际项目中能减少约30%的编码延迟。
选择H.264还是H.265需要权衡几个关键因素：
- 压缩效率：H.265比H.264节省约50%码流，但编码复杂度高2-3倍
- 设备兼容性：H.264支持率接近100%，H.265需要Android 5.0+且硬件支持
- 实时性要求：直播场景建议H.264，点播存储可考虑H.265
2. Camera预览与编码器配置实战
2.1 Camera2 API数据获取
现在主流设备都推荐使用Camera2 API，它提供了更精细的控制能力。配置时需要注意几个关键点：
// 创建CameraCaptureSession时设置预览Surface val surfaces = listOf(encoderSurface, previewSurface) // 同时输出到预览和编码 cameraDevice.createCaptureSession(surfaces, object : CameraCaptureSession.StateCallback() { override fun onConfigured(session: CameraCaptureSession) { val request = cameraDevice.createCaptureRequest( CameraDevice.TEMPLATE_RECORD).apply { addTarget(encoderSurface) addTarget(previewSurface) } session.setRepeatingRequest(request.build(), null, null) } })这里有个坑我踩过多次：必须正确设置ImageFormat。YUV_420_888是最通用的格式，但某些设备可能只支持NV21。建议在初始化时检查设备支持情况：
val map = characteristics.get( CameraCharacteristics.SCALER_STREAM_CONFIGURATION_MAP) val outputFormats = map?.outputFormats ?: intArrayOf()2.2 编码器参数调优
MediaFormat的配置直接影响视频质量和性能。以下是一个经过实战验证的配置模板：
fun createVideoFormat(mimeType: String, width: Int, height: Int): MediaFormat { return MediaFormat.createVideoFormat(mimeType, width, height).apply { setInteger(MediaFormat.KEY_COLOR_FORMAT, MediaCodecInfo.CodecCapabilities.COLOR_FormatSurface) setInteger(MediaFormat.KEY_BIT_RATE, width * height * 5) // 5bps/pixel setInteger(MediaFormat.KEY_FRAME_RATE, 30) setInteger(MediaFormat.KEY_I_FRAME_INTERVAL, 2) // 关键帧间隔(秒) // H.265专属配置 if (mimeType == MediaFormat.MIMETYPE_VIDEO_HEVC) { setInteger(MediaFormat.KEY_PROFILE, MediaCodecInfo.CodecProfileLevel.HEVCProfileMain) setInteger("level-idc", 153) // Level 4.1 } } }关键参数经验值：
- 比特率：普通场景用
宽度×高度×3，运动场景用×5 - 关键帧间隔：直播建议2-3秒，本地录制可设5-10秒
- Profile选择：Baseline兼容性最好，High质量最优
3. 异步编码核心实现
3.1 回调机制深度解析
MediaCodec.Callback是异步编码的核心，其工作流程如下图所示（伪代码表示）：
onInputBufferAvailable -> 填充YUV数据 -> queueInputBuffer onOutputBufferAvailable -> 处理编码数据 -> releaseOutputBuffer onOutputFormatChanged -> 获取新的输出格式（含关键参数集）在真实项目中，我发现输出数据的顺序可能有以下三种情况：
- 先触发onOutputFormatChanged，再输出视频帧（70%设备）
- 先输出配置帧（VPS/SPS/PPS），再触发onOutputFormatChanged（25%设备）
- 两者同时到达（5%设备）
因此必须做好状态同步，建议使用AtomicBoolean标记是否已收到配置数据。
3.2 参数集提取的两种方法
方法一：首帧解析
适用于所有Android版本，但需要处理NAL单元分割：
fun parseFirstFrame(buffer: ByteBuffer, info: MediaCodec.BufferInfo) { val type = when(mimeType) { MediaFormat.MIMETYPE_VIDEO_AVC -> buffer[4].toInt() and 0x1F MediaFormat.MIMETYPE_VIDEO_HEVC -> (buffer[4].toInt() and 0x7E) shr 1 else -> -1 } when { type == 7 || type == 8 -> { // H.264 SPS/PPS val data = ByteArray(info.size).also { buffer.get(it) } Log.d("SPS", data.sliceArray(4..8).toHex()) } type == 32 || type == 33 || type == 34 -> { // H.265 VPS/SPS/PPS val data = ByteArray(info.size).also { buffer.get(it) } val vpsEnd = findNextNal(data, 32) // 自定义查找函数 Log.d("VPS", data.sliceArray(4..vpsEnd).toHex()) } } }方法二：从MediaFormat获取
更可靠但需要API 21+：
override fun onOutputFormatChanged(codec: MediaCodec, format: MediaFormat) { when(mimeType) { MediaFormat.MIMETYPE_VIDEO_AVC -> { val sps = format.getByteBuffer("csd-0")!!.array() val pps = format.getByteBuffer("csd-1")!!.array() Log.d("CSD", "SPS: ${sps.toHex()} PPS: ${pps.toHex()}") } MediaFormat.MIMETYPE_VIDEO_HEVC -> { val csd0 = format.getByteBuffer("csd-0")!!.array() val vps = extractVps(csd0) // 自定义提取函数 Log.d("CSD", "VPS: ${vps.toHex()}") } } }两种方法对比：
| 特性 | 首帧解析法 | CSD提取法 |
|---|---|---|
| 兼容性 | 全版本支持 | 需API 21+ |
| 可靠性 | 依赖设备实现 | 官方标准 |
| 实时性 | 可能更快获取 | 可能稍有延迟 |
| 数据完整性 | 需要手动拼接 | 已预分割 |
4. 高级技巧与性能优化
4.1 编码延迟优化
在直播场景中，我通过以下方法将端到端延迟从500ms降到200ms内：
- 输入缓冲复用：预分配YUV缓冲区池，避免频繁内存分配
val bufferPool = Array(3) { ByteArray(width * height * 3 / 2) } var currentBuffer = 0 fun getInputBuffer(): ByteArray { currentBuffer = (currentBuffer + 1) % bufferPool.size return bufferPool[currentBuffer] }- 动态比特率调整：根据网络状况实时调整
fun adjustBitrate(newBitrate: Int) { val params = Bundle().apply { putInt(MediaCodec.PARAMETER_KEY_VIDEO_BITRATE, newBitrate) } mediaCodec.setParameters(params) }4.2 参数集缓存策略
由于SPS/PPS可能发生变化（如分辨率切换），建议实现以下逻辑：
class ParamSetCache { private var cachedSps: ByteArray? = null private var cachedPps: ByteArray? = null fun update(sps: ByteArray, pps: ByteArray): Boolean { val changed = !sps.contentEquals(cachedSps) || !pps.contentEquals(cachedPps) if (changed) { cachedSps = sps.copyOf() cachedPps = pps.copyOf() } return changed } }4.3 异常处理经验
在华为P30等设备上遇到过编码器突然重置的问题，解决方案是：
- 监听onError回调立即重启编码器
- 保存最后的关键帧用于恢复编码
- 添加重试计数器避免死循环
private var errorCount = 0 override fun onError(codec: MediaCodec, e: MediaCodec.CodecException) { if (errorCount++ < 3) { resetEncoder() } else { postError("Encoder failed 3 times") } }5. 实战：构建完整编码流水线
5.1 架构设计要点
一个健壮的编码模块应该包含以下组件：
- 数据采集层：Camera2 API + ImageReader
- 预处理层：格式转换（如YUV转NV21）、旋转镜像处理
- 编码核心：MediaCodec异步封装
- 参数管理器：处理SPS/PPS/VPS的存储与更新
- 输出控制器：封装MP4或发送到网络
5.2 完整示例代码
以下是经过多个项目验证的核心代码框架：
class VideoEncoder( private val width: Int, private val height: Int, private val mime: String ) : MediaCodec.Callback() { private lateinit var mediaCodec: MediaCodec private val bufferQueue = LinkedBlockingQueue<FrameData>() private var isRunning = AtomicBoolean(false) fun start() { mediaCodec = MediaCodec.createEncoderByType(mime).apply { configure(createFormat(), null, null, CONFIGURE_FLAG_ENCODE) setCallback(this@VideoEncoder) start() } isRunning.set(true) } fun feedData(data: FrameData) { if (isRunning.get()) bufferQueue.put(data) } override fun onInputBufferAvailable(codec: MediaCodec, index: Int) { if (!isRunning.get()) return val buffer = codec.getInputBuffer(index)!! val frame = bufferQueue.poll(50, TimeUnit.MILLISECONDS) ?: return codec.queueInputBuffer(index, 0, 0, 0, 0) buffer.put(frame.data) codec.queueInputBuffer(index, 0, frame.size, frame.timestamp, 0) } override fun onOutputBufferAvailable( codec: MediaCodec, index: Int, info: MediaCodec.BufferInfo ) { val buffer = codec.getOutputBuffer(index)!! // 处理编码数据... codec.releaseOutputBuffer(index, false) } }5.3 性能监控指标
建议监控以下关键指标以确保编码稳定性：
- 输入队列深度：超过3帧说明处理能力不足
- 单帧编码耗时：持续>33ms会导致30fps丢帧
- 关键帧间隔：检查是否按配置周期生成I帧
- 温度阈值：超过45℃应降低编码复杂度
