大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺
一、概述
webrtc冗余打包方式有三种：Red（rfc2198）、Ulpfec（rfc5109）、Flexfec（草案）。其中Red和Ulpfec要成对使用。
二、RedFEC
简单将老报文打包到新包上。如下图所示，冗余度为1时，RFC2198打包情况：
这种方法在音视频领域几乎不使用，因为冗余包只能保护特定一个报文，这种方法带宽占用量很大，恢复能力有限，性价比很低。只是早期的T38传真、RFC2833收号会使用该协议，因为传真和收号的数据量比较小。
webrtc里面说使用了RFC2198冗余，实际上仅仅是借用该协议的封装格式，封装FEC冗余报文。
三、UlpFEC
详细介绍可参考：webrtc QOS方法二.2（ulpfec rfc5109简介）_CrystalShaw的博客-CSDN博客_ulpfec
将一组M个报文进行异或，生成N（N就是FEC的冗余度）个FEC报文，打包出去。这组报文任意丢其中的N个，都可以通过这组(M-N)个报文+FEC冗余包恢复回来，比简单的RFC2198保护的范围扩大了很多。例如下面示意图：D为媒体包，R为冗余包，该图所示的冗余度为2。
1、发送端打包示意图
2、网络丢包示意图
3、丢包恢复示意图
webrtc通过PacketMaskTable表格在选取异或模板。PacketMaskTable表格有连续丢包（kFecMaskBursty、kPacketMaskBurstyTbl）、随机丢包（kFecMaskRandom、kPacketMaskRandomTbl）两种模型。
理论上webrtc可以通过损失程度和乱序情况相关的反馈，自适应选择kFecMaskRandom还是kFecMaskBursty，效果比较好。但是可惜的是，webrtc这块功能缺失，默认使用随机丢包模型。
四、FlexFEC
同UlpFEC实现方式，ULPFEC仅在1D行数组上进行异或，FlexFec更灵活，引进了交织算法，可以在1D行、列、2D数组异或。
1、1D行异或
2、1D列异或
3、2D行列异或
这块还是草案，如何选择异或模式的代码看没深入下去。后续补充。
需要注意，开启FlexFEC需要同时使能 WebRTC-FlexFEC-03/Enabled && WebRTC-FlexFEC-03-Advertised/Enabled 否则会出现死机异常
五、FEC算法汇总
FEC是无线传输领域的一个前向纠错的算法。网上搜资料的时候经常把无线的算法看的云里雾里的，研究半天都不知道这个和视频传输有什么关系。
无线传输领域的FEC算法主要有TURBO、LDPC、POLAR这三种。
音视频传输领域的FEC算法有如下几种：
1、webrtc的opus音频使用的是inband FEC和交织编码
2、webrtc的视频ulpfec使用的是异或XOR
3、Reed Solomon算法比较复杂，理论上数据恢复能力比较强。
六、webrtc代码分析
1）使能FEC
webrtc默认使能Red+Ulp的FEC。Flex仅在实验阶段，还不能正式使用。
2）封装FEC
- 发送冗余报文处理
RTPSenderVideo::SendVideo。当编码器支持时间分层，可以仅冗余level 0的视频数据。否则，就要冗余所有视频数据。冗余度是根据丢包率动态调整。
- 动态调整冗余参数调用栈
BitrateAllocator::OnNetworkChanged
->VideoSendStreamImpl::OnBitrateUpdated
->ProtectionBitrateCalculator::SetTargetRates
->media_optimization::VCMLossProtectionLogic::UpdateMethod
->media_optimization::VCMNackFecMethod::UpdateParameters
- 最大保护帧数确定
VCMNackFecMethod::ComputeMaxFramesFec
- 冗余报文个数确定
ForwardErrorCorrection::NumFecPackets 存储媒体报文数*保护因子。
- 根据丢包率动态调整冗余度
VCMFecMethod::ProtectionFactor
- 根据丢包模型原则要冗余的报文
ForwardErrorCorrection::EncodeFec
ForwardErrorCorrection::GenerateFecPayloads
备注：
webrtc在H264编码默认关闭ULPFEC功能，但是可以开启FlexFEC
MaybeCreateFecGenerator
->ShouldDisableRedAndUlpfec
->PayloadTypeSupportsSkippingFecPackets
参考
RED (REDundant coding) – WebRTC Glossary
ULPFEC (Uneven Level Protection Forward Error Correction) – WebRTC Glossary
FEC算法_cloudfly_cn的博客-CSDN博客_fec算法
ulp-fec,flex-fec mask表解读_zhenfei2017的博客-CSDN博客（介绍冗余度和冗余Mask参数）
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/169598.html原文链接：https://javaforall.net
