弱网的场景

弱网与常规的互联网还是不一样的，常规的互联网对于极限挑战，已经是不错的。无论是直播、点播，基础设施、网络设备以及压缩处理技术等已经完全可以满足高清、超高清、多视点等需求了。但对于弱网来说，比如：应急救灾、远洋海事、无人图传、边防监控等，这些场景往往需要实时的通信，但这些场景下，依赖基站通信存在一定的自然原因可能会导致通讯受限，甚至中断。比如：大规模泥石流、地震等自然灾害。

弱网环境的主要问题有两个方面，一方面是带宽极低，其实也不是很大问题，只要网络平稳。那么就涉及到第二个问题，网络抖动。其实弱网不仅仅在应急救灾、远洋海事等，尤其现在 5G 上来后，频率变高，需要直线传输，当遇到许多阻碍的时候会带来网络的变化比较大，这种也称为弱网。当然，有时候，wifi 下也会存在弱网的出现。面对带宽低，主要是信息量，提高压缩。面对网络抖动大，通过网络控制、机器学习来学习网络的状态。目前我们的研究还是比较领先于国际的，尤其是对于压缩编码。在现有的模型算法中，我们的性能有很大的优势。

弱网环境会导致丢包，需要向前纠错FEC、丢包重传ARQ等手段对抗，会牺牲一定的时延和带宽。

向前纠错FEC：通过数据包冗余发送机制，比如接收11个包中的任意10个，可以恢复另一个。

丢包重传ARQ：请求重发

网络延时高，要尽量减少重传，优先选择FEC；网络延时不高，但大量丢包的情况选择ARQ。

编解码技术提升弱网下视频质量

l自适应GOP结构

一组图像，以I帧开头，固定间隔。用户出现丢包，需等下一个I帧到来才能解码，中间P帧无法单独解码。动态GOP，当出现丢包或新用户接入，主动申请I帧。

l动态编码参数设定

设定一个质量可控的QP范围，基于实时统计的码率以及QP情况动态调整帧率和分辨率。

lSVC编码技术

伸缩视频编解码，可采用分层视频编解码，一般分三种类型：时域分层、空域分层、质量分层。网络存在拥塞问题，通过自适应的丢曾减少拥塞带来的卡顿。

对抗弱网下的音视频难题-抗丢包音频编解码器 Agora SOLO

Agora SOLO 是什么？ 

Agora SOLO（以下简称“SOLO”）是由声网Agora自主研发的一款面向不稳定网络的音频编解码器，它以 Silk 为基础，融合了带宽扩展(BWE)和多描述编码(MDC)等技术，使其能在较低复杂度下拥有弱网对抗能力。SOLO 编解码器兼容WebRTC，可集成到基于WebRTC 自主研发的产品中。

图 1. SOLO 编码器架构

图 2. SOLO 解码器架构

SOLO的抗丢包策略与传统方法不同。从通信原理来说，信源编码是尽可能去追求高压缩比，去冗余。而信道编码是追求强纠错，靠加冗余来实现纠错。Agora SOLO™就是把加冗余和减冗余结合起来，不重要的地方减冗余，重要的地方加冗余。

在传输过程中，它会将一个包拆分为两个进行传输，如果对端收到其中一个，则解码恢复出一个有限失真的信号；如果对端收到两个包，则可解码恢复出一个高质量的信号。即 SOLO 不需要等待对当前网络丢包状态的统计，只需要直接把抗丢包做到编解码内部。好处有三点：

l可实现更低延时； 

l可实现更高质量，当收到一个包时质量达到的普通编解码器水平，收到两个包达到高质量编解码水平； 

l可面向多人环境。

SOLO 关键技术 

n带宽扩展

SOLO 使用带宽扩展的主要原因是希望减少计算复杂度，在 Silk WB 模式中，16khz 的信号都会进入后续处理模块，而对于语音来说，8khz 以上的信息是非常少的，这部分信息进入到后续处理模块，会带来一定的计算资源浪费。MDC 因为要引入额外分析模块处理多条码流，又会引入额外的复杂度，这是 MDC 在近些年来落地不顺畅的重要原因之一。为了减少复杂度，我们在编码宽带信号前，将其分为 0-8k 的窄带信息和 8-16k 的高频信息。只有窄带信息会进入到后续正常分析、编码流程中，这样后续的计算量就减少了一半，同时得益于带宽扩展算法，整体质量不会有明显下降。高频信息部分，SOLO 使用独立的分析与编码模块，默认将高频信息压缩成1.6kbps 的码流。这部分高频信息可以在解码器内结合低频信号恢复出高频信号。

n结合delay-decision 的 MDC

在 Silk 中，delay-decision 模块是一个滞后计算编码误差的模块，它可以从多个候选码流中选择误差最小的码流作为编码输出，一定程度上来说，它使得标量量化拥有了矢量量化的性能。SOLO 利用delay-decision 模块，实现了多描述码流的分析与构建。SOLO 的MDC主要作用于滤波器输出的残差信号， SOLO 会根据当前信号状态，对残差信号做多增益控制:计算出 MD 增益 a(0

图 3. 多描述残差信号产生

随后，这两段残差信号会进入到新的delay-decision 模块中，每个残差信号使用不同的抖动和量化方法，一共可以产生 8 种不同的备选状态，两两组合起来共有 64 种备选合成状态，新的delay-decision 模块会对每个残差信号的独立误差和两个残差信号的合成误差进行加权求和，决定出最 佳的两个残差信号进入到编码模块

n输出码流组包

图 4. 编码器码流整合及组包

SOLO 默认配置为每次输入 40ms(2 帧)，输出两段互补的多描述码流，解码器接收到任一段码流，即可解码出40ms 的信号。为了方便接收端区分码流的顺序，码流第 一个字节的右数第 4 个 bit 是码流顺序标志位，第 一段码流标志位的值是 0，第二段码流标志位的值是 1。接收端在进行码流处理时，可依据此标志位进行码流顺序判断。