朱小勇

（中国联通山西省分公司）     

作者简介

朱小勇 西安邮电学院，学士学位，工程师，现工作于山西联通运维部

联系方式：太原市南中环街数码西路1号山西联通运维部

邮政编码 030006.

联系电话15536811789，电子邮箱zhuxiaoyong@chinaunicom.cn

摘要：随着联通4G网络不断发展，视频、网页浏览、游戏等业务占比越来越重。因而，视频等主流业务的用户体验越来越成为用户对无线网络感知体验的主要影响因素。

考虑从服务器端发往手机终端的数据包，可能会因不同包的传输路径不同，而导致到达eNodeB后，会出现乱序的情况。基站侧对核心网发来的乱序的TCP数据包进行重排序，可在一定程度上减少不必要的下行重传，提高发送效率，对时延和速率都有一定增益，尤其对于下行传输报文乱序的场景。

关键词：   TCP、乱序重排、用户感知

Abstract: With China Unicom's 4G network developing, video, web browsing and games are becoming more and more the main stream service. Therefore, the user experience of video and other mainstream services has become a major factor in the user's perception of wireless network. 

Since the transmission path of different packets may be different when data packets sent from server to mobile terminal, it is possible that disorder occurs after the packet arrive eNodeB. The base station reorder the chaotic sequence of TCP packets sent by the core network, thus, the unnecessary downlink retransmission can be reduced in somewhat, and the transmission efficiency can be improved accordingly. It is benefited to  the time delay and downlink throughput finally, especially for the scene with chaotic downlink transmission. 

Key word: TCP, Reordering, User Perception

前言：

无线网络是个人对互联网进行访问的主要途径之一。然而,随着无线网络的日益普及,终端功能的日益完善，多样化的网络服务体验对于无线网络的各方面要求也在不断增加。

LTE作为当下及未来一段时间内最主要的无线接入网络，随着整体资费持续下降及业务不断扩展，网络负荷持续快速增长。为迎合日益增长的负载需求，必然要不断扩容，但扩容速度往往滞后于容量增长速度，由此导致用户体验存在下降的可能。为最大限度保障用户体验，需要充分挖掘各网元潜能，充分发挥每一网元价值。

本文首先描述中兴通讯LTE无线网络TCP乱序重排原理，接着详细介绍TCP乱序重排具体实现方法。最后,将相关功能大同联通实践，并在尽可能滤除各种干扰因素影响下，分析TCP乱序重排功能的实际效果，给出功能在全网扩展使用建议。结果表明，中兴通讯LTE无线网TCP乱序重排功能对时延类感知指标，尤其是视频时延感知改善较为明显，而且没有其他负面影响，可在全网推广。

1 TCP乱序重排原理说明

TCP发送端是通过统计相同ACK SN（Acknowledgment Number）的个数来判断传输过程是否发生丢包的。一旦发现相同ACK SN的个数超过一定值，则重发该数据包并且减少发送窗口，这样会导致接收端缓存数据不足而影响流量。由于数据包乱序时也会产生重复ACK SN，引起TCP发送端误判为丢包，最终影响吞吐率。

中兴通讯LTE无线系统在GTPU到PDCP之间添加用户面处理模块。通过对下行数据包IP和TCP层的解析，把每个TCP流的数据区分开。通过读取报文的TCP序号和包长，判断收到数据包的 TCP序号前后是否连续，一旦出现较大序号数据包先到达的情况则认为发生乱序。将乱序的数据包放入缓存中，暂缓发送。直到正确的数据包到达或者设定的定时器超时，才将缓存中的数据下发。

在中兴通讯LTE FDD网络，TCP重排序功能可通过开关#@GlobleSwitchInformation.tcpOrderEnable@#进行开启或关闭。

2 TCP乱序重排开通方法

可通过两种手段来开通，网管界面直接修改参数，或导表方式。其中网管界面适合个别基站或少量基站修改，导表方式适合规模较大的基站参数修改。

1、网管界面直接修改

选择要开通功能的小区，打开“修改区->管理网元->无线参数->LTE FDD->无线业务配置->全局业务开关”，修改“TCP重排序功能开关”为“打开”。

图 41  TCP重排序开关配置图

2、 导表修改

导出TCP乱序开关所在参数表GlobleSwitchInformation，将表中制定小区的乱序开关全部置1，如下表所示。

将修改后的表格导向网管，同步生效即可。

两种方法均可实现，是适用场景不同，如果只改个别或少量小区，可使用网管界面直接修改，效率较高。但是如果修改的小区数量较大，在网管界面一一修改，操作不太方便，而且容易出错，最好使用导表方式，导出后，在Excel表中统一修改，然后统一导向。

3 TCP乱序重排效果验证方法

TCP乱序重排是中兴通讯LTE基站侧的一个功能，其增益来源于基站识别出乱序后，5ms以内收到正确顺序的包，并进行纠正的结果。

目前系统没有基站侧收到乱序包相关的计数器或指标，没法直观体现基站侧收到包的乱序情况。只能通过由乱序影响的指标来间接体现功能开通效果。相关指标如下：
    1、网管指标

含流量，下载速率，重传率，丢包率四类指标

2、大数据平台指标

主要关注如下三类主流业务相关指标：

l 视频：视频业务次数，视频业务流量(MB)，视频播放等待时长(ms)，视频播放卡顿占比(%)， 视频播放成功率(%)，视频业务下载速率(Kbps)

l 网页浏览：网页浏览请求次数，网页浏览流量(MB)，网页响应成功率(%)，网页响应时延(ms) ，网页显示成功率(%)，网页显示时长(ms)，网页下载速率(Kbps)

l 下载：应用下载业务次数，应用下载业务流量(MB) 下载成功率(%) 应用下载速率(Kbps)

4 现场实践结果

4.1 实践范围

为规避其他因素的干扰，选择大同联通南部一个子网140225，含浑源，灵丘及广灵三个县城，共计1026个小区进行了TCP乱序重排试验。

选择该区域主要考虑，这个子网主要覆盖县域，相对市区，实践期间网络其他方面变动，如新站入网，现网基站拆迁或搬迁，大型优化活动等相对较少，可在网络运行相对稳定的情况下，单独观测TCP乱序重排开通前后的指标影响情况。

具体范围如下图所示：

4.2 版本信息

大同现场网元版本信息如下表所示：

4.3 效果对比方案

TCP乱序重排是中兴通讯LTE基站侧的一个功能，其增益来源于基站识别出乱序后，5ms以内收到正确顺序的包，并进行纠正的结果。

目前系统没有基站侧收到乱序包相关的计数器或指标，所以没法直观体现基站侧收到包的乱序情况。只能通过由乱序影响的指标来间接体现功能开通效果。相关指标如下：
    1、网管指标

含流量，下载速率，重传率，丢包率四类指标，相关指标如下表所列：

2、大数据平台指标

主要关注如下三类主流业务相关指标：

l 视频：视频业务次数，视频业务流量(MB)，视频播放等待时长(ms)，视频播放卡顿占比(%)， 视频播放成功率(%)，视频业务下载速率(Kbps)

l 网页浏览：网页浏览请求次数，网页浏览流量(MB)，网页响应成功率(%)，网页响应时延(ms) ，网页显示成功率(%)，网页显示时长(ms)，网页下载速率(Kbps)

l 下载：应用下载业务次数，应用下载业务流量(MB) 下载成功率(%) 应用下载速率(Kbps)

详细如下表所列

通过对比TCP乱序重排开通前后一周的网管及大数据平台相关指标，来反应功能在业务量及业务模型保持相对稳定的情况下，对感知相关指标的相关影响。

4.4 实践数据分析

4.4.1 对比时段选择

功能开通后，适逢清明假期，流量整体上升相对较大，如下图所示：

为消除流量增加对指标对比分析带来的负面影响，所以下文描述所有指标对比，均基于功能开通前3月24日-3月30日，及开通后4月7日-4月13日的指标对比。

4.4.2 全天指标对比情况

1、网管指标对比

下图所示为TCP乱序重排功能开通前后，一周全天网管指标对比结果。对比情况显示开通后，流量和PRB利用率基本保持稳定，其他网管指标也基本保持稳定，可见开通前后，网络总体保持稳定，基本可排除其他干扰因素。

2、大数据平台指标对比

下图所示为TCP乱序重排功能开通前后，一周忙时Vmax大数据平台指标对比结果。

通过上述大数据平台用户体验指标全面对比，发现TCP乱序重排开通后，视频相关体验指标几乎全面改善，下载速率提升，播放成功率提升，等待时长降低。

4.4.3 忙时指标对比情况

、网管指标对比

下图所示为TCP乱序重排功能开通前后，一周忙时网管指标对比结果。忙时情况和全天相似，流量和PRB利用率基本保持稳定，其他网管指标也基本保持稳定，可见开通前后，网络总体保持稳定，基本可排除其他干扰因素。

2、大数据平台指标对比

下图所示为TCP乱序重排功能开通前后，一周Vmax大数据平台指标对比结果。

通过开通前后，一周忙时用户体验指标全面对比，发现TCP乱序重排开通后，视频相关体验指标变化情况和全天类似，几乎全面改善，下载速率提升，播放成功率提升，等待时长降低。

5 实践总结

通过功能开通前后，网管及大数据相关指标对比，发现TCP乱序重传功能开通后，不论全天还是忙时，在整体流量，PRB利用率及用户数都稳定小幅增长的前提下，各类感知指标，有不同程度的提升，尤其是视频业务指标。

5.1 全天指标对比分析

1、 网管指标

流量，RRC连接用户数，以及PRB利用率都小幅稳定上升。单用户下载速率，及上下行重传率有所改善。

2、 VMAX指标

视频指标对比情况：

视频业务次数有所降低，但是视频流量增加较大，可见开通后一周用户看大视频的比例有所增加。

视频相关体验指标，除卡顿占比外，都有明显改善，播放等待时长和下载速率改善幅度均在6%以上。

网页指标对标情况：

网页业务次数增大，但是业务流量减小较多，说明微小流量网页业务增多，导致网络下载速率降低明显，其他相关指标也有微弱恶化。

下载指标对标情况：

应用下载情况和网页类似，下载次数增加，但是下载流量减少，说明小流量下载业务增加，导致下载速率变差。

5.2 忙时指标对比分析

1、 网管指标

忙时流量，RRC连接用户数，以及PRB利用率都小幅稳定上升，单用户下载速率，及重传率改善不明显，甚至有负改善情况。

2、 VMAX指标

视频指标对比情况：

忙时视频业务次数和视频流量都有所增加的，但是流量增幅更大，视频相关的其他体验指标都有明显改善。

网页指标对标情况：

和全体统计类似，网页业务次数和业务流量均增加，但是浏览次数增幅明显更大，微小流量网页业务增多，导致网络下载速率降低明显。感知密切相关指标网页响应时延及显示时延均有明显改善。

下载指标对标情况：

和应用下载情况和网页类似，尽管下载次数和下载流量均增加了，但是下载次数增幅更加明显，说明小流量下载业务增加，导致下载速率略微变差。

5.3 验证结论

通过对TCP乱序重排功能开通前后，网管及VMAX相关业务指标进行全面对比，说明该功能对时延相关体验指标，正面影响较为明显，尤其是视频和网页时延相关指标。

但是通过开通前后不同业务次数及业务量对比，发现开通前后，业务模型变化较大。相对开通前，小微流量业务占比增加，由此导致不同业务下载速率有变差趋势。

总体而言，该功能对时延类指标有改善效果，建议全网推广。

参考文献

[1] 3GPP TS 36.331 Radio Resource Control (RRC) Protocol specification (Release 14). ［2017-03］.

[2] ZTE LTE FDD用户面优化功能指导书,［2017-5-30］.