基于大数据思维的MDT数据过滤与室内识别方法
郭向荣1，李刚2，纪纯妹1，陈炯锋1，马于飞1，熊雄1
（1.中国移动通信集团广东有限公司汕头分公司，广东 汕头 515041；2.中国移动通信集团广东有限公司，广东 广州 510000）
【摘 要】 现阶段运营商的室内网络评估方法不能有效支撑海量的室内网络评估与分析应用。从MDT数据特性出发，研究MDT数据结构与字段，采用基于大数据多维度分析的MDT异常GPS过滤方法和基于大数据匹配的MDT室内数据识别方法，该方法经过验证能够有效输出室内定位数据，解决MDT定位数据无法用于室内网络评估的问题，提供海量有效经纬度数据用于室内评估与分析。
【关键词】 MDT定位；大数据思维；数据过滤；室内识别
1 引言
现阶段运营商的室内网络评估方法主要包括人工测试与基于OTT定位的室内评估，前者存在测试效率低成本高问题，后者由于OTT数据的HTTPS广泛加密存在可解析的定位数据越来越少且精确不高的问题，因此均不能有效支撑海量的室内网络评估与分析应用。
本次研究数据源MDT[1]是运营商自有数据，数据长期可用，MDT数据特征是在MR中携带GPS经纬度信息[2]，能够直接得到具体位置上的无线网络情况[8]，应用价值高。但由于GPS收集来自海量用户[2-3]，存在部分用户上报GPS位置不准确，且在室内深入区域无法接收到GPS的问题。因此，MDT数据无法直接应用在室内网络分析上。本文基于大数据的思维方法[4-6]，对MDT异常数据过滤与室内数据识别方法[7-8]进行分析探讨，研究出一种有效的数据过滤与室内识别的方法。
2 MDT数据过滤与室内识别算法
MDT原始数据具备时间标识、用户标识、小区标识、RSRP等信息，因此，本文主要利用大数据多维分析方法评估GPS经纬度的合理性识别出异常经纬度，通过异常GPS过滤算法进行异常经纬度数据过滤，并采用两种室内数据关联算法，最终输出有效的室内数据，具体步骤包括：
（1）提取MDT原始数据中的“时间标识”“用户标识”“小区标识”“经纬度”“RSRP”等信息；
（2）利用大数据多维分析方法，基于“用户标识”与“经纬度”数据，从“用户维度”与“偏移维度”评估MDT经纬度合理性；
（3）基于“小区标识”与“经纬度”数据，从“网元维度”评估MDT经纬度合理性；
（ 4）基于“用户标识”、“经纬度”、“RSRP”数据与路测数据，从“问题点维度”评估MDT经纬度合理性；
（5）通过以上四个维度，评估识别出异常经纬度，并通过异常GPS过滤算法进行异常经纬度数据过滤；
色谱柱：Agilent ZORBAX RX-C18色谱柱(4.6 mm×250 mm，5 μm)；流动相：A为0.02 mol/L乙酸铵溶液，B为甲醇；流动相体积比A∶B=30∶70；流速：0.4 mL/min；柱温箱：25 ℃；进样量：2 μL。
1）通过将MDT数据与楼宇图层进行匹配，提取楼宇边缘的MDT数据。根据用户标识信息，提取MDT用户的所有数据（包括不带MDT经纬度的MR数据），依据用户行为及MR特征算法判断是否室内行为，如果是室内行为，则将有MDT经纬度归属的楼宇位置信息回填到没有经纬度的MR数据上。通过将MDT数据与楼宇图层进行匹配，提取楼宇边缘的MDT数据；
2）基于海量的MDT数据，提出一种新的思路，通过提取无经纬度MR，依据指纹回填算法与多站定位算法，对每条MR数据运算出两个位置，并进行位置匹配，两种算法输出的楼宇位置如果相同，则该经纬度数据回填成功。
（7）采用以上两种室内数据关联算法，最终输出可用于室内网络评估的室内数据。
如果用户只在进入或离开楼宇时上报经纬度，则对MDT经纬度之前与之后的MR进行提取，并判断满足以下算法，则对MR进行楼宇位置回填：
（6）过滤后输出的准确MDT数据，采用两种室内数据关联算法，包括室内场景行为室内数据识别与基于大数据思维的室内数据匹配：
（1）MR1经纬度归属楼宇内；
（2）提取同一个用户中，MR1后300 s内的MR数据、MR1前300 s内的MR数据；
如果进入楼宇和离开楼宇均有经纬度数据，如图4所示，MR1-MR12均属于同一用户的数据，红色点无经纬度数据，但绿色点有经纬度数据，如果MR1与MR12经纬度均归属同一楼宇且MR12-MR1 time＜300 s，MR2～MR11的RSRP均小于MR1与MR12的RSRP，则对无经纬度的MR回填经纬度。
（3）前后的数据分别进行判断，只保留RSRP均小于MR1的MR数据；
4）顽强的意志和毅力。创新之路是艰辛的，教师在教学过程中应当培养学生的坚强意志和毅力，只有这样才能够为学生的创新之路提供支持。
坚持和发展中国特色社会主义，新时代实现中华民主伟大复兴的中国梦，在前进的道路上我们必须要进行具有许多新的历史特点的伟大斗争。党的十八大以来，习近平总书记多次强调了这一点:“我们前面的路还很长，不会那样平坦，我们必须准备进行具有许多新的历史特点的伟大斗争。”[注]习近平：《在庆祝中华人民共和国成立65周年招待会上的讲话》，《人民日报》2014年10月1日，第2版。要赢得具有许多新的历史特点的伟大斗争，必须要弘扬爱国主义精神。
（5）占用小区类型判断，当需要回填的MR小区类型为“室内”，则直接回填楼宇位置信息；当需要回填的MR小区类型为“室外”，则进行TA/AOA判断，当TA变化小于16TS且AOA变化小于30，则回填楼宇位置信息。
目前，数据库在我国应用范围广泛，很多企事业单位的管理工作都离不开对数据的处理，因此只有提高数据处理的质量和效率，才能为企业的良好发展奠定基础。随着我国数据库的广泛应用，为更多的企事业单位注入了新的活力。
通过人工测试采集经纬度与MDT收集到的经纬度进行对比从而进行偏移维度的评估，评估结果发现人工测试位置与收集的MDT位置吻合。
根据TA/AOA/RSRP等信息，计算MR数据与主邻小区的距离，得到MR数据距离每个小区可能出现的位置，再对所有点进行算术平均得到MR的位置。
选取2015年1月～2017年12月吉林市职业病防治院接收的突发性职业中毒患者86例作为研究对象，将其随机分为研究组与对照组，各43例。其中，研究组男25例，女18例，年龄25～59岁，平均年龄（45.2±4.7）岁，中毒类型：三氯乙烯19例，二甲基甲酰胺15例，二氯乙烷9例；对照组男26例，女17例，年龄24～58岁，平均年龄（45.5±4.3）岁，中毒类型：三氯乙烯21例，二甲基甲酰胺14例，二氯乙烷8例。两组患者的性别、年龄及中毒类型等一般资料比较，差异无统计学意义（P＞0.05）。
根据TA测量值估计UE和eNodeB之间的距离（图2中①），D=N×16×7.8 m（N即是MR上报的TA值），例如TA=1，即1×16×7.8=124.8 m，得到MR距离主覆盖小区大概位置，圆圈即是UE可能出现的位置。根据主小区的AOA值，计算UE和eNodeB的大概位置（图2中②），方向=A（A即AOA角度，例如A=30°，即用户在基站的30°方向上）。将弧线换成点状，得到用户的大概位置（图2中③）。
图1 基于大数据思维的室内数据匹配流程
根据邻小区的RSRP值进行粗略计算，RSRP一定程度上反映用户与基站的距离，运算结果可以做为主小区的距离参考。
其中， t是迭代次数; w为惯性权值;r1，r2为介于[0，1]的随机数以保持群体的多样性;c1，c2为加速因子，表示粒子向自身或群体学习的能力．
（4）占用小区与MDT数据的小区相同；
得到MR距离每个小区可能出现的位置，并对所有点进行平均计算，得到用户的大概位置。
将指纹定位与多站定位进行的经纬度进行匹配，一致的数据进行保留，不吻合的则丢弃，保证定位数据输出的准确性。
可以看出，二者在空间分布上是有一定相似性的，但考虑到：(1)反射层深度不等于20 cm且各处深度不一，相差较多，因而20 cm深度平均土壤含水量与反射层深度之上的平均含水量并不相等；(2)用于插值分析的TDR
3 MDT数据过滤与室内识别应用情况
通过用户维度、网元维度、偏移维度、问题点维度这四个维度对MDT数据进行分析，剔除异常经纬度数据。
对测试发现的问题点，通过查验MDT输出的结果，进行问题点维度的评估，发现两者结果吻合。
图3 用户纬度异常数据与对应过滤算法示意图
从网元维度进行评估的方法是按小区维度评估经纬度合理性后，输出各个小区的MDT数据，在地图上渲染，分析经纬度是否超出小区合理覆盖范围。对于室外站，计算与小区距离最近的一圈的所有室外站点的站间距并取该部分数据的算术平均值，以5倍该算术平均值作为基站的合理覆盖范围，对于超过合理覆盖范围的经纬度进行过滤（超高站点另外考虑）。对于室内站，大于室内站500 m的经纬度数据则作为异常数据过滤掉。
对于海量的MDT数据，提取无经纬度的MR，依据指纹回填算法与多站定位算法，对每条MR运算出两个位置，并进行位置匹配，对两种算法输出的楼宇位置相同的MR进行保留，具体匹配流程如图1所示。
从用户维度进行评估的方法是，提取每个用户的所有MR经纬度数据，计算所有经纬度之间的距离，并获取最远距离的两个位置的上报时间，根据“距离/时间”计算用户移动速度，判断MDT经纬度是否合理，对存在移动速度大于120 km/h的用户，将整个用户的数据进行剔除，如图3“过滤算法”所示：
图2 主小区距离算法图
通过信令中的用户标识，对用户数据进行识别，在足够短的时间内，将用户进入室内前与离开室内后上报过MDT的经纬度数据进行楼宇内经纬度回填，由于室内穿透损耗等情况存在，对于参考信号接收功率（RSRP，Reference Signal Receiving Power）比窗边MDT数据的RSRP低的数据，进行回填经纬度的数据，否则不予回填。
生活中还有一类妈妈经常以时间来不及为借口，包揽了孩子该做的事情。早上时间不够，帮忙穿衣服；出门时间来不及，帮忙喂饭、收拾书包；孩子不懂安排时间，直接排出时间表，精细到吃饭、上厕所。虽然妈妈一边催促、批评孩子，却一边帮孩子干完了所有的事情。
值得一提的是，虽然熊庆来的弟子众多，但这些弟子和他都不是简单的师生关系，在学习之外，都得到过他极大的帮助。比如华罗庚本是店员出身，没有熊老的支持，他根本不可能到大学读书;是熊老送严济慈去法国留学，并负担他的学费的。
简析：试题以“电解KI溶液制KIO3”为背景编制,主要考查了电解反应和“离子移动的规律”。深入理解电解质溶液中离子迁移规律是解答这道题的必备基础。解答时要将电极反应、溶液中其他反应关联起来,还要将电解质溶液中电场作用下离子的定向迁移、电解质中溶液浓度因素造成的离子扩散、电解装置中离子交换膜等关联起来,才能突破思维定势。
建立每幢楼宇的指纹数据：取落在楼宇内的MDT数据，建立5 m×5 m的平面栅格指纹数据，如表1所示。
对于面积不大的楼宇，指纹关联采用最小距离匹配算法（欧氏距离）。通过室内MDT数据建立的指纹，用最小距离匹配算法，对无经纬度的MR数据匹配对应的楼宇位置，如表2～表4所示。
图4 楼内经纬度之间MR回填
具体回填的未知MR与每幢楼宇的距离根据最小距离公式得出：
本案例计算结果如表5所示。
取最小的距离且该距离小于10的记录来回填楼宇位置（如表6所示），如果匹配的结果均大于10，则不回填。
表1 生成的楼宇指纹数据
dBm
表2 未知位置的MR数据 dBm
表3 计算未知位置MR与指纹数据各项数据的差值 dBm
表4 回填楼宇位置 dBm
表6 回填楼宇位置表 dBm
表5 未知MR与每幢楼宇的距离运算表
4 效果评估
对以上算法输出的楼宇数据，通过RSRP呈现弱覆盖楼宇，并在现场进行人工测试验证，验证结果的弱覆盖与算法输出结果完全吻合，说明算法输出可靠性高。
验证测试共输出问题点40个，其中33个问题楼宇能进入楼内进行测试。33个已测试的楼宇均与MDT数据输出的覆盖情况相符，存在不同程度的弱覆盖情况，验证准确率为100%，如图5所示：
图5 效果评估对比图
5 结束语
MDT[9-10]数据属于运营商的一种新的定位数据源，室内数据识别通过该数据源中携带的GPS信息，发现需要解决MDT异常数据过滤和室内无法接收GPS卫星区域的数据关联的问题。
经过研究证明，基于大数据多维度分析能够发现MDT数据经纬度存在的异常问题，同时该分析提出相关算法进行数据过滤，输出高精度的MDT基础数据，这种数据是室内数据输出的基础，输出用户窗边经纬度，对进入与离开室内MDT之间的MR进行回填，同时室内MDT建立每栋楼宇的指纹，开展新型指纹关联与新型多站定位的多种定位算法的位置匹配关联，经过验证，相关室内数据准确度高，是一种能够评估室内无线网络的方法。
参考文献：
[1] 3GPP TS 36.331. Evolved Universal Terrestrial Radio Access (E-UTRA); Radio Resource Control(RRC);Protocol specification(Release 11)[S]. 2018.
[2] 吴学伟,伊晓东. GPS定位技术与应用[M]. 北京: 科学出版社, 2010.
[3] 王建民,顾虹. GPS技术及其在移动定位中的应用研究[J]. 电信技术, 2005(11): 58-61.
[4] 陈良臣. 大数据挖掘与分析的关键技术研究[J]. 数字技术与应用, 2015(1): 103-106.
[5] 王超. 基于大数据技术的现代移动通信研究[J]. 中国新通信, 2015(3): 111.
[6] 胡舜耕,魏进武. 大数据及其在电信运营中的应用研究[J]. 电信技术, 2015(1): 16-19.
[7] 余扬,赵凯飞,沈嘉. 室内定位技术应用、研究现状及展望[J]. 电信网技术, 2014(5): 53-56.
[8] 高歆雅,杨恒,张志荣. 移动定位技术的过去、现在和未来[J]. 电信科学, 2013(S1): 89-93.
[9]3GPP TS 32.422. Telecommunication management;Subscriber and equipment trace; Trace control and configuration management(Release 15)[S]. 2018.
[10] 3GPP TS 37.320. Radio measurement collection for Minimization of Drive Tests(MDT); overall descrip-tion(Release 15)[S]. 2018. ★
MDT Data Filtering and Indoor Identification Methods Based on Big Data Thinking
GUO Xiangrong1, LI Gang2, JI Chunmei1, CHEN Jiongfeng1, MA Yufei1, XIONG Xiong1
(1. China Mobile Group Guangdong Co., Ltd., Shantou Branch, Shantou 515041, China;2. China Mobile Group Guangdong Co., Ltd., Guangzhou 510000, China)
[Abstract] The current indoor network evaluation approaches owned by operators can not effectively support massive indoor network evaluations and analytical applications. The MDT data structures and fields are investigated from the characteristics of the MDT data via two main methods, namely, the MDT abnormal GPS filtering based on the big data multi-dimensional analysis and the MDT indoor data identification based on the big data matching. Both methods are demonstrated to be effective to output indoor positioning data, solve the problem that MDT positioning data can not be used in indoor network evaluations, and provide valid data for massive indoor evaluations and analytical applications.
[Key words] MDT positioning; big data thinking; data filtering; indoor identification
doi: 10.3969/j.issn.1006-1010.2019.07.016
中图分类号： TN929.5
文献标志码： A
文章编号： 1006-1010(2019)07-0091-06
引用格式： 郭向荣,李刚,纪纯妹,等. 基于大数据思维的MDT数据过滤与室内识别方法[J]. 移动通信, 2019,43(7): 91-96.
收稿日期： 2019-03-04
OSID：扫描二维码与作者交流
作者简介
郭向荣（orcid.org/0000-0002-4232-8579）：工程师，毕业于南京邮电大学无线电工程系，现任职于中国移动通信集团广东有限公司汕头分公司，长期从事无线网络的规划、优化及相关管理工作。
李刚：工程师，硕士毕业于北京理工大学控制理论与控制工程专业，现任中国移动通信集团广东有限公司省级网络分析与服务专家，主要研究方向为无线通信、大数据应用等。
纪纯妹：工程师，硕士毕业于华南理工大学通信与信息系统专业，现任中国移动通信集团广东有限公司汕头分公司高级网络优化管理人员，主要研究方向为无线通信。
现实不是科幻小说。人们不可能像《朝花夕拾》中的女主人公那样穿越时空去爱护幼小的母亲，只是有时想想，我们若能拿出待孩子一半的温柔来回报父母，那么他们必定会快乐不少吧，哪怕只是偶尔。
标签：MDT定位论文; 大数据思维论文; 数据过滤论文; 室内识别论文; 中国移动通信集团广东有限公司汕头分公司论文;