天元瑞信通信技术股份有限公司 陕西西安 710075
摘要：用户日志留存所采用的技术手段是：把IIS的自动日志保存功能和PHP技术相结合的Web日志保存方案并予以实现。该方法能够更加全面地获取用户注册信息和访问信息，为分析用户需求，改进Web站点网页结构提供分析数据；用户访问信息直接存储在Web数据库，为基于Web信息的数据挖掘提供数据源。
关键词：IIS、PHP技术；Web日志
1前言
日志留存系统是目前网络安全警察维护网络安全的重要手段，其中包括以下几个方面：一是访问控制和身份鉴别；二是会话还原；三是会话还原II；四是审计；五是数据安全性。
2设备在系统中的位置
中国移动上网日志留存系统的总体架构，系统分为采集、解码层、共享、应用四层。数据采集层：数据采集层的主要功能是实现Gn、防火墙、Gb/Iu-PS等接口数据的采集，并完成对采集，数据的解析，生成原始XDR；数据解析层：数据解析层的主要功能是对采集的Mc接口原始信令进行解码，生成XDR 等，对Gn、防火墙、Gb/Iu-PS等接口采集生成的原始XDR 进行分析，合成相关系统所需的目标XDR；共享层：共享层的主要功能是完成日志数据的存储、查询等，并面向应用层提供灵活的转发接口；应用层：对Gb/IuPS采集解析设备功能进行描述，Gb/IuPS采集层采集解析设备位于上图采集层标示出的位置，完成Gb/IuPS原始数据的采集、消息的解码合成、DPI/DFI分析，生成XDR 数据和全量数据并向解码层传送。
3功能要求
采集层设备需支持对Gb 、IuPS数据链路的采集、处理。采集方式需符合相关规定的要求，对数据的采集不能影响到原有通信网络的正常功能。
期刊文章分类查询,尽在期刊图书馆需要完成的功能如下：
数据旁路：在原有数据链路上复制一份或多份数据传输给采集设备进行处理，对原有数据链路没有影响；数据接入：对于旁路出来的数据进行采集，能够同时接入多条不同类型的链路，包括但不限于：GE 光/电、10GE 光；数据汇聚：在不超过单台采集机能力的情况下，能够实现对多条低速链路进行汇聚采集；分流：对于高速链路，在超过单台采集机处理能力的情况下，能够实现流量的负荷分担，分流时不允许采用静态IP 配置的方法进行分流（比如按照BSC/RNC IP 进行分流），而是能够动态对流量进行分配，不需要现网相关的静态配置；数据采集：从接入的端口上对数据包进行抓取、打时间戳等操作，主要包括：协议解码：对采集下来的Gb 、IuPS信令进行全协议解码；DPI/DFI：对采集的数据流进行DPI/DFI分析，识别业务类型、提取需要的字段（对于Gb/Iups接口，DPI/DFI功能为可选项，由省公司决定是否对Gb/Iups用户面数据进行分析输出）；数据存储：在特定场景下对数据进行存储；数据输出：输出信令面XDR （用户面XDR 输出为可选项，由省公司决定采集层是否输出用户面XDR ）
系统在两种情况下需要对数据进行存储：一般情况下采集层不对采集的数据进行存储，所有需要输出的数据都传输给数据解码层进行处理，但当链路出现故障时采集层应具备把无法传输的数据缓存到硬盘的功能，待链路恢复后再传输。需要缓存的数据包括：Gb 和IuPS的全量控制面信令；去掉Payload 的Gb 和IuPS的用户面数据（此项功能为可选功能）。在开启原始数据抓取功能时，采集层把满足抓取条件的全量数据（包括控制面和用户面）按照pcap格式存储在本地磁盘供提取。（此项功能为可选功能）本地数据磁盘容量要求不低于1TB （1Gbps 流量缓存1个小时）
数据输出功能要求：XDR 输出：采集层完成对控制面XDR 的合成和输出，需要输出的字段请参见《中国移动上网日志留存系统规范Gb/IuPs采集解析设备规范XDR 结构》；控制面原始数据输出：采集层支持把全量控制面信令数据输出给数据解码层；用户面原始数据输出：采集层支持把去掉payload 的用户面数据输出给数据解码层；控制面全量原始数据抓取：支持按照预设条件对全量控制面信令进行抓取并存储在本地磁盘，支持的预设条件包括：SGSN 、BSC/RNC的IP （单个或多个IP 地址）用户的IP 地址，IMSI支持根据业务报文，也就是TCP 的关键字（如TCP 包头的40个字节内容）进行原始数据的抓取；用户面全量原始数据抓取：支持按照预设条件对全量用户面数据进行抓取并存储在本地磁盘，支持的预设条件与信令面相同。
4用户日志留存所依据的技术基础
用户日志留存所采用的技术手段是：把IIS的自动日志保存功能和PHP技术相结合的Web日志保存方案并予以实现。该方法能够更加全面地获取用户注册信息和访问信息，为分析用户需求，改进Web站点网页结构提供分析数据；用户访问信息直接存储在Web数据库，为基于Web信息的数据挖掘提供数据源。
Web服务器用户访问日志用于实时记录Web站点被访问的信息，对于掌握站点运行情况、分析用户需求、维护系统安全具有重要作用。
IIS（Internet Information Server）是当前最为流行的Web服务器之一。它具有自动保存访问日志的功能（1）能够保存用户注册信息和主要的用户访问信息，如用户IP地址，访问时间，访问页面；（2）能够自动保存在数据库或文件中；（3）能够保存服务器的运行信息，如发送字节数，接收字节数和处理时间等。
PHP是一种通用开源脚本语言。语法吸收了C语言、Java和Perl的特点，主要适用于Web开发领域。
5设计与实现
本方案为三级客户/服务器结构：Web数据库，Web服务器和浏览器，分别完成数据存储、信息获取与发布和日志查看功能。
5.1 Web数据库设计与实现：为了得到用户来源、访问时间、访问页面、浏览器信息（类型，版本，兼容性）、来宾注册、登记与留言等信息。同时希望得到Web服务器，内运行信息，如处理时间，接收字节数，发送字节数等。这些信息存储在名为WWWlog的数据库中。
该数据库有3个表：IISLog，GuestLog和BrowserLog。 BrowserLog存放通过PHP程序获得的用户浏览器信息（类型，版本），GuestLog存放通过PHP程序获得的来宾注册登记与留言；IISLog存放其它由IIS自动存储的信息。数据库管理系统采用MySQL。
5.2 Web服务器程序设计与实现：Web服务器端的文件有3个：index.php， guest.htm和guest.php。index.php是站点的入口。获取用户浏览器消息和访客计数等功能放在该文件。获取来宾留言并填写数据库GuestLog表的是guest.htm和guest.php；获取客户浏览器的PHP程序是browser.php。两者都运行在Web服务器上。源程序与index.php相似。
5.3日志查看功能的设计与实现为便于查看访问日志信息，有日志查询程序 Log View.php，提供各种统计数据，包括：总的页面点击数，用的注册数，发送字节数，接收字节数，每天页面点击数，每页点击数，用户注册信息统计，浏览器统计，查看留言等。这样，系统管理员可以通过浏览器随时掌握系统运行情况。
参考文献：
[1] 中国移动上网日志留存系统规范G b /I u P S 采集解析设备规范.
论文作者:郭彪,徐洪强
论文发表刊物:《基层建设》2017年第33期
论文发表时间:2018/3/1
标签：数据论文; 用户论文; 信息论文; 功能论文; 日志论文; 字节论文; 系统论文; 《基层建设》2017年第33期论文;