大型单位数据采集转换的方法和思路，本文主要内容关键词为：数据采集论文,思路论文,单位论文,方法论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
数据采集转换是运用AO进行计算机辅助审计的前提条件，它关系到审计人员是否有账可查、查得准确和查得快捷，所以能否成功地采集转换被审计单位原始数据非常关键。
下面介绍我们在对南方广播影视传媒集团的审计中运用“现场审计实施系统”(AO)进行计算机辅助审计的一些情况，重点介绍对大型单位财务数据和业务数据进行采集转换的方法和思路。
一、审计背景
南方广播影视传媒集团成立于2004年，是全国第一家由省、市、县三级广播电视系统企事业单位联合组成的正厅级事业集团，接受省委宣传部的直接领导。
南方广播影视传媒集团本部的直属单位有7个，包括南方国际传媒控股有限公司等。集团下属有5大核心单位，分别是：广东人民广播电台、广东电视台、省广播电视技术中心、南方电视台、省有线电视网络公司。这次审计涉及的集团二、三级单位大大小小加起来总共有50多个。
我们的审计组一共有14名成员，其中又分成若干审计小组，每个审计小组2～4人，分别进驻集团本部和各下属单位，正式审计时间约两个月。
二、被审计单位信息系统及特点
（一）财务系统方面
南方广播影视传媒集团采用的财务管理系统是用友NC3.0版，统一管理着集团本部及下属部分二、三级单位约50套账，后台数据库是Oracle，一年的凭证记录几百万条、原始数据量 10G左右。
用友NC系统跟以往的版本不一样，它不仅仅是一套财务软件，而是面向集团型单位推出的高端ERP产品。目前，用友NC系统已被广泛应用于金融、电力、传媒、烟草、电子等诸多大型集团和行业。
对财务管理而言，NC系统显而易见的好处在于可以将下属各单位的大量财务数据进行统一、集中的管理，有利于实时监管和维护。以南方广播影视传媒集团为例，其下属单位机构设置复杂，分支众多，未用NC系统前，各单位所用的会计软件版本可谓五花八门而且分散，集团根本无从及时了解掌握各单位的财务状况。使用NC系统后，便可在集团本部随时查看各单位多达几十套的电子账。
集团和下属各单位之间的NC系统以专网形式相连接，保证了海量数据的实时和安全的传输（如集团下属的广东电视台和南方电视台等单位地处环市中路，它们是通过光纤专网连接到位于人民北路的集团本部的NC系统服务器，进行数据的实时处理）。
用友NC系统代表了集团型单位信息化发展的方向，如省国土资源厅、羊城晚报社等都采用了这种系统。这种统一、集中管理的信息化理念与审计软件的发展方向也是相一致的，在新推出的AO2008版中我们就可以看到这种发展趋势。
（二）业务系统方面
南方广播影视传媒集团的业务系统主要集中在广东电台、广东电视台、南方电视台、省有线电视网络公司和集团广告总公司等几个单位，业务数据类型主要是播出数据、广告数据、用户数据等。
业务系统不像财务系统有比较统一的规范，它一般是根据各单位的实际情况而开发，没有统一的标准，因此往往比财务系统更为复杂。
南方广播影视传媒集团各单位业务系统有的是自行开发，有的是直接购买，还有的是购买后再进行二次开发，后台数据库有Oracle、SQL、Access、 dBASE等多种类型，这些单位业务数据一年的数据量总计约几百GB。
三、对NC3.0财务数据采集转换的过程
（一）对NC3.0财务数据采集转换的背景
用友NC3.0跟以前的版本（如 U8、7.21等）相比变化很大，如后台数据库采用了大型跨平台数据库Oracle，而不是常用的SQL、Access等，数据库结构也很不一样，复杂程度大大增加，目前AO里还没有现成的采集转换模板。
早在2006年我厅对省广电局进行预算执行情况审计时，就曾经对南方广播影视传媒集团本部进行了延伸审计调查，当时第一次面对全新的 NC3.0系统，虽采取了多种方法尝试采集转换，由于时间有限，又缺乏经验，最终还是没有成功。
（二）对NC3.0财务数据成功采集转换过程
1.提早介入，做好审前调查。审计组提早三个星期进行审前调查，并重点对集团及其下属单位的信息化情况逐一进行深入了解和分析，确定数据采集转换的目标和方案。
2.集体研究攻关。在充分进行审前调查的基础上，审计组和厅计算机室共同对集团及其下属单位的数据尤其是NC3.0系统的采集转换进行研究攻关，对其数据结构、数据类型等作了深入和详细分析，反复试验，并且咨询了审计署计算机中心的技术专家意见。
3.成功采集转换。经过反复实践和研究，我们决定采用专门的数据提取工具，在被审计单位一台装有Oracle客户端的联网计算机上运行，将 NC3.0服务器Oracle后台数据库的几张主表提取出来，并转换为与AO2005版兼容性最好的Access格式，利用数据字典进行对照整理后，再导入到AO中进行账表重建，最后和被审计单位提供给我们的科目余额表、总账明细账核对，再作进一步调整，达到一致为止，保证数据的真实完整，从而顺利解决了用AO“打开账”的问题。
由于NC系统是数据集中管理，因此我们对集团及下属二、三级单位共 50多套账的采集转换工作基本都是在集团本部完成的。
在连接NC数据库的过程中，我们也遇到一点小麻烦：一开始系统总是提示连接失败，经过多次设置还是一样，后来才发现原来是系统防火墙在作怪，把计算机的防火墙包括Windows自带的网络防火墙关闭以后，就能顺利连接了。
另外，由于南方广播影视传媒集团的用友NC3.0系统服务器几乎每时每刻都在处理本部和下属几十个单位的财务数据，为保险起见，避免审计风险，我们没有直接从服务器采集数据，而是先将服务器的数据提前备份到集团本部的一台备份服务器中（大约需要半天时间），再从备份服务器采集和提取数据。
四、对业务数据采集转换的思路和方法
（一）业务数据的发展现状
近年来，随着被审计单位信息化建设的迅猛发展，我们面对的经常是“海量”的数据，尤其是业务数据。几十、几百GB容量的数据已不足为奇，有时遇到的甚至是“TB”级别也就是超过1000GB容量的数据。
刚才提到，南方广播影视传媒集团下属的电视台、电台、网络公司和广告总公司等单位都有大量的业务数据，除了精确到每一分、每一秒的播出数据外，还有广告数据、用户数据等等，这些数据平均每天以成千上万条的速度增加，其容量之大可想而知，据粗略估计，这几个单位一年的业务数据容量加起来至少达到几百GB，这大概是一个什么概念呢？——假如用普通的CD光盘刻录备份一年的数据，至少需要1000多张光盘！
（二）采集转换海量业务数据的思路和方法
以往我们处理业务数据的方法通常是：把被审计单位的业务数据一次全部采集转换过来，或者先模拟和备份被审计单位数据库环境，再根据需要进行采集转换（如用一台和被审计单位配置相同或相似的服务器，模拟其数据环境）。
但是，南方广播影视传媒集团业务数据量太大，全部采集或模拟备份数据环境都非常困难，也很不现实，不仅要购买高端的计算机设备，而且要耗费大量的精力和时间。即使我们排除重重困难将这些海量数据都成功备份和采集转换过来，也不可能全部处理，并且其中必然夹杂着大量与审计无关的数据，干扰我们的思维。
因此，这次审计我们决定采取“需要什么才拿什么”的数据采集思路，有的放矢，避免数据采集的“大而全”。
下面以集团下属的广东电台为例解释一下这种采集思路和方法：
1.确定需求。我们事先根据审计人员的审计需求，确定所需要的业务数据内容，再据此对照该单位提供给我们的数据表结构、字段列表和数据字典，确定我们所需要的字段和时间区段。
2.按需求采集数据。在我们审计组技术保障人员的监督下，由被审计单位计算机技术人员从其业务系统的后台数据库中按照我们的需求筛选、过滤和导出数据，提供给审计组。这样既保证数据采集的真实完整，又避免我们直接操作其数据库带来的风险。
3.整理和转换数据。我们的技术保障人员用数据字典对业务数据进行字段翻译、数据切割整理后，根据各个审计人员的实际需求，将它转换为 Access、Excel等通用数据格式。
4.分发数据。将处理好的业务数据分发到有需要的审计人员计算机中，然后审计人员就可以将其导入到 AO或利用常用的数据软件，结合财务数据进行审计分析。
经过筛选处理后的广东电台业务数据一年仅有几百MB，比起原来一年几十GB的容量缩减了近100倍，用一台普通的笔记本电脑就可轻松地进行处理。
五、运用AO审计取得的成果和体会
（一）运用AO审计取得的主要成果
这次在南方广播影视传媒集团利用AO进行计算机辅助审计，不仅成功采集和转换了50多套电子账，积累了对大型单位财务数据和业务数据的采集转换以及处理经验，依靠AO在短短两个月内审计了50多套账，并且在计算机的帮助下通过财务数据和业务数据的对比分析，查出了部分单位账实不符、隐瞒收入等问题。
（二）几点体会
1.审前调查阶段计算机要先行一步。在审前调查阶段，首先要调查清楚被审计单位采用的财务软件品牌、版本、数据库类型以及有无业务系统、业务系统的技术资料等情况。确定采集转换的目标和方案。
2.采集转换数据的目标和思路要明确。这次对业务数据进行采集转换时，我们根据实际情况采取按需采集的思路，大大降低了数据采集转换和处理的难度。
3.采集转换过程要注意规避审计风险。一般来说，要注意尽量避免直接操作被审计单位的数据库，最好是在其备份数据库上操作，或者监督其操作，以免自身操作失误带来审计风险。
标签：ao论文; 审计软件论文; 数据库审计论文; 审计目标论文; 电脑论文; 数据库论文; 用友软件集团论文; 南方传媒论文;