摘要：如今，我们已经从网络时代步入了大数据时代，在这个时代背景下，人们的一切活动都可以通过数据能够精确的反应出来，人们的生活方式、喜好、购物倾向等都可以用数据总结出来，通过对这些数据进行分析与研究便可以总结出人们的购物习惯，了解人们的真实需求。这样根据人们真实需求销售的产品才可以占有大量的市场份额，从而为企业带来巨额经济效益。大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。关于数据搜集的方法和技术有多种，本文针对数据平台采集分析技术的方法进行了研究，希望能对数据公司搜集相关的数据起到帮助。
关键词：数据平台、采集技术、分析、方法
一、什么是数据采集及数据采集的技术
1、大数据采集
学校搜集数据之前应当先对数据进行采集，通过各方面的渠道和网络，将所需要的数据汇总起来。大数据采集技术就是对数据进行ETL操作，通过对数据进行提取、转换、加载，最终挖掘数据的潜在价值。然后提供给用户解决方案或者决策参考。使用者从数据库中搜集需要的数据信息，经过数据清洗，存入到相应的数据模型中，然后再运输到数据库中。由于数据的种类不同，所使用的数据采集方法也不同。所以，当需要提取数据的时候，应当根据数据的类型选择合适的方法。
2、大数据预处理
数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。对于刚采集到的数据需要先进行一些处理，主要从完整性和准确性两个方面审核，完整性是在进行第一步提取数据之后，检查数据是否有遗漏，所需要的项目指标是否填写完成。准确性是确保提取到的数据是否能够反应真实情况，内容是否符合实际，另外，还需要检查提取到的数据是否正确，避免出现错误。
3、大数据存储及管理
使用者提取数据之后，对数据应当先进行存储及管理。随着学校中储存方案的数量日益增多，原先的数据存储库已经不能满足学校的需求，需要使用存储量更大、包含各种各样信息的数据库才可以。大数据存储的空间往往会受到物理条件的限制，其内存容量、硬盘容量、处理器速度等等都会随着存储容量的增大而出现卡顿，为了改变这一现象，使用者只能在容量和系统运行速度方面选择一项。所以，研究者今后的发展方向就是如何在大容量的基础上加快存储系统的运行速度。
4、大数据分析及挖掘
大数据挖掘指对大数据数据分析手段后的信息，进行价值化的分析。大数据分析指对大数据的一种操作手段，或者算法。目标是针对先验的约束，对数据进行整理、筛选、加工，由此得到信息。有很多学校在使用数据库时都分不清楚大数据分析和挖掘的区别，其实两者之间应用的方法是相同的，但是本质上他们是不同的。大数据挖掘是对信息的价值化的获取。而数据分析以输入的数据为基础，通过先验的约束，对数据进行处理，但是不以结论何如为调整。当使用者将数据存入数据库之后，为了补充数据，使用者必须再次对数据进行分析和挖掘，找出有用的信息。
5、大数据展现
大数据时代的来临，使得数据更加形象化，将数据信息淋漓尽致的展现在人们面前，现在人们能够直观的看到相关数据的变化。随着科学技术的发展，研究者可以将数据信息用图形、图像的方式直观的表现出来，同时也可以将变化的数据信息、变化程度和变化频率都表现出来。如今，大数据展现的方法有很多种，各种柱形图、条形图、饼状图等等，用这些数据可以帮助学校领导直观的看出学生们成绩的变化。
期刊文章分类查询,尽在期刊图书馆
二、数据采集的方法
1、系统日志采集方法
对于高职院校来说，每天都会产生大量的数据，这些数据庞大的数据如果整理起来是非常耗精力和时间的，所以，对于这些日志数据，学校可以筛选出有用的数据信息进行整理与应用，进而存储到数据库中。通过对这些日志信息进行日志采集、收集，然后进行数据分析，挖掘高职院校数据库数据信息中的潜在价值。系统日志采集方法，不仅是企业，也是高职院校常用的方法，这种方法可以用来那些每天都会产生大量数据的学校。系统日志采集方法虽然省时省力，但是却需要每天都有专门的工作人员在电脑面前进行数据的搜集与整理，其工作量也非常大。
2、网络数据采集方法：对非结构化数据的采集
有时高职院校搜集数据需要在网络上进行数据的采集，在网络上采集数据，可以使用爬虫的方式从网站上收集数据，这样可以将非结构化的数据和半结构化的数据都从网络上搜集出来，并对其进行清洗、分析与存储，进而存入到数据库中。学校内部有时需要从网络上搜集数据，网络上虽然数据齐全，但是数据的真实性与准确性有待考察。所以，在网络上搜集数据时必须对其数据的来源和完整性进行检查与筛选。另外，最重要的是防止带入病毒，带入病毒进而会影响整个数据库的运行和存储。
3、数据库采集方法
高职院校应用到的数据库采集方法有很多种，一般传统的数据库采集方法是应用MySQL和Oracle等来存储数据，大部分的高职院校都是通过数据库采集系统直接与学校后勤服务器结合，将学校的后台每时每刻都在产生大量的数据信息记录写入到数据库中，最后由特定的处理分析系统进行系统分析。数据库采集方法有多种多样，但是高职院校应当根据自身的状况来应用合理的数据采集方法，只有这样，才能保证高职院校正常的教学活动。
三、数据平台采集分析技术的未来发展前景
未来，人们的生活会更加倾向于智能化、人工化，今后会有更多的电子产品和数据出现，高职院校用到的大数据技术会越来越多，那么直接影响的结果就是每天会产生大量的数据。未来，研究者会倾向于存储数据库的容量大小、运行内存和运行速率等方面进行研究，从而研发出很多符合时代发展的数据库采集方法。另外，这项技术也会受到很多就职者的欢迎，作为一种新兴的技术，也受到了众多教学者的青睐，人们会在这方面继续进行研究，从而开发出更大的市场，获取更多的教学手段和方法。未来，研究者可以在数据的采集、分析、整理技术方法等进行探索与研究，使数据搜集的过程更加简便化、智能化，这样可以省去大量的搜集时间，让研究者把更多的精力放在数据的整理、分析技术上，帮助学校领导获得直观的数据，进而了解学生们的学习状况。
小结：大数据时代，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。对于海量数据数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。21世纪互联网时代的到来，给人们带来便利的同时也改变了人们的生活和工作方式，也为学校的教学方式方法提出了新的变革，家长可以直接和学校进行交流，通过微博、微信、公众号，或者电话、E-mail等方式进行沟通，让家长了解学生们在学校的状况。本文针对大数据搜集的技术和方法进行了分析与研究，数据采集技术主要有大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘和大数据展现。大数据采集方法主要有系统日志采集方法、网络数据采集方法：对非结构化数据的采集和数据库采集方法，最后研究了大数据采集技术与方法未来的发展前景。大数据是人们未来生活主要的发展方向，人们应当把苗头认准这方向的技术研究和讨论，使人们的生活更加智能化、人工化。
参考文献：
[1]陈品德、李克东,适应性教育超媒体系统模型,方法与技术[J].现代教育技术,2002(1):11-17.
[2]朱晴婷、黄海鹰、陈莲君,Visual C++程序设计——基础与实例分析,北京:清华大学出版社,2004.
论文作者:王升,陈霞
论文发表刊物:《基层建设》2019年第8期
论文发表时间:2019/6/20
标签：数据论文; 方法论文; 数据采集论文; 数据库论文; 技术论文; 信息论文; 学校论文; 《基层建设》2019年第8期论文;