学习分析学：智慧教育的科学力量，本文主要内容关键词为：智慧论文,力量论文,科学论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
[中图分类号]G434[文献标志码]A[文章编号]1003-1553(2013)05-0005-08
一、引言
随着信息技术在教育领域的深入应用，智慧教育成为信息化教育应用的一个新范式。[1]智慧教育主张借助信息技术的力量，创建具有一定智慧特性(如感知、推理、辅助决策)的学习时空环境，旨在促进学习者的智慧全面、协调和可持续发展，通过对学习和生活环境的适应、塑造和选择，以最终实现对人类的共善(对个人、他人、社会的助益)。智慧教育充分体现了“以学习者为中心”的思想，强调学习是一个充满张力而又平衡的过程，揭示了“教育要为学习者的智慧发展服务”的深刻内涵。
智慧学习环境的一个基本特征是：基于学习者的个体差异(如能力、风格、偏好、需求)提供个性化的学习诊断、学习建议和学习服务；并记录学习历史数据，便于数据挖掘和深入分析，数据结果用于评估学术过程、预测未来表现和发现潜在问题。因此学习数据分析成为智慧学习不可或缺的条件。
学习分析学(Learning Analytics，简称LA)涉及科技和社会学科的多个学术领域，包括计算机科学、社会学、学习科学、机器学习、统计学，以及“大数据”。[2][3]LA的定义随着相关研究的进展而演变，尽管研究方向不尽相同，大部分学者认同如下定义：“学习分析学是使用智能数据、学习者数据，以及分析模型来发现信息和社会性联系，并以此为依据进行学习预测和提供建议。”[4]Siemens于2012年对相关定义进一步提炼之后提出，LA是“关于学习者以及他们的学习环境的数据测量、收集、分析和汇总呈现，目的是理解和优化学习以及学习情境”。[5]
其他学者、机构也有一些类似的关于LA的定义。尽管各个定义在用词和着重点上存有细微区别，但基本都反映了LA的本质，即首先发现特定用户的需求，利用技术方法获取数据，分析数据，帮助教师、学生、教育机构等解读数据，并根据数据结果采取干预措施，从而达到提高学习和教学成效的目的。[6]同时这些定义也指出，LA所用、所处理的数据是已经存在的、机器可读的“大数据”(Big Data)，这些数据是不适合人工处理的。[7]
LA在国际上被称为是“自从学习管理系统(Learning Management System，简称LMS)问世以来，教育技术大规模发展的第三次浪潮”。[8]2005年EDUCAUSE的文章就预示了LA的出现。[9]此后与学习分析学相关的国际学术会议，例如学习分析学与知识国际会议(LAK，The International Conference on Learning Analytics & Knowledge)于2011年召开第一次会议，于2012年召开了第二次会议，而且会持续下去。学习分析学研究社会(SoLAR，The Society for Learning Analytics Research)也于2011年夏天成立，一方面主持召开会议，同时致力于LA方面的研究和发展，并提供学者、教育专家、学生等进行信息交流和互相合作的机会。另外，教育技术和社会学术期刊(Journal of Educational Technology and Society)也与2012年出版了关于学习分析学的特刊。由此可见，学习分析学已经成为高等教育界尤其是以教育技术为基础的远程在线学习领域内的一个研究热点。
LA在教育领域内迅速发展有多种原因。下面我们将从它的出现、回答的问题、研究框架模型等方面加以详尽介绍。
二、学习分析学研究的缘起以及相关技术
多位学者专家探讨过LA出现并成为热门研究课题的必然性，并且总结出几个原因。
第一个原因是大数据(Big Data)的出现。[10]Greller和Drachsler认为学习分析学的起源在于网络大数据的出现，包括政府类数据。[11]随Web 2.0出现的社交网络数据(Twitter、You Tube、Fliker，Facebook等)、移动终端数据，如GPS定位数据等。随着此类数据的出现，有些公司如Google、Amazon、Yahoo等，分析利用此类数据，并将其结果作为扩张市场的依据或者提供个性化服务的方向，因此公司得以快速成长。大数据的出现和潜在的价值也引起了各国政府的关注。例如，奥巴马政府2012年宣布，每年将花费超过2亿美元在大数据研究应用方面，以致力于科学探索、环境、生物医学、教育和国家安全方面的研究。[12]在远程教育领域LMS，如Blackboard和Moodle等的应用也越来越广。这些系统每天都记录大量的学生交互信息、个人数据、系统数据等。[13]如何从这些数据中获取信息成为LA出现的一大契机。
第二个原因则可以归结为在线学习或者教育技术的发展。[14]随着教育技术的发展，在线学习成为传统学校教育和终身教育的一个重要模式。在线学习提供给学习者不受时空限制的学习机会，同时也带来一定的挑战，例如学生有可能缺少与老师和同学的联系，又可能遇到技术问题或者失去学习动机等。[15]此外，教师也由于网上学习环境中缺少视觉线索，因此难以判断学生是否感到课业太容易、感到内容乏味枯燥或者学习上有困难等。因此，学者们认为，教师难以评判学生的参与度和学习质量，而攻克这个问题则成为LA的另外一个契机。[16]
第三个原因则与教育机构自身对数据的需求有关。很多国家，包括美国政府，都力图提高整个国家人口的教育程度，比如如何提高学生的学习成绩、入学率以及毕业率等，而这些都需要大量数据来发现和验证。[17]传统上，教育机构、学校获得学生学习数据的主要方式为调查问卷及访谈等，由此带来诸多方面的限制，如花费大、耗时多、规模小等。由于数据挖掘可以追踪用户的电子信息使用记录，并且自动分析整体数据，而不需要选样，因此新的数据经济大潮使得学校在数据收集方面不再需要花费大量人力和财力；并且获得的数据反映了所有用户的全部信息，并非选取的一部分；同时数据在自然状态下获得，不需要利用访谈、观察等方式，使得数据更加真实可靠。[18]
第四，LA起源于其他几个已经相对成熟的领域，如商务智能(Business Intelligence)、网站分析(Web Analysis)、学术分析(Academic Analysis)、行动分析(Action Analysis)、教育数据挖掘(Educational Data Mining)、运筹学(Operational Research)[19][20]以及社会网络分析(Social Network Analysis)等。这些研究领域已经相对成熟，对LA的迅速发展应用起到一定的促进作用。
Siemens认为，与LA密切相关的是学术分析学(Academic Analytics，以下简称AA)和教育数据挖掘。[21]学术分析学是为了高等教育机构的运营和财务方面的决策而提供所需数据的过程，[22]如发现影响学生毕业率的影响因子等。教育数据挖掘是指为更好地理解学生以及他们所处的学习环境，从教育数据中获取知识和发现，针对教育环境内独特的数据类型而进行的获取数据、整理数据、形成分析报告等研究方法方面的研究。[23]Siemens认为，教育数据挖掘是LA和AA的共通支撑技术。[24]他描述了三者之间的关系以及三者针对的层次和关注对象，如表1所示。
三、LA回答的问题
LA对智慧教育的重要性体现之一在于它可以使用大范围数据，回答关于学习和教学的不同问题。Cooper采纳了Davenport等对"Analytics"能够阐释和回答的问题的总结，[25]并根据其时间线(过去、现在、将来)和回答的深度(信息型、洞悉型)对问题作了归类。[26]我们认为其问题矩阵同样适用于LA(见表2)。
Cooper总结归纳了LA可能回答的问题类型。[27]
信息和事实性问题：
·发生什么了？LA产生报告并提供描述性数据(过去)；
·正在发生什么？LA对现状的提醒(现在)；
·趋势，走向如何？过去的数据被当作推断的根据(将来)。
深度理解和洞察性问题：
·这些为什么发生，如何发生的？LA可建立模型并加以解释(过去)；
·可以采取的最好措施是什么？LA提供一个或多个干预措施(现在)；
·可能发生什么？LA可以预测、模拟其他措施的效果，确认最优举措(将来)。
因此LA可以描述和解释过去的现象，例如为什么选同一门课的学生成绩普遍偏低？原因可能包括缺乏相关基础知识；可以预警和干预正在发生的学习，例如学生得到信息，他/她很可能某门课会通不过，教师可引导学生进行补救、提供学习材料等；LA还可以推断发展趋势和预测将来，例如由于以往某一学习活动对不同学习风格(Learning Style)的学生的影响有所不同，可以推断针对不同学习风格设计的学习活动能提高学生成绩；同时，不同学习风格、学习活动和成绩之间的相关性分析和预测模型有助于发现最适合特定学习风格学生的学习活动。此外LA可以将各方面的关于学生的分散式信息整合梳理，提供给教师，使其对学生有更可靠、更清晰的认识，在此基础之上采取的措施将更加有效。此外，LA不止可以提供关于学生学习方面的信息，也可以用来评估某一课程、院系以及整个学校。它可以参与评估整个学校的教学，用于决定是否需要采取更先进的教学方法；它还可以提供信息给学生，以便学生自我评价学习过程和结果等。由此可见，LA的使用可以使得教育方法得以提升，促使教育向智慧教育方向发展。
四、LA的设计研究框架、资源过程模型及重要环节
多位学者试图从整体架构、所涉维度、过程环节等方面描述LA，以基于对LA的整体认识，引导LA系统设计过程。本文主要讨论两个LA模型和LA的重要环节，目的是对如何设计开发LA系统有全面的、清晰的认知。
(一)LA通用设计框架
Greller & Drachsler根据他们对学习分析学现存文献的梳理，提出了具有六个维度的LA通用设计框架，即关益者(包括学生用户、教师用户等)、目标(包括使用数据的目的，如预测等)、数据(包括受限数据和公开数据等)、工具(分析数据的依据，包括教学理论等)、外部限制(如用户隐私)、内部限定(包括分析解读数据结果的能力等)。[28]这六个维度反映了在应用LA研究学习、开发LA系统时应该考虑的基本因素。图1反映了该设计框架，包括每个维度的例子，以下我们对每一维度进行说明。
图1 学习分析学的重要维度
1.关益者
关益者包括数据使用者和数据提供者。使用者指应用数据并根据数据结果制定对策的人，如教师；提供者指以自己的系统浏览和互动行为产生数据的用户，如学生。在特定情形下，使用者和提供者是一体的，比如学生本身的行为信息反馈给学生自己而不是老师的时候，这两者是统一的。关益者除了包括学生、教师以及教育机构外，研究人员和政府机构等也可看作关益者的一部分。
关益者之间如何使用学习分析信息交流可以用层次模型来表示(如图2所示)：最直接的途径是通过LMS获取学生信息，提供给教师；教师可以根据此信息制定干预措施或者调整教学策略等；教育机构则可以根据学生和教师提供的信息进行教职工培训或者制定措施保证教学质量等；研究人员尽管不直接参与学习过程，但他们可以利用学生和教师数据，评估教学质量或者学习服务措施是否到位；最后政府机关可以汇总、分析，并利用多所院校的学习分析数据来测评整个教育系统。此外，已有研究者们强调，在各个层次，关益者都可以利用本层数据进行自我反思，如学生可以根据自己的学习记录、互动行为等来思考自己是否实现学习目标等。
图2 学习分析学关益者信息流向
2.目标
学习分析学开辟了一个新的领域，可以发现并研究利用原本隐藏的教育信息，提供给各个层次的使用者。通过分析比较学习信息和社会性交互模式，为学习者提供新的视角，同时提高组织性效率和效益。也就是说，学习分析学提供的信息不仅有助于个体学生，对支持更高层次的知识流程的管理(如政府层次)也有所裨益。Greller和Drachsler主要提出并讨论了两种目标：反思与预测。[29]反思是指数据用户根据与自己相关的数据，获取知识并进行批评性自我评价，有学者称之为“量化自我”，也就是观察测评自己的学习记录数据，并根据数据结果进行自我修正等。[30]反思也可以根据别人的数据记录进行，如教师可以根据学生的交互行为，反思自己的教学风格是否适合学生等。学习分析学同样可以用来预测模拟学生的学习活动、行为等。如根据过往的学生反馈信息，可以预测某种教学设计有助于学生的学习，据此可以重新设计教学活动，提高学生学习成绩；亦可降低或增加内容难度，从而降低学生放弃课程的比例。
3.数据
学习分析学所用数据大多来自LMS以及其他教学系统，同时教育机构本身拥有大量学生数据。然而很多数据是非公开的，因此对教育数据公开化的要求越来越迫切。[31]
4.工具
学习分析学通过信息检索技术获取数据，如教育数据挖掘、机器学习、传统统计分析以及社会网络分析等。同时，研究者将理论建构以及算法等处理数据、从数据中发现信息的概念工具也包括进来。
5.外部限制
外部限制包括伦理、法律、社会、组织机构、管理以及LA过程方面的限制。如使用个人隐私数据有可能触犯法律等。
6.内部限定
内部限制与能力相关，指解读数据、解释数据，从而根据数据提高学习效果的能力。据调查，只有很少的学习者能够解读结果并据此采取有效的干预措施。
(二)LA资源过程模型
学者们认为，分析是人脑和机器的混合加工的过程，[32]LA具有认知性、技术性和社会性。[33]综合多种看法，Elias认为电脑(软硬件技术)、理论、人员和机构构成了LA的四种技术资源，同时也成为LA的核心。[34]四种资源以及数据运作的过程构成一个LA的模型。
1.电脑技术
远程在线学习的普及以及LMS的应用，说明大量关于学生的数据已经被收集，如果这些信息可以和其他与学生有关的数据相结合，我们可以得到更详尽的关于学生的学习体验、教师的教学效果等信息。而随着数据的收集，进行信息加工时，尤其需要用来做数据分析报告和预测结果的软件工具。这类工具，Elias列举了资讯可视化(Visualization)、神经网络、回归分析、机器学习以及人工智能等。[35]Elias尤其强调了可视化技术的重要性，并列举了仪表盘(Dashboard)和社会网络分析(Social Network Analysis)两种常用的资讯可视化技术。
2.理论基础
Elias认为，LA涉及的理论非常广泛，包括与分析学相关的知识以及其他领域的知识。前者如推荐理论基础协同过滤算法(Collaborative Filtering Algorithm)、贝叶斯神经网络(Bayesian Network)、基于知识的推荐(Knowledge-Based Recommendation)等；后者则包括学习科学、教学法、学习动机学、学习共同体(Community)、学生毕业率(Retention)等。然而这方面的文献很少，相关人士很难确认哪些变量对教学有参考意义。也就是说，很难分辨哪些测量学生网上活动的变量真正影响到他们的学习和成绩。[36]
3.人员
虽然现代技术的应用使得电脑软件和硬件可以取代人的努力，但是在很多方面人类的知识、技能和能力是保证结果有效性的重要因素。虽然教师可以通过使用资讯可视化技术、回归等来反思自己的教学设计和教学活动的有效性，评估是否达到教学目的，如学习共同体的建立。然而有效的后续干预很大程度上取决于教师本身解决问题以及决策方面的认知思考能力，而不是完全依赖LA技术以及统计软件。
4.机构
Elias认为，LA过程中的社会资本(Social Capital)或者社会性最容易被忽略掉。然而LA本身不能回避这方面的问题，例如：谁参与了LA项目，他们的决策是如何被支持的，项目成员之间如何沟通和互动。同时，无论LA项目如何成功，要使得其研究成果在现实中付诸实施，则需要教育机构，如大学的领导层采取措施，支持以LA结果为基础的文化和教学模式方面的改革，从而达到LA提高学生学习成绩和改善教学效果的目的。因此，机构资源显示了LA的社会性。
在讨论LA技术资源的基础上，Elias提出了LA的模型，其核心是电脑(软件硬件技术)、理论(统计、算法、教学法、学习科学等)、人员(相关人员如教师等)、机构(社会资本属性等)等四种科技资源。这四种资源参与并推动三个环节(收集数据、信息加工、结果应用)，使之形成一个循环发展的过程，从而推动学习和教学的持续性提高(如图3所示)。
图3 LA资源过程模型
(三)LA的重要环节
Brown在2012年召开的ELI(EDUCAUSE Learning Initiative)两次学术会议(ELI 2012 Spring Focus Session和LAK12)基础上，总结讨论了LA研究中出现的主题：数据指标的选取、资讯可视化技术，以及干预和反馈方式。[37]这些也可以看作是在实际研究中应该考虑的LA的重要环节。
他首先指出，LA定义的一个重要特点是对以下两方面的区分：一是实现LA的技术，另一方面是LA的目的。也就是说，所有LA项目都要包括这两方面，一方面要具备获取并分析数据的技术，另一方面要根据分析结果制订有效计划进行决策。
数据分析方面，Brown强调在LA中，指标数据的选取直接影响到预测结果的准确性和数据分析的有效性。他提出，在LA研究中经常涉及两类数据指标：个性特点指标(Dispositional Indicators)和行为表现指标(Activity and Performance Indicators)。其中个性特点指标一般为事实性变量，可以量化，如年龄、性别、种族、平均分、学习经验等；行为表现指标主要反映学生在网络学习环境中的数字行为痕迹，如他们登录LMS的次数、在学习网站上的时间、发帖的次数、测验分数等。凤凰城大学使用这两种指标预测学生是否能通过某一课程。比较有趣的是，他们发现有些指标不具备预测作用，如选修课程数量、性别、种族等。另外，密歇根大学的前期预测LA系统只选用了行为指标。Brown认为，大部分LA项目都采用了混合指标来提高预测准确度。也有些学者认为分析学生作品(如作文、视频作品等)可以作为LA的指标，但这种方法不太常见。
资讯可视化被视为LA的重要组成部分，一般以两种方式出现：一是呈现数据分析结果(图表等)，二是仪表盘。可视化面板也有不同的呈现方式，一种是多个小窗口并列，而各种数据结果呈现在小的窗口中；另外一种是只呈现一个数据窗口，用户可以通过下拉菜单等获取更详细的数据。Borwn强调了可视化技术和用户界面设计在数据呈现中的重要性。
LA的终极目的是提高学习和教学成效，因此根据数据分析结果进行有效干预显得非常重要。Brown发现两种干预方式：一是系统自动反应，不需要或较少需要教师参与，例如普渡大学的Signals[38]系统给学生简单明了的红、黄、绿信号；另一种是半自动反应，LA发现学习模式(不喜欢某些学习活动)或者症状(学生缺乏学习动机等)，需要教师专家分析之后作出决策，进行干预。
五、LA过程维度模型
Greller & Drachsler的模型注重于LA的纬度，强调了在设计LA系统时应该考虑到的各方面的因素，如从关益者到数据等，但没有突出设计LA的过程。Elisa的LA模型突出了认知性、技术性和社会性(理论、电脑技术、人员和机构)，同时强调LA过程的循环性和改进性，但是过程过于简化，例如信息加工涵盖了所有的数据处理分析过程以及数据结果呈现，没有具体维度。这两个模型倾向于理论化，但对具体开发LA的指导性不强。Brown则着重强调了LA在实际应用中应该注重的两个方面：LA技术本身以及其目的。同时他根据实际应用中的LA系统，总结出LA研究中的具体环节和因素，如不同的数据指标的选择和应用、数据可视化技术以及干预的方式。
结合以上的两个模型和Brown的见解，笔者认为LA设计模型应该明确其过程环节，每个环节涉及的纬度要素可能重合。LA设计过程应该包括三个环节：首先是LA目标的确立；其次是LA本身的开发，主要是针对数据的操作、分析、呈现等；最后是干预。将目标作为一个重要环节的主要原因是，在设计开发LA系统之前，必须要有明确的方向：是提高学生动机、提高学生参加学习活动的频率，还是评估该教学活动是否适合所有学生等。有了主导方向，才能根据学习理论和相关研究等确定数据指标、预测模型等，明确数据来源(LMS或者其他数据库)获取数据；同时根据学习理论教学法等，确立统计分析方法，如描述性统计数据、相关性分析、回归预测模型等。数据分析的结果同样可以检测理论基础是否合理，如发现有些数据指标为非显性因子，因此可以进一步简化提炼理论基础。数据结果一般用可视化技术呈现，如可视化面板等。干预措施则建立在整个数据分析结果之上。为确认采取的干预措施是否有效，可以与LA目标对照。而目的本身也将影响干预措施的选择和实施。图4中LA过程模型呈现了我们对智慧教育中LA的过程、相关因子及其相互之间关系的理解。
图4 智慧教育中的LA过程模型
以下我们基于Greller & Drachsler的六个维度来说明LA设计开发中每一环节涉及的重要维度(见表3)。
六、LA应用现状及面临挑战
LA已成为教育领域，尤其是高等教育和远程网络教育的热点。美国西部州际高等教育委员会教育技术合作部(WICHE，WCET，Western Interstate Commission for Higher Education,Western Cooperative for Educational Technologies)的教育LA大数据分析项目，其预测分析报告(PAR，Predictive Analytics Reporting)于2011年获得比尔及梅琳达·盖茨基金会资助。[39]PAR的主要目的是确认影响学生退学以及是否能够毕业的因子。该项目目前已经涉及64万学生，320万门选课的数据分析，初步发现32个影响学生学习以及退学的普通变量(多为学生特点变量)，包括性别、种族、学位种类、多种专业、课程数量、班级人数等。其他发现如学生的性别、年龄以及种族与该生是否会退出某门课没有关系。该研究仍在继续。
然而，尽管LA工具已经在世界各地一些学校被开发和应用，学者们认为，LA在教学应用方面的研究和相应的LA技术研发和系统开发尚处于初始阶段[40][41]。Siemens等认为教师缺乏可以用来评估多方面学生成绩以及对学生进行对比分析的LA工具，学生也难以追踪与自己的网上活动和成绩方面的信息。[42]因此他们提出了开放性学习分析平台项目，目的是开发集成的可扩展的LA工具集，以供教师和教育机构对学生的活动进行评估，并以此为基础决定干预措施，从而提高学习效果。同时，学生也可以查看个人的学习进展。该平台预期将开发四种工具和资源：(1)LA引擎；(2)自适应内容引擎；(3)干预引擎，包括干预措施推荐和系统自动支持；(4)仪表盘、报告以及资讯可视化工具。
现有的已经开发出的LA系统大多是针对具体课程，目的是根据学生的表现、活动成绩等实施干预措施，以提高学生成绩，改善学习体验等。类似LA系统如Course Signals、M-Reports Dashboard、Check My Activity，以及ELAT(Exploratory Learning Analytics Toolkit)等。
尽管有很多系统已经在使用中或者正在开发，但是LA的开发和研究同样面临着诸多挑战。我们以Signals[43]和ELAT[44]为例，来说明这个问题。
Signals系统统通过数据挖掘和统计预测模型，根据多个变量(表现指标包括：现有平均分和努力程度，如学生LMS的交互频率；个性特点指标包括学术准备，如高中平均分和各项标准考试成绩，以及学生特点，如是否为美国居民、年龄和选修学分)来预测学生是否能够完成/通过该课程。Signals在课程进行的过程中，以交通信号指示灯的方式，让学生了解自己的学习状况：课业良好(绿色)、课业中度危急(黄色)，或者课业严重危急(红色)。同时教师可以给学生提供有效的反馈信息，引导学生使用合适的资源等来提高成绩。[45]Signals的使用取得了很多正面效果，如在使用Signals的班级，成绩为A和B的学生比没有使用班级的学生多，而成绩为C和D的学生则少于对照班级。另外，研究还发现，参加至少一门使用Signals的课程的学生比没有使用Signals课程的学生毕业率高四个百分点。[46][47]
Dyckhoff等[48]开发了ELAT，帮助教师在使用L2P、网上教学学习系统时，更好地反思他们的教学方法和成效。通过ELAT，教师可以根据个人兴趣探究内容使用，用户特征、用户行为、测评结果等是否相关以及相关程度等。他们强调LA工具应该具有动态性和灵活性，这样教师可以根据自己的兴趣查看相关信息，确认教学方法是否有效，以及不同特点的学生对同一教学内容是否有不同反映等。ELAT的主要目的是帮助教师自我评价他们的课程以及支持他们做相关研究，因此更多关注的是学生作为一个群体的表现、活动、成绩等，而不是个体学生的信息。即便如此，该系统的设计非常注重保护学生个人隐私，以Hash函数(注：一种用杂凑函数产生随机数的算法)取代学生姓名。此外，他们认为LA工具呈现的数据应该简单易读，因此资讯可视化非常重要。ELAT使用四类指标：文档使用指标、成绩测评指标、用户活动指标和互动交流指标。每类指标包括多种具体指标，如最频繁使用的10个文档属于文档使用指标，教师可以根据指标信息发现学生最喜欢使用的文档，如学生可能喜欢一个具体例子超过课堂讲稿。另外，根据用户活动，他们用不同颜色表示三组用户类型：非常活跃用户(蓝色)、活跃用户(红色)以及非活跃用户(黄色)。如果学生大部分都不够活跃，那么教师可能需要发现原因，考虑如何改进教学内容及方法等。
Signals的成功是显而易见的，然而研发人员也提出了他们遇到的问题和困难。首先是数据。除了LMS数据容易获取，Signals的预测模型需要的学生个性特点数据是分散的，由不同的相关学校部门分别持有。在开始阶段，聚合汇编数据花了一年多的时间。其次是Signals的使用方面。研究证明早期干预和频繁干预对学生成绩的影响最为正面，然而大部分教师工作负荷很重，多次干预会加重他们的工作负担。最后，研发人员发现，他们很难向学生解释如何得到他们的学习状况危险指数。为此他们专门作了视频，解释了他们的算法和公式。
在挑战和困难方面，ELAT研发人员提到了数据指标的选择。他们选择了用户活动指标等，然而很难确认哪些对改进教学有指导意义，也很难确认它们是否包含了所有影响学生成功或失败的指标，因此需要更多的实证研究来验证。此外，研发人员认为数据指标过于简单，只传达一般信息和容易理解的信息，然而，加入一些教师们不熟悉的指标等，可能会给他们解读数据带来困难。
因此LA在实际的开发过程中，技术的、伦理的、人员有关的以及实际情况的限制等各方面的问题都可能出现。
七、LA与智慧教育
随着技术的发展，人类社会进入数据化时代，计划决策等无不以数据为依据。教育也将逐渐成为智慧教育模式，即以学习者为中心，进行个性化学习，为学习者提供各方面支持，将教和学的效果提升到一个新的层次。学习技术如电子课本和移动学习等正处于发展上升期，预计一到两年之内会有广泛应用[49]。这意味着更多的数据可以纳入LA研究的范围。LA以学习科学、教学理论、课程设计理论和已有研究结果为基础，选择学习者特点、网上交互活动频率等变量，分析并监测学生学习情况，评估教学活动教学质量，及时发现学习中存在的问题，从而保证智慧教育的实施。因此，学习分析学应该成为我国教育技术研究者特别关注的新领域。