学习分析技术是否有足够的实地证据支持其推广应用?

采用学习分析技术的证据日益增多,但分布不均。实地研究表明,该技术能带来积极的认知和实际效益,然而其应用仍受限于伦理、技术和组织层面的挑战。

直接答案

是的,现有实地证据足以支持采纳,但需注意重要前提。一项针对399名学生和17名教师、为期两年的研究发现,两组人群对多模态学习分析系统均持积极态度:教师认为该系统有助于提供反馈,学生则表示它促进了反思与调整[1]。然而,由于伦理问题、抵制文化及机构能力不足等持续存在的挑战,大规模采纳率仍然较低[2][3][5]。现有证据支持在特定且条件充分的环境中采纳该系统,但各机构应制定明确策略以应对这些障碍,再稳步推进。

6篇文献引用

本文由 WisPaper 驱动的搜索和论文分析生成。

关于学习分析,实地证据究竟揭示了什么?

最强实地证据来自一项为期两年的大型纵向研究,该研究涉及399名学生和17名教师,在医疗教育中使用了多模态学习分析(MMLA)系统。教师和学生均反馈了积极感受:教师认为该系统有助于在总结讨论环节提供反馈并促进反思,而学生则表示该系统让他们更清晰地了解所收集的数据,激发了对自身学习行为的反思,并促使他们考虑调整学习方式[1]。这并非仅仅是实验室实验——该系统在真实、复杂的协作学习环境中经过两年测试,因此比短期试点研究更具说服力。

然而,即便是这项成功的研究也揭示了有待改进之处。用户指出,该系统操作复杂,且需要更优质的沟通质量评估指标。数据准确性、透明度及隐私保护同样被强调为维系用户信任的关键要素[1]。因此,尽管证据支持该技术的应用,但也表明它尚未达到即插即用的程度——仍需谨慎实施并关注用户体验。

既然证据充分,为何学习分析技术仍未广泛采用?

主要原因在于,采纳并非仅仅是拥有一个好工具——它需要克服一系列相互关联的挑战。一项基于对高等教育机构高级管理人员访谈的研究发现,围绕知情同意的伦理问题以及抵制文化是最主要的障碍,尤其是对于那些尚未采纳或刚刚开始使用学习分析的机构[3]。而对于已全面采纳学习分析的机构,挑战则转向了集中式领导、分析能力差距以及技术评估[3]。这意味着障碍会随着进展而变化,一刀切的方法行不通。

另一项系统性文献综述识别出影响采纳的14个关键因素,涵盖不同层级的利益相关者、制度流程、技术限制及伦理考量[5]。该综述还发现,尽管存在诸多指导采纳的框架与模型,但尚无一个能覆盖全部14个因素[5]。这种理论与实践之间的脱节,正是许多学习分析项目长期停留在试点阶段的主要原因。另一项针对18个学习分析框架的独立分析证实,其中鲜有框架被具体化为实际技术工具或通过真实数据流进行测试,因此亟需对最具潜力的框架进行实证验证[6]

有证据表明,若机构希望采纳学习分析,应如何行动?

证据指向一条清晰的路径:从构建组织能力的结构化规划入手,而不仅仅是技术能力。一项针对学习分析能力模型的评估研究发现,该模型通过全面展示所需能力及其落地方式,帮助项目管理者、政策制定者和高级管理层等从业者规划技术采纳过程[2]。该模型在五所教育机构的26名参与者及七位专家中进行了测试,用户认为其既实用又易于操作[2]。这表明,机构在仓促选择工具之前,应优先投资于能力建设框架。

另一个实用资源是MMALA(学习分析采纳成熟度模型),该模型描述了迈出第一步并达到更高成熟度所需的具体实践[4]。该模型已在三所巴西高等教育机构中进行了评估,为它们提供了当前采纳状况的快照[4]。这些模型并非仅仅是学术练习——它们旨在被真实机构用于指导其采纳进程。从现有证据中得出的关键结论是:采纳学习分析是可行且有益的,但需要同时兼顾伦理、技术和人文因素,进行审慎的多维度规划。

关于这些来源

该回答基于6篇经同行评审的研究——发表于2021年至2024年间,其中2篇为2024年及以后发表,4篇发表于Q1期刊,累计被引用160次——这些研究是从8篇通过质量筛选的研究中选出的最相关成果,而该8篇研究又源自从超过5亿篇论文的数据库中检索到的53篇文献。

本文引用的文献

1

基于证据的多模态学习分析,用于协作学习中的反馈与反思

在一项为期两年、涉及399名学生和17名教师的纵向研究中,两组参与者对多模态学习分析系统均持积极态度:教师认为该系统有助于反馈与反思,学生则表示它促进了反思与调整,不过也指出了系统复杂性和隐私方面的顾虑。

2

支持学习分析采纳:在真实场景中评估学习分析能力模型

一项学习分析能力模型在五所机构的26名参与者和七位专家中进行了评估,结果表明该模型对于高等教育机构的规划采纳既实用又易于使用。

3

厘清高等教育中学习分析采纳所面临挑战之间的关联

对高级管理人员的访谈显示,伦理问题与抵制文化是刚接触学习分析的机构面临的最大障碍,而全面采用该技术的机构则在领导力、分析能力及技术评估方面遭遇挑战。

4

MMALA:开发并评估一个用于采纳学习分析技术的成熟度模型

MMALA成熟度模型是在三所巴西高等教育机构的参与下开发并评估的,为各机构评估其当前采用状况以及向更高成熟度水平迈进提供了指导。

5

高等教育机构中学习分析技术的采纳:一项系统性文献综述

一项系统性综述确定了高等教育中学习分析采纳的14个关键因素,包括规划、领导力、协作和伦理;研究发现,现有框架均未涵盖所有因素,且大多数发展仍处于试点阶段。

6

克服从业者层面采纳学习分析技术的挑战:对18个学习分析框架的批判性分析

一项对18个学习分析框架的综述发现,尽管这些框架在将学习分析与学习理论相结合方面取得了进展,但很少有框架被具体化为技术工具或通过真实数据进行验证,因此需要在真实实践中进行实证检验。