为何学习分析系统从未在真实课堂中接受过检验?
最大的差距在于,大多数学习分析系统都是在实验室或短期试点中构建和研究的,而非真实学期中混乱复杂的现实环境。一项针对399名学生和17名教师、为期两年的纵向研究发现,即便是一个设计精良的多模态学习分析(MMLA)系统——该系统可追踪小组活动中的身体和生理信号——也仅在一个特定的医疗教育场景中接受过评估[1]。研究人员自己也指出,系统的复杂性以及需要更优质的沟通质量评估方法,是尚待改进的领域[1]。这意味着,当教师需要同时应对30名学生、参差不齐的技术素养以及不可预测的日程安排时,我们几乎没有任何证据能证明这些系统的实际表现。
一项对2012年至2023年间发表的27篇文章的系统性综述证实,该领域仍处于早期阶段,大多数研究聚焦于设计层面,而非对教学与学习的长期影响[3]。若缺乏真实场景的测试,便无法确定在受控研究中表现良好的仪表盘,是否真能帮助教师在学生失败前及时发现其学习困难。
为什么学习分析的数据常常讲述错误的故事?
第二个重大缺陷在于,学习管理系统(LMS)及其他平台收集的数据往往流于表面且具有误导性。一项针对健康专业教育的研究案例显示,研究人员分析了某在线视频培训平台141名注册用户的数据后发现,通用的网站分析指标(如页面浏览量、页面停留时长)并不能反映有意义的用户学习参与度[2]。研究者将这些数据称为"数据谜团"而非"数据故事",因为高访问量可能意味着学生因困惑而反复观看视频,而非学习效果良好[2]。这一缺陷至关重要——若原始数据本身存在偏差,基于此构建的任何分析结论或数据看板都将不可靠。
另一项聚焦中学教育的研究综述发现,许多学习分析仪表板缺乏实证验证——即尚未检验其呈现的数据是否真正帮助教师及早发现问题[4]。该综述还指出,未采用以用户为中心的设计方法、缺乏教师积极参与的系统,往往难以被采纳或发挥实际效用[4]。简言之,该领域需要更优质的数据——能够捕捉真实学习行为的数据,而不仅仅是点击记录。
为什么教师实际上没有利用学习分析洞察?
即便拥有优质数据,教师也常常未能据此采取行动。学习分析生命周期框架——涵盖规划、数据收集、分析与行动四个环节——表明,教育工作者在数据收集阶段之后,其投入的精力与资源便急剧下降[2]。以健康专业领域的案例为例,研究人员发现“教师基于数据采取的行动相对缺失”,即教师查看了数据仪表盘,却并未根据所见内容调整教学[2]。这是一个根本性的缺口:学习分析的全部意义在于打通数据与教学改进之间的闭环,然而这一闭环却鲜少真正实现。
对2012至2023年间基于学习管理系统(LMS)的干预措施进行的系统综述还发现,尽管许多系统提供了数据面板和预警功能,但现有证据有限,尚不足以证明这些工具能真正改变教学实践或提升学生成绩[3]。一项涉及399名学生和17名教师的多模态学习分析(MMLA)研究确实表明,教师对该系统持积极态度,并认为它有助于促进反馈与反思[1]。然而,该研究也强调,需要提供清晰的解释和指导来帮助教师理解分析结果,同时还需解决数据完整性和代表性方面的担忧[1]。若缺乏培训与支持,教师将难以跨越从洞察到行动的鸿沟。
为什么学习分析系统在中学里行不通?
第四个差距在于,大多数学习分析的研究与开发都集中在高等教育领域,导致中学阶段的服务不足。一项专门针对中学教育中学习分析仪表盘的系统性综述发现,这些工具在“可及性、实证验证以及适应中学教育特定情境方面仍存在局限性”[4]。中学面临不同的制约因素——课堂时间更短、技术支持更少,且更需要早期发现诸如学习参与度下降或学习困难等问题。该综述总结道,采用以用户为中心的设计方法并让教师积极参与的系统,能更好地促进教学应用并提升实用性[4],但此类设计目前仍较为罕见。
新冠疫情极大地提升了学习管理系统(LMS)在中学教育中的作用,使其成为学生与教师之间唯一的交互界面[5]。然而,2021年的一项研究指出,现有文献尚未分析这种以LMS作为唯一接触点的疫情背景下的学习情况[5]。这意味着,如今中学所使用的模型与仪表板,在很大程度上是为不同时代和不同用户群体设计的。若缺乏针对具体情境的研究,学习分析系统在K-12教育环境中可能变得不相关,甚至适得其反。
关于这些来源
该回答基于5篇经同行评审的研究——发表于2021年至2026年间,其中4篇为2024年或之后发表,3篇来自Q1期刊,累计被引用81次——这些研究是从6篇通过质量筛选的文献中选出的最具相关性的成果,而该6篇文献又源自从超过5亿条记录的数据库中检索到的50篇论文。
本文引用的文献
基于证据的多模态学习分析,用于协作学习中的反馈与反思
在一项为期两年、涉及399名学生和17名教师的纵向研究中,多模态学习分析系统在促进反馈与反思方面获得了积极评价,但该研究也指出了设计复杂性、面向残障用户的易理解性等方面的不足,并强调了引入定性沟通指标的必要性。
应用学习分析生命周期框架识别数字学习设计中的缺口:健康专业教育中的实践案例
通过分析某在线视频培训平台141名用户的数据,本案例研究发现,通用型网站分析工具产生的往往是“数据谜团”而非有意义的故事,且教育工作者在数据收集后的投入力度急剧下降,导致数据驱动行动环节出现断层。
学习分析的系统性综述
一项对2012至2023年间27篇文章的系统性综述发现,学习管理系统中的学习分析干预措施仍处于早期阶段,多数研究侧重于设计层面,而非对教学实践产生的长期影响。
关于利用学习分析检测中学教育问题的系统性综述
一项关于中学教育中学习分析仪表盘的系统性综述发现,其在可访问性、实证验证及对中学情境的适应性方面存在局限,并指出以用户为中心的设计与教师的积极参与是推动其应用的关键。
在学习分析支持下提升学习管理系统中的参与度
这项2021年的研究指出,现有关于学习管理系统(LMS)的文献尚未分析在疫情背景下LMS作为唯一交互界面时的学习情况,并提出了一个经专家验证及学生讨论确认的学生参与模型。
