随着人工智能、扩展现实(Extended Reality,XR)、大数据、5G、数字孪生(DT)等新一代信息技术的发展,人类进入沉浸传播的“第三媒介时代”。 其中,扩展现实技术在商业、工业、制造业、医疗健康、旅游业、军事等领域得到了广泛的应用。然而,其在教育领域的应用还处于起步阶段,正日益得到关注和研究。 《2020地平线报告:教与学版》中指出,扩展现实技术是六项对高等教育的未来产生重大影...
随着人工智能、扩展现实(Extended Reality,XR)、大数据、5G、数字孪生(DT)等新一代信息技术的发展,人类进入沉浸传播的“第三媒介时代”。
其中,扩展现实技术在商业、工业、制造业、医疗健康、旅游业、军事等领域得到了广泛的应用。然而,其在教育领域的应用还处于起步阶段,正日益得到关注和研究。
《2020地平线报告:教与学版》中指出,扩展现实技术是六项对高等教育的未来产生重大影响的技术之一。
它主要包括增强现实(Augmented Reality,AR)、虚拟现实(Virtual Reality,VR)、混合现实(Mixed Reality,MR)和全息技术(Haptic)。
基于5G、XR、全息投影、数字孪生等新技术的充分融合,打造泛在智能的沉浸式学习空间,将打破时空界限,使学习发生在全新的场域,为学习者提供无边界沉浸式体验,将会带来教与学的变革,助力智慧校园的建设,助推智能教学的发展。
沉浸式学习空间技术支撑
学习空间是开展学习活动所需要的区域,是学习发生的基本场所,具有居所与转运的双属性。设计学习空间是帮助学习者在一定的学习环境中产生学习的意愿,通过相应的学习行为,促进高质量学习的发生。
沉浸式学习空间是利用沉浸式技术为学习者构建虚拟世界与现实世界融为一体的沉浸式学习环境,为学习者提供深度互动的、智能化支持服务的学习空间,为教学形式多样化、学习形式个性化提供了更多可能。
沉浸式学习空间能够使学习者沉浸其中,围绕特定任务开展与课程相关的活动,为其开展各种探究式和深度研究提供必要条件。
图1 全息课堂的显示端
信息技术的快速发展是沉浸式学习空间发展的重要支撑,技术发展为沉浸式学习的内容、交互和环境提供了多维度、多层次、多感官、全场域的技术支持,让学习者获得真实感和临场感。
沉浸式学习空间试图让学习者模拟虚拟与现实的边界、忽略技术的痕迹、体验跨空间的无缝融合和多模态直观交互,让学习者沉浸于学习空间之中,专注于学习活动之中,获得愉悦开心的体验,进而沉浸于学习之中。
沉浸式学习空间涉及的技术包括5G、人工智能、扩展现实、数字孪生、情感计算、拟像搭建技术、触觉反馈技术、手势识别技术、360度视频、全息技术等,这些技术的有效融合和恰当应用,可以为学习者创造沉浸式和身临其境的体验,可以支持学习者线上线下相结合(OMO)的智能化学习、游戏化学习、AR可视化学习、沉浸式故事讲述、模拟社交等多种学习。
什么是沉浸式学习?
沉浸式学习(Immersive Learning)是指通过使用AR、VR、MR、XR等各类技术,为学习者营造一种多感官参与、真实感体验且自然交互的学习环境。在这种学习环境中,学习者获得类似在真实环境中的感受,可以进行多维度、多层次、多感官的复杂交互。
沉浸式学习空间设计原则
加强整体设计
沉浸式学习空间的设计首先要从其功能定位出发,准确定位设计的意图。需要在前期开展大量的调查研究,明确学习空间建设的动机、目标、利益相关者和应用成效,系统化分析学习空间设计的目的、功能、作用、应用场景等内容,进而从可持续发展的视角对学习空间进行顶层的整体设计。
注重虚实融合
沉浸式学习空间实施的终极目标在于“育人”,对于空间适合什么类型的学习者,能够提供什么资源,可以促进何种学习类型,适合应用何种学习方法、学习策略等,都需要有清晰的认识。
沉浸式学习空间需要融合现实与虚拟世界产生新的可视化环境,需要通过虚实互补构建高度真实感的学习空间。
加强交互设计
沉浸式学习空间在设计中需要建立有效的引导,加强内容交互、情感交互设计,使学习者对虚拟空间和内容产生信任感,能够巧妙运用音效、场景、故事情节等方式,通过视觉追踪、手势交互、声纹语音交互、触觉反馈等交互,促进学习者对环境的认同,模糊虚拟与现实的边界,给予学习者情感的共鸣,提高学习者在学习空间中的获得感。
重视技术融合
沉浸式学习空间重在情境性的构造、认知性的联结和即时性的反馈。针对不同沉浸式学习空间的内容和应用,应该加强技术融合、设计有新意,需要充分发挥5G、XR、全息投影、数字孪生等技术的优势,为学习者创设学习体验强、交互程度高的空间环境,激发学习兴趣,提高学习自主性、主动性、积极性。
健全智能服务
沉浸式学习空间的设计要能为学习者提供智能化的个性化支持服务,能够实现学习全过程的记录和分析,可以为学习者提供智能诊断、智能推荐、智能提醒等多样化服务。能够根据学习者的不同学习需求,创设合适的学习环境、提供合适的学习工具和学习服务。
沉浸式学习空间教育应用
1.国内外基于MR技术的虚拟实验室和沉浸式学习应用概览
国内外很多高等院校已建立MR技术相关实验室,包括哈佛大学、麻省理工学院、斯坦福大学、清华大学、香港科技大学等,被用作医学、历史、工程等特定学科探索的沉浸式学习空间。
Bahcesehir大学也建立了土耳其的第一个VR实验室,VR和AR技术被用于科学、技术、工程和数学(STEM)等科目的教学。
佛罗里达大学与360ed公司合作,创建了“烧伤中心”沉浸式学习空间,用于训练医疗服务者在不同环境下进行烧伤救治。
沉浸式学习空间非常适合需要跨学科开展的教学任务,尤其适合科学类课程,如探索太空、海洋,探索人体奥秘,探索原子分子,探索地球地质、大气环境等等。
斯坦福大学聚焦STEM学习主题,建立了虚拟人类互动实验室(Virtual Human Interaction Lab)为学习者提供完全沉浸式的学习空间,学习者可以身临其境地观察海洋酸化的具体过程,可以与“虚拟环境”实时互动,可以进行自主的学习、探索和研究。
图2 基于MR技术机械装配沉浸式学习空间
此外,还有很多国内外高校利用MR技术进行沉浸式学习空间学习的实践研究。
华侨大学土木工程学院提出了一种基于情景模拟的沉浸式建筑工人安全教育培训模式,通过沉浸式情景交互课件、3D视频投影、BIM可视化模型、VR/AR技术等构建了建筑工人安全教育培训的沉浸式学习空间。依托学习空间,开展了基于情景模拟的理论知识教学和基于体验学习的沉浸式实操训练,培训取得了显著的效果。
奥本大学麦克霍特建筑科学学院,为学生提供接近实地考察的建筑工地虚拟现实场景。通过数据采集技术和VR展示平台,创建了360度施工场景,让学生“重游”施工现场。
莱顿大学通过XR项目为学生提供虚拟真实经验,采用360度视频的沉浸式交互式虚拟现实体验,为急诊护理学生提供更加真实的模拟场景,然后通过AugMedicine的AR应用程序,使学生能够更深入地了解肾或胰腺移植后患者复杂的三维解剖结构。
中国科技大学开发了一个用于在各种身临其境的环境中有效地教导运动的系统,在太极拳动作上得到了很好的应用。上海理工大学设计了一个用于火灾逃生培训的沉浸式学习系统,涉及视听说触动五感,拥有良好的交互性。
2.探索火星沉浸式教学全息甲板案例
戴维·索恩伯格在其《学习场景的革命》一书中所介绍的关于探索火星的教学全息甲板例子可称为典型沉浸式学习空间。
它与传统讲课模式不一样,该空间创造了一种学生通过直接体验来自由探索、学习知识的教学环境。
在探索火星的案例中,只有5分钟的视频阐述任务目标,其余的都是设置任务,模拟真实场景中可能发生的状况,并给予相应的硬件支持:
包括在任务过程中感受宇宙飞船外壳破损、在操作板上设计船体补丁、从飞船窗口观察火星表面细节、收集分析火星表面信息等,学习者可以在虚拟场景中体验不同的任务。
在任务结束后测试学生发现其所掌握的知识点不仅准确率更高,知识量也更多,而且学习者的体会更深刻,对相关知识需求更有期待。
而在沉浸式学习空间里,学习者可以真正沉浸在虚拟的真实场景里交互,具有高度的实操性和趣味性,激发学习者创新性地去解决任务。
戴维同时强调,学习者在这种全息沉浸式教学环境中能否进行有效学习还与以下三方面有很大关系:一是学习者的想象力和创新性,二是教师是否能做出本质上角色改变,成为共同学习者加入到学生探索任务中,三是沉浸式学习环境所需要的设备和资源是否优质。
3.上海开放大学沉浸式学习空间案例
上海开放大学应用5G+全息投影技术为富情景化体验学习提供新的可能,打造的全息课堂、全息讲座等形式使得线上教师和现场教师相融合的教学模式成为可能。
教师在合理的资源开发下,可以展示抽象的教学概念,有效传递教师课堂教学重点,实现教学目标,完成教学任务。让未来的教育体现教与乐相结合的教学形式,促进多元化教学展示的发展。
除此之外,全息投影还可以将各国老师“搬”至眼前,真正体验不同的特色教学,实现教学资源共享。
针对学校专业课程特点,利用MR技术打造沉浸式学习空间,开发机械装配课程,依托MR混合现实三维数据可视化的呈现方式。通过虚拟仿真模型、人机交互的方式,来模拟机械虚拟装配。
该应用不仅能帮助体验者快速了解设备的内部结构与使用,还能帮助培训学员快速学习新设备、新产品使用、维护技巧,从而提升培训质量和效率。
开发行为康复训练课程,通过运用三维仿真以及AR增强现实技术,进行老年康复的3D动态模拟和交互式控制,实现了三维交互式教学,使得用户可以直观、准确、规范的学习如何护理老年人的相关知识。
对沉浸式学习空间的课程学习内容可以进行眼动数据、脑波数据以及学习行为数据采集和多模态数据分析,通过实践教学验证沉浸式学习空间教学的成效。
图3 上海开放大学智慧学习体验中心
上海开放大学还建设了智慧学习体验中心,根据智慧学习中心VR虚拟现实互动体验区的现场实景,制作三维全景虚拟环境,让市民可以线上“云体验”VR虚拟现实互动体验区的空间环境,包括学前儿童保育与教育以及老年护理培训等沉浸式项目体验,增强了互动教学和情景式体验,营造“主动式学习”的体验环境。
*本文系国家开放大学2018青年科研课题《基于增强现实的泛在学习空间设计与应用研究》的研究成果(课题编号:G18A1308Q)
作者:王腊梅、肖君(上海开放大学)
责编:郑艺龙