基于深度学习的孤独症儿童学习情绪智能感知

分类：论文范文 发表时间：2021-09-10 10:22

　　摘要：学习情绪智能感知是学习科学的研究前沿。针对孤独症儿童情绪表达频率低、特征异常、数据集缺少和识别率低等问题，文章采用真实情景教学法，建立孤独症儿童学习情绪数据集，构建Attention-AlexNet优化模型，并将此模型与AlexNet基础模型进行情绪智能感知的对比实验，结果表明：孤独症儿童面部表情数据集具有可用性和准确性；Attention-AlexNet优化模型感知孤独症儿童情绪的准确率高于AlexNet基础模型，其对五种情绪识别的准确率由高到低依次为开心、惊讶、厌烦、生气和平静。文章推进了智能学习科学中深度学习数据集的建立和情绪智能感知的理论研究，可为孤独症儿童教育干预提供技术支撑。

　　关键词：深度学习；情绪识别；孤独症儿童；卷积神经网络；智能感知

　　学习情绪反映个体的认知心理状态，对学业行为表现具有调节效用，是诊断性评价和形成性评价的关键指标之一。近年来，国内外多项研究采用深度学习神经网络方法开展学习情绪状态的智能识别研究，情绪状态识别的准确率得以大幅度提高[1]。但是，面对社交障碍类特殊学习者——孤独症儿童，已有的深度学习技术在识别其学习情绪时遇到了三个难题：①孤独症儿童的面部表情与正常儿童存在一定差异[2]，这导致适合正常儿童的深度学习神经网络模型不能被直接应用于孤独症儿童；②目前，学术界和教育界均没有针对孤独症儿童情感计算的面部表情图像数据集[3]，尤其缺少基于真实教育场景的孤独症儿童面部表情图像数据集；③深度学习领域已有的情感计算神经网络模型对情绪的识别准确率不高[4]，需要基于孤独症儿童的面部表情图像数据集构建更为精准、高效的深度学习神经网络模型。基于此，如何开展面向孤独症儿童的情绪智能感知成为了学习科学领域的重要研究课题。在此背景下，本研究系统分析深度学习神经网络模型及其在学习情绪识别中的相关研究成果，应用真实情景教学法采集孤独症儿童的面部表情图像，尝试建立国内首个孤独症儿童学习情绪数据集，构建Attention-AlexNet优化模型，开展孤独症儿童学习情绪的深度学习模型训练，以提高孤独症儿童学习情绪智能感知的效率。

　　一文献综述

　　本研究采用文献研究方法，梳理并分析孤独症儿童情绪识别、深度学习神经网络模型及其情绪识别应用的相关研究成果，为建立学习情绪数据集、进行情绪智能感知提供理论参考。

　　1孤独症儿童情绪识别研究

　　情感计算模型为孤独症儿童情绪识别提供了模型支撑。相关研究发现，与正常儿童相比，孤独症儿童在用面部表情表达情绪时存在两个方面的差异：①孤独症儿童难以表达后天社交性情绪，如好奇、投入、尊敬、厌烦等[5][6]；②孤独症儿童虽能通过面部表情表达高兴、伤心、兴奋、生气等基本情绪，但在准确性与频率上低于正常儿童[7]。此外，White等[8]采用情感计算方法，设计了一款基于面部表情的孤独症儿童情绪自动识别系统，实现了对面部表情行为的实时反馈；Sivasangari等[9]构建了深度学习神经网络模型，对捕捉的孤独症儿童面部表情图像进行分区邻域加权与特征选择，既降低了图像特征计算成本，又提高了孤独症儿童情绪识别的准确度。上述研究成果证实了深度学习模型可以提取孤独症儿童的情绪表达特征并分析其特殊性，可用于支持情绪智能感知系统的开发与应用。

　　2深度学习神经网络模型研究

　　深度学习（DeepLearning）由Hiton等[10]提出，是一种具有成熟度、自动化、灵活性和准确度的机器学习方法。深度学习模型拥有多种神经网络结构，包括全连接神经网络（FullyConnectedNeuralNetwork，FCN）、卷积神经网络（ConvolutionalNeuralNetworks，CNN）、长短时记忆神经网络（LongShort-TermMemoryNetworks，LTSM）等[11]。其中，卷积神经网络主要被应用于图像处理和人脸识别[12]。按照卷积层和池化层的结构分类，卷积神经网络模型可分为AlexNet、VGGNet、LeNet等不同性能的网络模型。其中，AlexNet模型由Krizhevsky等[13]于2012年提出，包含5个卷积层和3个全连接层，具有并行计算架构（ComputeUnifiedDeviceArchitecture，CUDA）加速和数据增强等优势，为卷积神经网络成为图像分类领域的关键算法奠定了基础。可见，AlexNet模型适合用来进行基于深度学习的孤独症儿童学习情绪智能感知。

　　3深度学习神经网络模型的情绪识别应用研究

　　当前，国内外学者纷纷开展了深度学习神经网络模型的情绪识别应用研究，如魏刃佳等[14]构建了深层卷积神经网络结构模型，将深度学习技术应用于在线学习情绪识别，使机器在教学过程中关注学生的情绪，开展情感状态评价；徐振国等[15]提出了一种基于卷积神经网络的学习情感识别方法，自主构建学习者情感数据集，实现学习情感的自动识别；MIT媒体实验室应用深度学习神经网络模型开发了人类情绪识别机器人，通过识别和演示情绪，辅助孤独症儿童教育干预[16]；而Lee等[17]提出了一种深度学习感知情感识别网络，基于人的面部表情和周围环境信息更有效地情绪识别。上述研究成果表明深度学习神经网络模型已被广泛应用于学习情绪识别，为本研究的开展提供了方法上的参考。

　　二孤独症儿童学习情绪数据集的建立

　　目前，表情图像开源数据库多为外国人的表情数据库。基于以上数据集进行情绪识别研究，存在表情特征差异大、实际需求无法满足、真实情景数据缺乏等问题[18]。对此，本研究在杭州市某自闭症儿童康复教育中心招募50名孤独症儿童为实验被试，设计真实教学情境下的情绪诱导教学实验，采集被试情绪变化过程中的面部表情，建立孤独症儿童学习情绪数据集，为深度学习模型训练提供准确的数据集。按照以下标准，本研究对招募的50名被试进行了筛选：①被试经权威医院确诊为孤独症谱系障碍患者；②被试的视力或矫正视力正常，视觉正常；③被试年龄在3～7岁之间；④被试家长同意实验数据用于科学研究。经筛选，本研究确定的实验样本数为32名孤独症儿童，其中男童26名、女童6名。

　　1数据采集

　　被试面部表情图像的数据通过两种方式进行采集：①基于情绪诱导材料采集数据。故事绘本是孤独症儿童的常用学习材料，可有效引起孤独症儿童的情绪变化。因此，本实验将故事绘本作为情绪诱导材料，采集被试在聆听教师诵读故事时产生的不同面部表情。②基于教学视频采集数据。教学视频能够有效刺激孤独症儿童的视觉和听觉，促使其情绪的发生。因此，本实验将训练情感社交技能的教学视频和AR游戏互动视频作为学习材料，采集被试在观看教学视频时的面部表情图像，如图1所示。

　　在数据采集过程中，本实验确保被试处于光源充足的真实学习环境，同时要求现场的两名研究人员用摄像机重点拍摄被试的面部表情，记录被试当时的面部表情和学习行为。最终，本实验共采集了时长约为460分钟的视频数据，构建的孤独症儿童学习情绪数据集（局部）如图2所示。

　　2学习情绪标签选取

　　对拍摄的视频数据进行分析，本研究发现在聆听故事绘本和观看教学视频的过程中，被试表现最多的有五种情绪：开心、平静、厌烦、生气和惊讶。基于此，本研究选取这五种情绪作为孤独症儿童学习情绪数据集的学习情绪标签。3数据预处理数据预处理由数据筛选、数据过滤和数据增强三个任务组成，旨在得到准确可用的学习情绪数据。三个任务的具体内容如下：①数据筛选。将获得的视频以每60帧为一个节点，截取被试的面部表情图片，之后调整图片的大小，将图片分辨率设置为224?224像素。本实验共采集面部表情图片7864张，但有504张由于面部被遮挡、面部图像不全、正脸偏离等原因不适合用来进行实验分析，故予以删除。②数据过滤。数据过滤遵循两个原则：一是对于同一张面部表情图片，如果有两名及以上研究人员判定的学习情绪标签名称相同，就将其作为有效数据予以保留；二是如果三名研究人员的判定结果各不相同，就请三人之外的研究人员另行定义，之后根据第四名研究人员的判定来确定数据是否有效——若第四名研究人员的判定结果与前三人都不相同，则放弃此条数据。经过数据过滤环节，被试的面部表情图像及其学习情绪标签的准确性、可用性均得到了保障。③数据增强。深度学习模型训练需要大规模的训练样本作为数据支撑[19]，而本实验的被试规模不够大、采集的数据量不够充足。为避免因数据量不足带来准确率不高、模型的过拟合等问题，本实验采用旋转、翻转、拉伸和模糊等方式对图片进行数据增强，最终共得9842张图片。

　　三Attention-AlexNet优化模型的构建

　　研究者发现，学习者的面部表情图像关键特征信息在空间上出现的频率不均匀，且与情绪有关的图像特征集中在面部的特定部位[20][21]。基于此，本研究引入深度学习中的注意力机制，从空间和通道的角度关注特征图，构建了具备关注重要特征能力的Attention-AlexNet优化模型，如图3所示。在Attention-AlexNet优化模型中，卷积层负责卷积操作提取特征图，池化层负责降低特征图尺寸，注意力模块负责分配权重，全连接层负责决策并输出预测结果，激活函数负责加入非线性元素。其中，注意力模块的结构如图4所示，处理过程如下：①将输入特征图按长宽压缩为两种一维向量数据，输入通道注意力模块，得到其输出权值；②通道注意力输出权值与特征图进行点乘，输入空间注意力模块，得到其输出权值；③空间注意力输出权值与特征图进行点乘，点乘的结果作为Attention模块的特征图予以输出。

　　结语

　　本研究建立了国内首个孤独症儿童面部表情图像数据集，构建了结合注意力机制的深度学习神经网络模型——Attention-AlexNet优化模型，并开展了深度学习模型的对比实验，在数据集和方法学方面推进了深度学习在学习分析领域的研究。但是，本研究也存在一些不足，主要表现为：①数据集的规模不大，收集的图像数据样本量在深度学习研究中相对较少；②单一模态数据评价学习情绪略显单薄。基于此，后续研究将建立更大规模的孤独症儿童面部表情图像数据集，以增加数据的样本量；同时，采集孤独症儿童学习情绪的多模态数据（如脑电、声音和姿态等），并采用多模态数据融合方法，以对孤独症儿童的学习情绪进行更全面、更深入的智能感知研究。

　　参考文献

　　[1]曹晓明,张永和,潘萌,等.人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J].远程教育杂志,2019,(1):32-44.

　　[2]陈靓影,张如静,王帆,等.孤独症儿童早期社交技能的智能化评估——以应答性共同注意和应答性社交微笑为例[J].电化教育研究,2019,(11):114-120、128.

　　[3]RudovicO,LeeJ,MaricicLM,etal.Measuringengagementinrobot-assistedautismtherapy:Across-culturalstudy[J].FrontiersinRoboticsandAI,2017,(7):1-17.

　　[4]兰岚,兰继军,李越.自闭症儿童面部表情识别的综述[J].特殊教育,2008,(3):36-41.

　　王永固1张晨焘1许家奇1李晓娟2

上一篇：基于现代教育技术的初中历史智慧课堂分析 下一篇：浅谈5G推动下的农业现代化发展现状与前景