2019年05月14日 10:35 来源：中国社会科学网-中国社会科学报 作者：何旭良
大脑中的杏仁核具有多模态工作特性，对视觉、听觉、触觉、味觉或嗅觉等感官模态发出反应。说话人会话时，大脑多个区域及其信息处理系统协同工作，或补偿或支持或沟通，对交流过程中的信息进行多模态处理。运用多模态的研究方法，我们可以发现自闭症儿童语言及非语言的特征，找到其“症结”，采用科学的康复手段。重要的是，它可以让我们发现自闭症儿童的潜力和优势，让他们成为有益于社会的人。
自闭症（autism），又称孤独症，是广泛性发育障碍的代表性疾病，以社会交往障碍、沟通障碍和局限性、刻板性、重复性行为为主要特征。它是一个连续体，包括一系列大脑发育失常的复杂疾病，按社交能力和语言沟通及非语言沟通能力分成不同的层级，病情严重者终生无语。2017年《中国自闭症教育康复行业发展状况报告Ⅱ》指出，我国至少有1000万的自闭症人群、200万的自闭症儿童，并呈急剧上升趋势，引起国家和社会的普遍关注。
语言的发生与发展、人与人之间的交际、人与外界的交流都需要多模态感官系统的参与，意义的构建、传递和理解本质上是由大脑的多模态协同机制支撑的。大脑中的杏仁核具有多模态工作特性，对视觉、听觉、触觉、味觉或嗅觉等感官模态发出反应。说话人会话时，大脑多个区域及其信息处理系统协同工作，或补偿或支持或沟通，对交流过程中的信息进行多模态处理。运用多模态的研究方法，我们可以发现自闭症儿童语言及非语言的特征，找到其“症结”，采用科学的康复手段。重要的是，它可以让我们发现自闭症儿童的潜力和优势，让他们成为有益于社会的人。在这方面，不乏自闭症患者成为科学家、工程师的例子。
多模态即信息的多形态呈现
“模态”可以指各个感官及其相应的神经系统。脑科学研究常用“模态”通指感官及其相应的神经系统，身心健康的人在正常情况下与外部世界的互动是多模态的，通过视觉、听觉、触觉等感官系统跟他人、机器、事物或动物等外部环境进行交流。
“模态”也可以是符号资源。从符号学出发，“模态”是在社会文化中形成的创造意义的符号资源，意义是借声音、文字、图像、颜色、动作等不同方式来表达的。由此看来，语言是其中一种模态。“模态”也可以视为信息呈现方式。所谓多模态人机交互，就是人们使用多种感官模态，通过多种物理媒介，与计算机等机器进行多渠道、多形式的信息交互。人机交互过程中，获取多通道的信息，进行分析与融合，多通道输出信息。
从多模态途径研究自闭症儿童语言
由符号属性角度进行研究。信息由声音、文字、图像、颜色、动作等不同符号呈现、表达，自闭症个体对符号信息的加工各有特点。第一类自闭症患者思考时用的不是语言，而是图像；大脑关注细节，不像常人的大脑更关注整体。第二类自闭症患者偏爱事物的抽象模式，更喜欢数学和音乐，但阅读能力差。第三类是他们的语言能力很强，像百科全书那样记住许多事，但绘画能力很差。通过符号属性的研究，我们可以发现自闭症个体大脑是如何对这些符号进行感知，又是如何加工处理的。
运用语料库语言学的方法进行研究。经医学伦理委员会批准，取得儿童监护人知情同意，在医院、自闭症康复中心、培训机构或学校选取被试儿童，对它们进行Gesel或韦氏儿童智力量表测试，按照性别、发育年龄、非语言智力、干预状况等因素匹配分组；被试分期完成故事复述、看图说话、个人故事讲述等多项任务，采用高清数码摄像机，对实验过程进行全方位立体摄像、录音。运用音视频处理工具进行个性化标注，建立多模态语料库；编写、运行脚本，提取言语及非语言相关数据。对比正常儿童，描述自闭症儿童言语、非语言特征及表情达意的相互关系；根据这些特征进行自闭症分类，为探究其成因、认知机制、生物神经基础及其康复治疗奠定基础，可能有新的发现。自闭症儿童的言语及非语言物征是其认知机制和神经基础的窗口，在语音、词汇、句法、篇章、语义及语用上的特征互相联系，不可孤立地看待某一语言现象；只有依据自闭症儿童的言语及非语言特征而进行的语言康复治疗才能达到最佳效果。
在神经科学及相关人工智能开发方面进行研究。神经科学方面的研究目的在于考察自闭症儿童语言的理解、产出的脑机制，其他大脑功能区在言语交际中的作用以及言语活动中多个脑区的协同作用，是从根源上探索自闭症儿童的大脑认知的神经机制，自闭症儿童和正常发展儿童脑神经方面的根本区别，为自闭症患者的康复奠定基础，是发现和挖掘自闭症患者潜力的前提条件。
现代信息技术与人工智能为自闭症患者的康复、援助及学习提供了广阔的前景，但信息技术与人工智能需要解决语言交流中多模态问题——多模态信息的感知和产出。具体地说，人工智能对人类多模态信息传入的识别，包括人脸识别、表情分析、语音情感分析、姿态识别、运动分析等；对多模态通道输入的信息进行综合分析、判断，实现信息融合，提高机器的综合“认知”能力，产出多模态的信息，实现与人类的互动。人工智能多模态的研究能够提高当前机器人的应变能力和能动性，让机器人在自闭症测查方面更为系统、客观、规范和标准，对自闭症的筛查、辅助诊断和早期干预发挥重要作用。同时，根据自闭症患者多模态交互特点，人工智能辅助他们调用多种模态，协调大脑认知，从事学习活动，发挥自己的优势和潜力。
发掘自闭症儿童特殊能力
从不同角度对自闭症儿童语言进行多模态研究，旨在揭示他们的语言特征，分析产生的原因，采取科学的措施，“对症”进行康复。
自闭症儿童语言多模态研究另一个重要领域是发现他们的特殊能力，挖掘自闭症儿童潜力，让他们成为有益于社会的人。依据当今的诊断标准，爱因斯坦、莫扎特、梵高、特斯拉等人都可能患有高功能自闭症，虽然回避社交，但对某一个领域异常专注，成就斐然。用图形思考的高功能自闭症儿童以后可以成为图形设计师、工业设计师；喜欢思考抽象模式的高功能自闭症患者可以去学数学、编程；文字类型的高功能自闭症儿童可以成为记者和演员。TempleGrandin是高功能自闭症患者，在遇到她的老师WiliamCarlock前，对学习一点兴趣也没有。WiliamCarlock这个前美国航空航天局的科学家，解决了她的视错觉问题，让她成为一个动物学家。康复可以缓解或改善自闭症症状，但其症状可能终身陪伴患者。发现自闭症儿童特殊能力，挖掘他们的潜力，正是广大研究工作者的使命所在。
（本文系江苏省高校哲学社会科学研究项目“汉语自闭症儿童叙事语言及非语言跨通道研究”（2017SJB1232）、南通大学人文社科研究项目“自闭症儿童叙事言语及非语言特征研究”（13040576）阶段性成果）
（作者单位：南通大学外国语学院）