摘" 要：通过引入多模态交互方式为传统羽毛球学习训练器材赋能，可解决学员在训练中感知不强的问题，提高学员的学习效率。文章在使用情境任务分析法时发现学员在学习羽毛球的任务流程中动作通道与感官模态存在不合理的资源竞争问题，而这是影响学员学习效率的主要原因。文章提出了依托于多模态交互模型的设计策略，并提出了设计实例。最终结果表明：建立多模态平衡机制，将多模态交互的方式引入羽毛球学习训练器材和训练方法中，可以通过降低学员在学习时的认知负荷来提升学员的学习效率。
关键词：产品设计；羽毛球训练器材；情境任务分析法；多模态交互
随着生活经济水平的提高，人们逐渐从对基本生活需求的满足转向对高质量生活和幸福感的追求，越来越多的人选择将体育运动作为自己的健康幸福生活的活动，其中羽毛球的地位越来越重要，它作为全民适宜的体育运动也被逐渐纳入中考体育范围，因此也带来了羽毛球教育培训行业的蓬勃发展。羽毛球运动属于入门简单，但精进难度高的小球运动，学员系统学习难度较大，而且当前国内培训市场处于发展阶段，教学方式和教具都不够成熟，教练员主要以手把手教的简单方式教学，教练员水平参差不齐，难以标准化教学，因此，可以设计出一款人机交互设备，将科学训练标准和教练员经验相结合，让科技辅佐教育，提高效率。通过使用多模态交互技术设计一款训练器件应用在体育教育培训行业上，可以降低学员的认知负荷和学习难度，同时提高学员的学习效率和规范羽毛球行业的培训标准，对羽毛球行业乃至其他小球类运动均会起到非常大的积极作用。
一、研究背景
（一）行业发展
据中研普华产业院研究报告－数据显示2021—2023年全国羽毛球馆市场规模由237.2亿元上升到291.8亿元，全国羽毛球馆行业从业人员规模由69.7万人上升到78.1万人，羽毛球运动项目已逐渐纳入中考体育范围。由于其对青少年儿童驼背、眼睛近视等问题有很好的缓解作用，且没有肢体碰撞，安全性较高，因此备受家长青睐。《2022年中国羽毛球培训行业分析报告——行业规模与发展趋势预测》报告显示，在为孩子选择体育培训项目时，羽毛球已成为第二大受欢迎的选择，占比达到21.3%。因此羽毛球培训市场也在蓬勃发展[1]。调研发现市场上参加羽毛球培训的学员区别于专业体校学生，他们没有足够多的时间和精力练习，因此培训机构也无法完全使用专业体育学校的教学方式。国内的培训机构也都不够成熟，各羽毛球培训机构使用的辅助训练器材大多都是机构简单自行定制（如图1）。辅助训练器材虽然在学习羽毛球的过程中不可或缺，但是其专业性和统一性却没有被重视起来[2]。
（二）学习流程
初学者学习羽毛球流程指的是学员在羽毛球培训班主要的上课内容，其中教练员讲解、学员使用辅助器材练习、教练员纠正动作这些流程是课程的基本步骤，其中学员使用辅助器材练习是上课环节的关键环节[3]。学员需要使用训练辅助器材不断重复教练员演示的击球动作，形成肌肉记忆，从而学会打羽毛球的专业动作，达到学习目的[4]。学员在学习羽毛球运动时首先需要学习专业的击球动作，而学员在模仿教练员动作讲解、使用辅助器材练习以及通过教练员纠正改正练习动作时以单模态交互方式为主，很难判断视角外的自身肢体动作幅度。因此这种学习模式容易加重学员的认知负荷，使学习效率低下[5]。
情境任务分析法（Contextual Task Analysis）是一种任务分析方法，它着重于理解任务在特定情境下的执行过程、要求和影响因素。情境任务分析法的目标是深入了解任务执行者与其工作环境之间的相互作用，以及环境对任务执行的影响。在上课培训流程中，学员的行为与教练、辅助器材等逻辑关系较复杂，因此，运用情境任务分析法分析学员上课的关键步骤，能够研究学员行为特征并分析其中存在的问题[6]。
表1为羽毛球培训过程中学习过程，使用情景任务分析法来拆解学员的任务目标，可以分为四个部分。1.看教练员演示动作，听教练员讲解关键点，这是最基础的接收信息的过程，而其中主要参与模态为眼睛和耳朵，在此阶段学员可以简单地观察学习，认知负荷在可承受范围之内。2.观察并挪动辅助器材，使自身和辅助器材处于合理位置，此时属于学员初步学习阶段，只需要眼睛和肢体参与即可，但这个阶段教练员的教育水平非常关键，让学员站在固定合理的点位才能使学员充分感受发力，顺利进行下一步训练。3.使用教练员讲解的专业击球动作，使用辅助器材练习，这个阶段虽然只需要学员眼睛和肢体的参与，但是复杂的信息加工阶段，学员需要对第一部分的输入信息进行思考加工，还需要自身行为训练的配合，对于较小年龄的小孩而言，认知负担相对较重。4.通过教练员纠正，学员改正错误动作继续练习，这是最后一部分的反馈接收改正阶段，在此阶段教练员需要时刻观察学员练习姿势和心理状态如何，及时提出训练意见。
在上述的羽毛球培训学习过程中，我们可以分析发现教练员的经验和规范化教学非常重要。学员在使用辅助器材练习击球动作时，既要注意自身击球动作是否规范，又要注意与训练器材的动作交互并且还要听从教练员的纠正，所以对于教学和受教的双方而言，在学习开始阶段的负担很重。因此教练员初始规范化教学负担重，学员感官模态和动作姿势竞争造成认知负荷过重导致效率低下，均是有待解决的问题。
（三）多模态交互
多模态交互（Multimodal Interaction）是指在人与计算机的交互过程中，利用多种感官通道或输入方式（如视觉、听觉、触觉等）同时进行信息交流与处理的技术。随着电子产品的不断发展，相比传统的单模态交互（如仅通过键盘输入或语音指令），多模态交互逐渐成为人机交互的发展趋势[7]。作为一种新型人机交互方式，多模态交互并非多个模态的简单叠加，而是通过各模态配合实现比单一模态更高效、自然的人机对话。国内外学者开展了关于多模态交互的研究，例如Nuovo等提出面向高龄用户的多模态输入界面，并通过试验证明多模态输入方式可为用户提供有效的认知补偿[8]；李善青设计了一套由穿戴计算机、立体视觉机、无线麦克和头戴显示器组成的交互穿戴系统，通过利用多模态交互中视觉和听觉通道的互补性和可并行性，提高了整套系统的运行效率[9]；邵帮丽等将多模态交互方法应用于智能家居场景，提升了人机交互精确性和顺畅性[10]。多模态交互还被运用于增强现实等应用领域，以实现高效、自然的人机对话，如易心武等基于神经科学和运动学的角度划分视线转移，结合头动的稳定性与眼动的高效性以及头眼协调特征设计了一个头眼协调交互模型，通过多模态相互作用减少Midas误触和识别用户意图，与传统交互模态相比，其交互模型具有更高的精度、更快的时间效率和更高的自然度[11]。
多模态交互利用人类的不同感觉通道，使用户运用更加自然的交互方式与产品协作，是增强现实人机交互的主要形式，也是未来人机交互的发展重心[12]。通过综合运用多感官优势而形成的多模态交互信息互补形式，不仅可降低学员在学习训练场景下的认知负荷为用户提供认知补偿，还能有效提升交互的自然性。后文将针对学员在学习存在的感官模态和动作资源不合理竞争问题提出多模态交互模型以及设计策略，并构建羽毛球训练器材的系统设计，以提高学员的学习效率。
二、多模态交互模型与设计策略
（一）多模态交互模型
多模态交互模型指的是能够处理多种不同类型输入（例如文字、语音、图像等）和输出的交互模型。这种模型可以同时处理来自不同传感器或资源的信息，并且能够将这些信息整合起来以进行更加全面和智能的交互。其主要包含用户层、产品层和交互层（如图2），信息在这三个层面中被加工处理以及流通。多模态交互通过整合多种感官输入和输出方式，使交互过程更加自然、灵活和高效，提升了人机交互的整体体验和应用广度[13]。
1.用户层。用户层主要包括用户的感觉通道和效应通道，用户通过感觉通道接收产品发出的信息，再通过效应通道做出相关反应传递给产品完成相应的交互行为。
2.交互层。交互层是整个多模态交互模型的核心层面，其功能主要将不同模态的信息整合处理，进行系统的决策和分析，形成输入和输出的信息映射。
3.产品层。产品层包含输入设备和输出设备，输入设备接收来自用户和环境的信息传递给交互层，输出设备将交互层处理好的信息采用多模态的方式传递给用户相对应的感觉通道。
在交互层中信息从输入设备流入经过多模态交互处理后由输出设备传递给用户。信息沿用户层交互层和产品层循环传递工作。该模型可以梳理多模态交互中信息处理和加工的过程，有助于为后续的交互设计提出设计策略[14]。
（二）设计策略
基于多模态交互模型，可在产品层和交互层提出设计策略。在产品层的信息输入阶段，增加传感器拓宽获取信息的效应通道；在交互层的信息处理阶段实时跟踪分析用户使用过程中的情景数据，并输出用户需要的特征信息；在产品层的信息输出阶段选择合理分配输出模态，在合适的情景为用户提供合理的融合信息以保持用户正常的认知负荷。
三、羽毛球智能学习器多模态交互设计
（一）羽毛球智能学习器设计
学习器从虚拟现实结合出发，保留传统学习架触感反馈的同时增加VR设备增强学员的视觉模态。学习器包括学习架、VR眼镜和内外部摄像头三个部分组成。学员佩戴VR头戴设备练习。场地设备立于学员右侧，摄像头固定在学员正前方（如图3）。
学员的VR眼镜虚构出场地的虚拟景象并提供标准学习动作的指令，在发送挥拍指令后虚拟环境模拟出羽毛球向学员飞来，学员向虚拟挥拍后击打在悬挂的小球上。外部的场地设备包括摄像头和提供击打反馈的悬吊架，其中摄像头收集学员的动作发送给VR与标准动作对比然后把纠正动作的指令发送给学员。悬吊架提供真实的击打反馈并收集击打数据。
（二）学习器多模态交互信息架构
将多模态交互模型应用于该硬件形成信息架构，智能学习器选择合适于情景的模态为主模态其他模态为辅模态，通过主辅配合的方式向学员传递信息指令；学员接收到指令后做出反应，由效应通道传递给智能学习器[15]（如图4）。
根据模态确定交互信息架构，标准动作演示及口令提示以视听结合形式呈现，使得学员在训练中易于理解；同时错误纠正将不再单纯为教练员讲解（只使用听觉模态）而以视听结合的方式增加视觉模态参与，以此减轻学员处理信息的压力。其中设备信息中的时间、电量、用户信息等使用视觉模态提供给学员。设备的基本设置使用触觉效应通道和视觉模态与用户交互。训练功能中的标准动作演示，错误纠正以及口令指示使用视觉和听觉提供给学员，挥拍击打信息收集将使用视觉模态与用户交互。
（三）学习器多模态交互系统
在多模态交互信息架构中，羽毛球智能学习架将以图像和声音的方式将对学员位置的指示、标准动作的演示以及口令提醒由视觉和听觉的感觉通道传达给学员，学员将使用视觉和听觉模态接收信息并作出调整位置、观察动作演示以及根据口令练习等任务。整合用户和产品之间的信息的流动和参与的模态可以构建出多模态交互系统（如图5）[16]。学员传达的信息将以肢体动效应通道被羽毛球智能学习架的摄像头接收。羽毛球智能学习架再通过数据处理将通过其模态关系和时间关系的特点将信息分配。其中模态关系主要分为选择型、相继型、并发型和互补型。时间关系主要是并行和串行。羽毛球智能学习架再将展示学员错误动作和演示学员正确动作等信息通过图像传递给学员。学员再重复练习形成循环。多模态交互系统将输入信息进行多模态交互处理，并选择合适情景的模态组合将信息输出给学员以实现信息准确传达和有效反馈。
（四）学习器界面交互设计
VR界面布局设计基于用户认知和行为逻辑特性。界面设计首先要对信息重要性进行排序。在学员练习过程中信息重要性由高到低排序应该为场地环境（包括球场模拟和击球位置模拟）、动作演示（包括标准动作演示、自身动作图像以及纠正信息）、设备基本信息（电量音量等）。系统将不同重要性的信息以不同大小放置于不同区域和层级，使学员在需要该信息时便于获取（如图6）。
在VR眼镜演示正确动作后向学员发出指令练习并在练习时由外部摄像头收集学员练习动作数据，整理后将纠正指令以声音信息发送给学员，VR眼镜同时将标准动作和学员当前动作的图像信息发送给学员，如此循环进行。
四、结语
本文设计了一种针对羽毛球初学者的学习机器，通过虚拟现实和增强现实等技术增强视觉、听觉信息模态运用多感官优势进行信息互补，降低了学员在原有场景下因信息通道拥挤带来的高认知负荷，提高了学员的学习效率，拓宽了将虚拟现实技术应用至体育教育领域的路径，同时完善了多模态交互模型，提出了新的多模态交互策略为同类产品设计提供参考。笔者下一步将继续完善设计使其更适用于多人以及更多场景下的学习训练。
参考文献：
[1]林榕升，冯雪珠.羽毛球：涨价与火爆的背后[N].福州日报，2024-08-08（4）.
[2]单炫绮.利用羽毛球训练提升中考体育成绩的方法[J].拳击与格斗，2021（7）：84-85.
[3]刘萍萍.我国羽毛球竞技后备人才培养研究[D].北京：北京体育大学，2016.
[4]程勇民.我国羽毛球训练的理论创新与竞技实践[J].中国体育教练员，2019（4）：8-13.
[5]刘婷.羽毛球初学者不同挥拍方式对高远球技术影响的实证研究[D].北京：北京体育大学，2018.
[6]昌琳.通过使用人物角色和情景分析的方法来进行以用户为中心的设计[J].艺术与设计（理论），2008（11）：171-173.
[7]任泽裕，王振超，柯尊旺，等.多模态数据融合综述[J].计算机工程与应用，2021（18）：49-64.
[8]Nuovo A，Broz F，Wang N，et al.The multi-modal interface of robot-era multi-robot services tailored for the elderly[J].Intelligent Service Robotics，2018（1）：109-126.
[9]李善青，贾云得，柳阳.一种用于穿戴计算的指示手势视觉跟踪方法[C]//山东大学计算机科学与技术学院.第三届和谐人机环境联合学术会议（HHME2007）论文集.北京：北京理工大学计算机科学技术学院；北京理工大学计算机科学技术学院；北京理工大学计算机科学技术学院，2007：7.
[10]邵帮丽.基于多模态融合的智能家居人机自然交互方法研究及实现[D].苏州：苏州科技大学，2022.
[11]易心武，薛锦云，游珍，等.沉浸式虚拟现实多模态交互模型研究[J].江西师范大学学报（自然科学版），2024（1）：52-58.
[12]顾曰国.多媒体、多模态学习剖析[J].外语电化教学，2007（2）：3-12.
[13]王荣荣.多模态人机交互系统及其语音识别关键技术研究[D].杭州：浙江大学，2022.
[14]曾曦，崔雪萌.基于多模态交互的送餐员头盔设计[J].机械设计，2023（8）：157-163.
[15]张德禄.多模态话语分析综合理论框架探索[J].中国外语，2009（1）：24-30.
[16]辛志英.话语分析的新发展——多模态话语分析[J].社会科学刊，2008（5）：208-211.
作者简介：刘泽，西安工程大学硕士研究生。研究方向：用户界面与交互设计。
通讯作者：孙薇，西安工程大学副教授。研究方向：产品设计与人机关系、视觉传达与交互设计。
