摘" 要：智能乐谱是当今音乐信息可视化的一种方式，用可视化符号代替约定俗成的抽象音乐符号，便于学琴者认知理解。音乐信息可视化是一个将听觉转换为视觉的过程，在设计过程中涉及多种映射方式，色彩是最具表现力的视觉元素之一。因此本文以色彩和音乐之间的映射关系为基础，验证不同色彩与情感映射模型的认知效度。对不同的情感映射模型及其相关研究进行梳理，对基于和弦与色彩的映射方式和音高与色彩的一对一映射方式进行对比实验验证。在情感认知方面基于五度圈的和弦色彩映射更优；在视觉体验方面两种映射都有一定的视觉规律性；在表现旋律线条方面，哪种方式旋律线更加明确取决于主旋律和和弦的进行；在学习认知方面，不同映射模型适合不同的学习阶段。
关键词：音乐可视化；用户体验设计；音乐情感模型；音画交互；映射
“音乐可视化”（Music Visulization）是一个通过视觉方法来展示和阐述音乐所表达内容的过程。乐谱是历史上最早将音乐信息进行可视化的一种方式，创作者为了使抽象的音乐信息更直观、更有效地表达和传播[1]，将听觉信息转化为了视觉信息（Visual Information）。由于不同时代背景和文化审美的差异，乐谱也有着不同的演变。最早的乐谱可追溯到公元前30年的埃及乐谱，图形乐谱中用排列整齐的圆点表示乐曲的行进，圆点的颜色不同代表音高的不同，圆点的大小表示声音的持续时间，即音长。随着人们对记录音乐需求的不断增加，公元9世纪出现了记录音乐信息更为高效的纽姆谱。纽姆谱用抽象符号按照音程的大小有规律地排列，其距离与音程的大小具有逻辑上的映射关系，并通过符号的空间对音高的反映来表现旋律的走向。这样的记录方式是设计现代五线谱的雏形。然而，当时的纽姆谱无法记录音长，因此难以准确体现曲子的韵律。直到五线谱的出现，演奏力度、节奏变化、小节划分等更多音乐信息才被详细记录下来，并一直延续到现在[2]。虽然五线谱对音乐信息的记录比较完整，但大多是用意大利语字母标注出来的，例如，音强、颤音、音区变化等，都需要钢琴学习者通过系统地乐理学习才能掌握。由于这些信息无法直接在乐谱中直观地表现出来，所以更原始的音乐可视化记录方式反而更容易被初学者理解。因此很多设计者不满足于以五线谱为载体来记录音乐，开始积极地尝试用各种各样的方式让音乐可视化。
智能乐谱便是在音乐可视化中“返璞归真”的一个典型作品，目前主要应用在在线音乐教育软件中。但是目前也只注重了对音长、音高、节奏等可量化的音乐要素的可视化，对于情感要素不仅没有合理的呈现方式，甚至为了简化删去了五线谱上的情感符号，如国外一款可视化处于前列的音乐教育软件Yousician陪练。智能乐谱对于初学者学习有着积极的促进作用，对音乐情感可视化的研究能够辅助学习者对音乐的感性理解，但是目前很少有对情感要素可视化进行的研究。
一、音乐可视化映射
在将音乐可视化的过程中，为了确保最终可视效果，需要在声音和视觉信息之间构建一些特定的连接。2005年，维多利亚大学的研究人员兰迪·琼斯（Randy Jones）和本·内维尔（Ben Nevile）提出了一种将宽泛的声音转换到视觉的方式，并将其定义为“映射”（Image），用于不同领域的输入和输出参数转换[3]。由于有多种对应方式可以实现声音到视觉的转换，因此需要制定一个模式来确定合适的映射方式及其实现方法。根据视听转换的不同规律，音乐可视化的映射可以分为自然映射、直觉映射、逻辑映射、叙事化映射、数字化映射和多通道映射等[4]。建立在视听联觉的生理和心理机制上的映射往往由于人们的文化背景、社会环境等差异而产生不同的理解，因而无法成为音乐可视化的有效指引。因此，尽管基于物理法则和人类感知的逻辑映射并不绝对普遍适用，但对于一些共通的感受，我们可以对其普遍规律进行探索和归纳[5]。
二、色彩与情感映射模型
情感是音乐要素中最为主观的一部分[6]，其信息丰富复杂且内容广泛，不能用数据精准量化。音乐情感与音乐的节奏、旋律、强弱、调式、音色等元素密切相关，甚至不同文化背景下的听众在听同一首音乐时，也会引发不同的情感体验。因此，一种方式是将情感信息从音乐中提取出来，将音乐特性转化为情感语义，间接映射出来。间接映射需要通过构建训练数据集、特征提取，通过情感识别模型对其分类并获得特征数值，通过特征数值在空间中的对应位置与色彩模型中色彩的对应位置建立联系，音乐与色彩之间的间接映射就由此建立起来。国外情感模型的研究起步较早，成果较多。其中，针对音乐的主流情感模型有PAD三维情感模型（Pleasure-Arousal-Dominance），Hevner情感环模型，TWC（Tellegen-Watson-Clark）情感模型和Thayer情感模型（如图1），其中PAD三维情感模型、TWC情感模型和Thayer情感模型都是通过描述情感向量在空间中的定位，利用情感空间中的坐标信息获得不同情感状态之间相似程度或差异程度的情感量化方式。Hevner情感环模型则是由一系列离散的词语组成，并且这些离散的词语情感属性的差异较大，有利于音乐作品的情感鉴别。最常用的情感模型有PAD三维情感模型和Hevner情感环模型[7]。上海大学耿凌艳以Thayer情绪模式与伊顿色彩理论的对应关系为例，从音乐数据中提取相关特征，对不同风格曲目进行Thayer情绪模式分类，并匹配到相应的“调色板”。音乐可视化既定目标是确保可视化颜色与音乐情绪相匹配，但由于许多歌曲的节奏、音量、音乐的音色都会发生整体或局部的变化造成情绪的改变，也就是情绪的递进、高潮、承接、下落等，使程序的计算发生变化，导致一首歌曲朝着新的情绪象限的方向移动。因此在智能乐谱中，色彩与情感的间接映射模型需要依靠动态音乐情感预测，而不是通过静态音乐情感预测对切片音乐输出一个结果。这种间接映射的方式往往精确度很高，但目前这类音乐情感研究存在着音乐情感数据集稀缺、情感量化难度大、情感识别精准度有限等诸多技术挑战[8]，如何借助人工智能方法对音乐的情感趋向进行有效的且高质量的识别是当前技术研究的热点与难点，对其技术应用中可视化的研究还较少。
直接映射的方式是指基于音高与色彩进行的直接关联映射，学者基于音乐和颜色关联性的产生原因提出了系统性的理论，在这些研究中最著名的就是直接关联和情绪中介关联[9]。直接关联以光波的逻辑映射为基础，情绪中介关联以音乐和颜色激发的相似情绪为基础[10]。这种关联是基于人类的感知经验，也就是“联觉”，但由于经历不同，人的主观感受性不同，因此目前还没有一个被公认的音乐色彩映射模型。虽然过去有很多音乐家、画家、科学家给出了音高与色彩的映射关系，但他们多被应用在个人化创作中，其普遍性与有效性鲜有人探究。直接映射的方式能够跳过间接映射的技术壁垒，更为简单地得到音乐与颜色的对应关系。
基于直接关联和情绪中介关联，有许多学者提出了假设，如最早在17世纪牛顿基于他对光线和棱镜的实验，将颜色与音符联系起来。他识别出光谱中的七种颜色——红、橙、黄、绿、蓝、靛、紫——并将它们与音阶中的七个音符相匹配[11]。此后也有音乐家、科学家、学者提出了大量的映射模型，将音乐的音高和色彩进行一对一的对应，例如18世纪法国耶稣会士路易斯·伯特兰·卡斯特（Louis Bertrand Castel）对牛顿的思想进行了扩展，他认为每一个音符都有相应的颜色，并发明了一种“视觉大键琴”，这种装置在按下琴键时会投射出彩色的光，从而通过颜色直观地表现出音乐。19世纪晚期，Theodor Seemann提出了具体的音符与颜色之间的详细联系，旨在更普遍地理解这些对应关系在艺术和治疗中的应用。20世纪初，俄罗斯作曲家亚历山大·斯克里亚宾创造了一种“颜色管风琴”来视觉地表现他的联觉体验，当他听到音乐音调时会感知颜色。他的作品对音乐和视觉艺术都有重大影响，推动了色彩与音乐的融合。这些学者及其模型展示了对音高和色彩之间联系的不同理解和应用方法，但这些映射模型的共通点都是对音高与色彩进行单一映射[12]。
除了对音高和色彩进行单一映射外，国外研究者Francsolina还通过为和弦组“赋色”的方式，将五度圈与色轮相结合，使乐曲中的和弦与色彩相映射，使作品具有与音乐调性相近的整体色彩基调。在乐理中，五度圈是以纯五度音程为间距、按顺时针方向排列、以C和弦为起始点的圆圈，各和弦按其在和声上的相似性，在环上依次排开[13]。由于一首乐曲是由若干和弦经过设计构思排列组合而成的，因此通过映射可以得到颜色组成的和弦色谱。Francsolina将此种映射应用在了作品中，从视觉上就可以看出音乐的调性变化，虽然有局部色彩的变化，但整体色调一致，符合音乐的情绪调性。如欢快的《DGreatKarnon》颜色比较活跃温暖；《BlueDonaur》的色调则更加浪漫；《Moonlight》的色调由蓝、绿、黄三种颜色组成，相对偏向冷色调，匹配乐曲安静清冷的整体基调。纵观其每一首作品的整体色彩都会有一个主色调，即带有情绪基调的音乐调式。
然而，关于色彩与音乐之间的映射方式尚缺乏权威的研究。针对前面提到的两种映射方式，即音高与色彩的单一映射和通过五度圆将和弦组与色彩进行映射的方法，具体哪一种表达音乐情感的方法更具普遍性，更契合钢琴学习者的实际需求，将在实验中进行研究。
三、实验设计
（一）前期实验准备
选择六段学习难度适中且属于不同调性的乐曲，本次选择《summer》（D调）、《天空之城》（C调）、《送别》（C调）、《克罗地亚狂想曲》（Eb调）、《梦中的婚礼》（g小调）、《未闻花名》（#F调）六段乐曲，分别制作基于色彩与情感映射的智能乐谱，由于本次实验只关注色彩与情感映射，在具体设计中将乐谱图形化，忽略无关的音乐要素。采用矩形表示乐音的音符时值长度，音符时值越长，矩形的长度也越长。被试者选取12名初学者，每两人收听同一段乐曲观看其可视化乐谱并答题，实验试题以主观评价量表的方式设计，分别比较两种映射模型在视觉体验、映射准确度、情感认知效率等方面的优劣，并且由于初学者学习需求，要同时考虑学习效率，并进行评分。
1.音名-色彩一对一映射测试模型
选择大部分研究者都认同的颜色-音名映射模型，将人耳可听音频率范围与可见光的光谱色带按比例关联起来[14]，就得到如下模型（如图2）。将其按照单音映射到智能乐谱上，由于按照频率进行的关联，所以绘制五线谱用固定调对应，得到可视化乐谱。
2.和弦-色彩映射测试模型
将五度圆中调性-和弦映射系统与色相环相结合，并在Francsolina的五度圈色彩系统基础上将对应平行小调的主和弦放到内侧，并赋予低明度来表示较为暗淡的情感色彩，映射到乐谱中得到实验样本（如图3）。
音名-色彩映射模型为映射一，和弦-色彩映射模型为映射二，以《夏天》（summer）为例的映射测试样本形式如图4。通过样本片段的不同和弦数量得到其相应颜色色块占比，得到所对应歌曲样本片段的色彩盘（如图5），可以看出色彩基调。
（二）实验研究分析
基于以上研究分析，一对一映射模型色彩分布更散乱，但对于不同音名的指代作用更强，适合于映射单个音乐元素，对于理解音乐整体并无明显作用。相比之下，基于五度圈的和弦与色彩映射在和弦走向、情感基调上有更为明显的效果，通过样本片段色彩盘中诸如梦幻的紫色与《梦中的婚礼》乐曲的对应、欢快的橙黄色与《summer》乐曲的对应等，可以看出此映射模型有着基本的情感映射效果。基于此，笔者对用户进行认知调研（如表1）。
1.基于五度圈的和弦色彩映射在表现音乐情感上更优，并且能够产生更多的情感联想，方便学琴者对音乐情感的感知。但是此种方式还有很多局限性，比如五度圈之外的和弦并没有相关的颜色映射案例，此实验是将其进行替换，虽然大部分智能乐谱的色彩符合其乐曲的情感，但这种方式并不具备普遍适用性。除了调性，节奏、配器等也会影响音乐情感，因此在准确性方面，基于情感语义的间接映射更好。
2.音名色彩一对一映射和基于五度圈的和弦色彩映射在视觉体验上相当，不管是对音高还是和弦进行映射，都具有一定的视觉规律性。
3.哪种方式旋律线更加明确，取决于主旋律和和弦的进行。当主旋律连贯，音名色彩一对一映射更能表现出旋律；当和弦简单，基于五度圈的和弦色彩映射也能表现出旋律。
4.两种映射方式在学习效率上各有优势，对于初学者而言，可以使用音名色彩一对一映射，便于辅助记忆五线谱。键盘提示可以用相同颜色，帮助辨识、记忆、寻找单音，对于有一定基础的学习者可以使用和弦色彩映射，容易辨认和记忆和弦，帮助对于情感的感性化认识，还可以帮助学习者理解音乐结构。
四、结论
音乐可视化能够辅助提升学琴者的认知效率，适当的色彩与情感映射模型可以帮助情感认知。对音高与色彩的单一映射和通过五度圆将和弦组与色彩进行映射两种方式下学琴者的认知效度进行对比，验证了在情感认知方面，基于和弦色彩的映射比基于音高的映射更有效。普遍程度上可以通过和弦映射来做音乐可视化，但由于对情感影响的因素较为复杂，对于需要更高准确度的场景，还是要依靠人工智能对其进行分类后再映射到色彩。在学习认知方面，不同映射方式适用于学习的不同阶段，灵活运用色彩能够帮助学习者抽象记忆，对音乐教育及乐谱的可视化设计具有实践借鉴意义。
参考文献：
[1]朱小慧.声形音景：音乐可视化的映射模式设计研究[D].无锡：江南大学，2022.
[2]贾洋.基于音乐可视化的钢琴学习软件设计研究与实践[D].杭州：浙江科技学院，2022.
[3]Jones，R.and B.Nevile.Creating Visual Music in Jitter：Approaches and Techniques[J].Computer Music Journal，2005（4）：55.
[4]靳媛媛，周帆扬.音画交互设计在音乐演出中的联觉表达要素[J].艺苑，2022（2）：95-98.
[5]耿凌艳.音乐可视化设计中的映射探究——以Thayer情绪模式与伊顿色彩理论的对应关系为例[J].装饰，2017（7）：103-105.
[6]施海斌.基于PAD情感模型的虚拟乐舞设计研究[D].哈尔滨：哈尔滨工业大学，2015.
[7]屈天喜.基于情感识别的实时交互式音乐可视化研究[D].长沙：中南大学，2008.
[8]康健，王海龙，苏贵斌，等.音乐情感识别研究综述[J].计算机工程与应用，2022（4）：64-72.
[9]刘俊伽.音乐表演服装颜色对音乐情绪体验的影响[D].重庆：西南大学，2021.
[10]章志光.社会心理学[M].北京：人民教育出版社，2001：32-35.
[11]何艺珊，马强.音乐调性与色彩的联觉特征研究[J].艺苑，2017（3）：96-101.
[12]Brougher，K.，J.Strick，A.Wiseman，J.Zilcer，amp;O.Mattis.Visual Music：Synaesthesia in Art and Music Since 1900[M].New York：Thamesamp;Hudson，2005：213.
[13]朱文涛，朱小慧.一种跨媒介的动态图形：马林诺夫斯基音乐视觉化设计研究[J].美术大观，2021（4）：138-140.
[14]何艺珊，马强.音乐调性与色彩的联觉特征研究[J].艺苑，2017（3）：96-101.
作者简介：
李娟，博士，西华大学美术与设计学院副教授。
王子涵，硕士，西华大学美术与设计学院设计学专业研究生。
