图像情感特征及其检索应用，本文主要内容关键词为：图像论文,特征论文,情感论文，此文献不代表本站观点，内容供学术参考，文章仅供参考阅读下载。
中图分类号：G354；TP391 文献标识码：A 文章编号：1007-7634(2010)04-0602-05
1 引言
图像传播的瞬间性和内容展示的直接性，使得这一媒体形式备受人们的青睐。图像可以形象地展示某个具体对象和场景，同时还可以表现和渲染出某种氛围来感染观众。图像情感特征就属于由图像感染力而引发的一类特征，受到认识主体的约束，主观性较强。在数字图书馆的应用中，图像的数量相当可观。对图像情感特征加以标识和管理，可以为今后查询这类图像提供丰富而人性化的线索，也为基于情感认知的图像组织与管理创造了条件。
2 图像情感特征的界定
图像情感特征是由视觉刺激引发的一类情感信息。在人们通过检索系统查找图像的过程中涉及两类视觉情感信息。一类是指由检索系统的外观形象、功能设计等特点激发用户而产生的舒适、方便、友好等感觉。另一类是指检索结果图片激发人们所产生的各种主观感受。从范畴上看，图像情感特征仅指第二类情感信息。这一特征可以用于进一步辨别检索结果与用户需求之间的相关程度。根据当前各种提法，研究者们曾采用感觉、印象、情绪、情感等多种方式描述由图像所激发的主观体验。下面对使用最多的“感性”、“情感”进行分析。
(1)“感性”是对日语词“Kansei”的翻译，相当于英文的impression、sensitivity。“感性”的提法通常在认识论中与理性、悟性等提法联系在一起提及，被界定为“接受外界刺激的心理过程，经由感觉直觉以获得事物的表征”[1]。日本学者长町三生则从感性工学的角度，将人对物(物理要素)的感觉、感观、感性到动机的关联性界定为“感性”[2]。Takagi等认为，kansei是位于感觉、知觉、认知之上的更高级的心理状态[3]。也有学者把生理、情绪、情感与个人喜好等各种状态，以及这些状态之间的关联均纳入“kansei”的含义范围[4]。作为一般词汇，《新华词典》将其解释为“感觉、知觉和表象等直观形式的认识”[5]。
(2)“情感”的提法主要来自欧美学者，更侧重于人类情绪、情感的研究。广义而言，情绪(emotion)是包括情感的，它是对客观事物的态度体验。狭义而言，情绪则仅指有机体受到生活环境中的刺激时，生物需要是否获得满足而产生的暂时性的、较剧烈的态度及及其体验[6]。情感(feeling)一词从广义上讲，与情绪一样是人们对客观事物的态度体验，狭义上与情绪的含义有所不同，它是与人的社会性相联系的概念，体现的是更为复杂而又稳定的态度体验[7]。欧美学者通常选择affective(affection)来描述情感特征，国内一般译作“情感”。尽管从心理学专业术语角度来看，汉语中的“感情”一词能够更好地同时涵盖情绪和情感的含义，但目前检索领域的研究者仍普遍采用“情感”的提法。
从目前研究来看，情感特征在术语层面尚未形成统一称谓。不过，实际研究表明大致趋同于情感特征包括了印象、感觉、情绪、情感等多种心理状态的认识。鉴于“感性”的含义比较宽泛，与美学、哲学以及美学的工学应用都有一定的关系。而“情感”、“情绪”作为心理学中重要的研究对象，含义更加专指明确。所以，笔者选取“情感特征”作为统一称谓，并从广义和狭义进行了界定：广义而言，图像情感特征产生于人们在各种情境下进行图片观赏的过程，它泛指由图像激发人们所产生的印象、感觉，甚至是情绪、情感等各种主观体验。狭义而言，图像情感特征是特指在检索环境中由检索结果图像激发人们所产生的各种主观体验。图像情感特征的表现形式一般体现为从用户角度对图像进行的主观性的描述，描述的方式通常为一组形容词或副词(欢快的、快速地)，作为对客体的修饰和补充。
3 图像情感特征的影响因素
图像情感特征产生于图像与用户在特定环境下的交互过程，主要受以下三方面因素影响。
(1)图像因素：人类大脑皮层对视觉刺激的反应是图像情感特征产生的基础，而视觉刺激首先来自对图像的感知。图像因素主要是指图像的统计性特征，如颜色、形状、纹理、轮廓等可视化特征，以及图像的外观(大小、尺寸)等特征。对于不同类型的图像，影响情感特征的图像因素往往不同。比如人物肖像画，画面带给人们的情感色彩可能很大程度上取决于人物的表情，而表情的识别可以通过提取人的眉毛、眼睛、鼻子、嘴巴和面部轮廓的位置、大小及其相互位置信息作为图像特征，根据这些特征与表情类别(如喜怒哀乐)间的映射关系达到表情识别的目的。又如建筑风景，建筑物的形状、色彩对于图像整体的情感特征所起的决定性作用可能更大。哥特式风格给人以“古典”感，立方体式风格给人以“摩登”感，而形状的提取可以使用边界特征、傅立叶形状描述符等方法。与情感特征这类主观性较强的特征相比，图像因素也可以看做是图像具有客观性的那一部分特征。
(2)用户因素：情感特征源于用户认知图像过程的心理活动。从用户认知的普遍性到认识的个性化渐进程度看，影响情感特征的用户因素分为三类。一类是指人类在进化过程中形成的普遍的视觉经验。这类视觉经验具有一般性和常规性，比如富于刺激性的色彩容易令人感到温暖。第二类是指人们在接受后天的教育后形成的对事物的习惯性认识、抱有的某种特定态度，以及容易激发起的关系密切的联想、想象。这类因素与人们所处时代、地域和民风有关。比如对于色彩的理解，黄色在中国是封建时代皇帝衣着的主色，象征着权威、最高权力，而在巴西却代表绝望无助，在基督教盛行的欧美国家也认为它是低俗的色彩。第三类是指个人性格和偏好引起的人们对视觉认知的态度。比如活泼开朗的人可能喜欢富有活力的色彩而厌恶让人感到攻击性的色彩。
(3)环境因素：环境是影响情感特征的另一重要因素，它主要包括应用环境和物理环境。不同的应用情境会影响情感特征的形成，以检索环境为例，人们在查找的心态下认识事物与人们在日常生活中认识事物并不完全相同。在查询过程中，人们通常更强调不同图像间的比对。而在日常生活中，人们更关心对事物本身的认识和对情感自身的体验。也就是说，一个人在日常生活中看到一幅令他感到心旷神怡的图像与他通过检索再次看到这幅图像的感觉可能会有些不同。他也许会发现，原以为心旷神怡的图像其实在其他同类图像中还不算是最突出的，这会降低他对该图像原本的情感体验。因此，检索的特定环境使得图像情感特征的作用不仅是体现图像所具有的情感特征类型，更主要是体现图像间的程度差异。除了应用环境会影响情感特征，物理环境也具有一定的影响作用，比如用户所处物理环境的舒适度、计算机硬件设备以及网络的响应速度等，都会一定程度影响人们观看图像时的情绪状态，而影响最终形成的情感特征。
4 图像情感特征在检索中的应用
目前有关图像情感特征检索应用的探索主要针对两类来源的图片——特定类型的图像库和网络环境下的图像资源，下面对相关检索应用进行介绍和分析。
4.1 特定类型的图像库
(1)艺术作品的情感检索。艺术图片是数字图书馆、博物馆中常见的一类藏品，通常基于统一的元数据方案，对艺术图片的内容、形式、管理等属性进行规范化描述与组织。然而艺术图片通常带给人们较强烈的精神享受和情感体验，在现有的特征组织管理模式下，它们难以得到揭示和体现。即便在专门描述艺术类作品的图像元数据方案VRA、CDWA中，它们的核心元素和类目中设置了用于反映作品风格、时期、流派等特点的属性，但一般由工作人员人工标引，标引依据大都来自专业的艺术鉴赏领域的界定(如对画作风格、流派的分类与时代的划分等)。这些属性都不是从用户鉴赏的角度来描述的。在实际查找这些艺术图片时，对于普通用户可能不太容易运用较为专业的方式来检索这些图片。实现从用户鉴赏角度描述艺术图片的情感特征，有助于降低用户负担。
ART MUSEUM系统[8]由日本九州技术研究院计算机工程系和中央大学工业与系统工程系的研究人员共同开发。用户可以使用表达情感体验的形容词构造检索提问来查找彩色艺术绘画。该系统由三类特征空间和一组映射机制组成，分别是图像特征空间GF(Graphic Features)、形容词空间SF(Subjective Features)以及统一特征空间UF(Unified Features)。GF是图像颜色量化的结果，在综合考虑了颜色分布情况下得到GF向量
。SF是指用户表达情感体验的形容词
向量空间，也就是用于标引图片的情感特征。UF是图片的情感特征空间，是将GF和SF联系起来的中介空间，其构造原理是通过典型相关分析(canonical correlation analysis)找出GF与SF间的相关系数矩阵G'，再根据来
=G*求解其他图片在UF空间的特征向量。经过标引后，GF和SF都被统一到同一个特征空间中。检索时计算用户提问向量与UF特征向量的距离，选取那些距离小、相似度大的UF特征向量所标引的图片作为检索结果输出。根据个体用户的偏好调整相关系数矩阵G'，令检索结果迎合个体用户情感认知的习惯。
(2)产品设计素材检索。产品设计素材是指产品设计人员为了设计创作的需要，对产品分解后的各个局部的设计雏形，或者是对各个局部单独设计的方案。在市场竞争日益激烈的今天，设计人员不能仅仅停留在功能的可用性，需要更多地从用户感受的角度去组合设计的素材，进行产品的设计与创新。因此，在组织与管理产品设计的素材图片时，同样存在以情感特征进行标识和检索的需要。
KMS-AD(Kansei Mining System for Affective Design)[9]是一个辅助情感化产品设计的感性挖掘系统，由新加坡南洋理工大学机械与航空工程学院的研究人员设计开发。KMS-AD采用关联规则对用户主观体验与产品设计素材之间的关系挖掘建模，发现设计素材与用户感受之间的关系。在KMS-AD系统中，感性需求相近的消费者被归入同一消费群体，并以此为依据将产品的市场整体划分为不同的市场细分，通过描述该市场细分的用户感性需求的感性词汇空间来表示。在以手机设计为例的实证研究中，KMS-AD选取了15个感性词汇，并从现有的手机设计素材库中选取了23个设计素材，包括颜色造型不同的手机按键、机身、机壳等，然后根据用户对各类手机的感性评价数据，利用Magnum Opus数据挖掘工具，采用关联规则算法挖掘感性需求和手机设计之间的关联性，以指导设计人员针对不同的需求挑选出最接近的设计要素进行组合。受商业利益的驱动，以情感特征为线索的产品设计素材检索应用是实用化程度最高的一类应用，尤其是在日本，早在80年代中后期，就对人类情感的定量化研究进行了丰富的实践研究，并由生产制造业的应用推广到更为广泛的领域，发展出了情感信息处理这一新兴的信息处理技术。不过，这类检索应用的系统所针对的对象比较专指，对更大规模、更大范围的通用型图像资源的适用性要弱一些。
KMS-AD系统将产品分解为各个不同的设计要素，通过各设计要素的情感特点来组合形成最终的产品。另一种判定商品情感特征的做法是更多地考虑商品作为一个整体的特征，如Eun Yi Kim等人通过分析服装图片整体的颜色、纹理来分析服装可能给顾客带来的情感体验[10]。
除了上面提到的艺术绘画、产品设计图，近年来研究者们还以自然动植物图片[11]、室内装饰图片[12]、心理测试图片[13]等为处理对象，探讨了这些图片的情感特征提取与检索问题。
4.2 网络环境下的图像资源
图像类视觉资源占据了网络信息总量的70％之多，数量相当庞大。Google、百度等网络搜索工具的应用，使得人们只需输入若干个关键词，就可以快速定位所需的图像。Hsiao-Tieh Pu通过分析人们查询图像的提问日志，发现大致有9.25％的用户提问会使用诸如“可爱的水果”、“好笑的脸”、“神秘的海洋”等方式提问，7.04％的用户会使用诸如“L型沙发”、“星星般的花边”等方式提问[14]。尽管该研究调查的搜索引擎相对有限，但其研究发现依然显示出，结合情感特征来修饰和明确用户提问的需求是客观存在的。
K-DIME(Kansei-Distributed Information Management Environment)[15-16]是一个基于情感特征检索和过滤网络图片的系统，由会津大学数据库系统实验室的Nadia Bianchi-Berthouze主持开发。K-DIME由发送、过滤、显示、反馈处理四个模块组成。它首先采取元搜索机制，将用户提问通过发送模块发送到其挂接的搜索引擎，并将各搜索引擎的检索结果进行汇总。在初步集成各搜索引擎检索结果图片的基础上，利用过滤模块，结合KUM模型(Kansei User Model)从汇总的结果图像集合中挑选出符合用户情感需求的图片，由显示模块负责输出。最后，反馈处理模块提供用户反馈的接口，以便进一步调整KUM模型以更好地迎合用户。KUM模型是K-DIME的核心，其功能是建立图像特征与用户主观体验之间的个性化映射。在映射建立过程中，KUM模型综合考虑了图像的颜色、形状、纹理、灰度等多维可视化特征，并采用神经网络算法建立了图像特征与情感特征的映射机制。K-DIME可以作为一个独立的部分灵活地嵌入在图像检索和过滤的相关应用中。
ACQUINE(Aesthetic Quality Inference Engine)(acquine.alipr.com)是由宾夕法尼亚州立大学James Z.Wang领导的一个研究小组研制开发的在线图像评分和搜索引擎，该项目从2005年就已经启动，2009年4月底正式公开发布。与传统的图像搜索引擎不同的是，该平台根据用户的审美评价习惯来分析图像，从而获得具有美学意义上的评级。ACQUINE分析与评价图片的审美级别时，主要提取了图像的底层视觉特征，包括色饱和度、颜色分布、照片构图等，然后由机器学习技术构造的分类器来组合这些特征。该项目使用了数千幅来自类似photo.net的在线图像共享网站上，通过人工标记好的图片进行训练，以不断逼近人类审美学评价的标准。与K-DIME不同的是，尽管ACQUINE处理的也是网络环境下的图像资源，但主要还是以处理数码照片为主，特别是表现风土人情的自然风景照片。该系统并不分析照片所处网页上下文的特点，但会结合数码相机中提供的一些元数据特征进行分析。因此，对于系统搜索到的数码照片，经过分析处理后系统可以立即预测出大众对该照片的评价等级。
鉴于网络图片所处网页环境的特殊性，相比特定类型的图像库，在网络环境下分析和识别图像情感特征能够获得更多的分析线索。R.Basili等人提出了非监督的图像分类技术，通过对图像所处的Web网页文本的挖掘，结合图像的可视化特征，利用潜语义标引技术，得到图像的语义表示[17]。Hsin-Chang Yanga等人则利用自组织映射学习算法从图片环绕文本提取图像的语义特征[18]。这些研究结合网页文本挖掘技术来辅助图片高层语义特征的提取，其中也涵盖了对情感特征的考虑，在此基础上实现基于高层语义的检索。
5 结语
图像情感特征以用户感受为中心描述和刻画图像，充分体现了“以用户为中心”的思想。而早在十多年前，国际标准化组织就曾专门颁布了ISO 13407标准——“以人为中心的设计”，强调必须充分了解用户意愿和感受才能研制出真正人性化友好的产品。因此，将情感特征应用于图像检索的做法，不仅有助于提高图像检准率，更有助于提升检索系统在用户心目中的形象。尽管受人类情感复杂多变的影响，情感特征标引与检索相关的研究面临诸多挑战，但这并未阻碍人们在这一问题上的探索。随着对情感问题研究的深入，加之计算机科学、信息科学、心理学等相关学科的成熟，图像情感特征的提取技术、检索应用水平都将得到进一步提高，从而进一步提升检索系统的人性化水平，提高用户的满意度！