1,068
个编辑
更改
跳到导航
跳到搜索
第52行：
第52行： + + + + 第67行：
第71行： + + + + 第93行：
第101行： + 第101行：
第110行： + + + − 绝大多数现有系统都依赖于数据。 选择一个恰当的数据库来训练分类器因而成为语音情感识别的首要问题。 目前拥有的大部分数据都是从演员那里获得的，都是一些典型的情绪表现。这些所谓的行为数据库通常是基于基本情绪理论(保罗 · 埃克曼) ，该理论假定存在六种基本情绪(愤怒、恐惧、厌恶、惊讶、喜悦、悲伤) ，其他情绪只是前者的混合体<ref name="Ekman, P. 1969">Ekman, P. & Friesen, W. V (1969). [http://www.communicationcache.com/uploads/1/0/8/8/10887248/the-repertoire-of-nonverbal-behavior-categories-origins-usage-and-coding.pdf The repertoire of nonverbal behavior: Categories, origins, usage, and coding]. Semiotica, 1, 49–98.</ref>。尽管如此，这仍然提供较高的音质和均衡的类别（尽管通常太少），有助于提高识别情绪的成功率。 + + 第124行：
第137行： − * 2.时间相关特征:+ − * 3.音质参数和能量叙词:+ 第133行：
第146行： + + 第144行：
第159行： + 第180行：
第196行： + 第203行：
第220行： + + 第215行：
第234行： + 第222行：
第242行： + + 第232行：
第254行： + + + − 红外光通过特殊的传感器硬件照射在皮肤上，测量皮肤反射的光量。因为光线被血液中的血红蛋白吸收，所以反射光的数量与 BVP 相关。 − + − [[File:Em-face-2.png|thumb|right| 皱眉肌和颧肌是用来测量面部肌电图电活动的两块主要肌肉。|链接=Special:FilePath/Em-face-2.png]] − − + − [[File:Gsrplot.svg.png|500px|thumb|在这里，我们可以看到一张皮肤阻力的图，测量使用 GSR 和时间，同时受试者玩一个视频游戏。在图中有几个明显的峰值，这表明 GSR 是区分性唤起和非性唤起状态的一个很好的方法。例如，在游戏开始的时候，通常没有多少激动人心的游戏，但是有一个高水平的电阻记录，这意味着低水平的电导率，因此唤起较少。这与游戏中玩家被杀的突然低谷形成鲜明对比，因为玩家在游戏中被杀时通常会感到非常紧张。|链接=Special:FilePath/Gsrplot.svg]] − + 第261行：
第282行： + + + + − 情感影响学习者的学习状态。利用情感计算技术，计算机可以通过学习者的面部表情识别来判断学习者的情感和学习状态。在教学中，教师可以利用分析结果了解学生的学习和接受能力，制定合理的教学计划。同时关注学生的内心感受，有利于学生的心理健康。特别是在远程教育中，由于时间和空间的分离，师生之间缺乏双向交流的情感激励。没有了传统课堂学习带来的氛围，学生很容易感到无聊，影响学习效果。将情感计算应用于远程教育系统可以有效地改善这种状况<ref name=":18">http://www.learntechlib.org/p/173785/</ref>。 + + + 第298行：
第325行： + 第303行：
第331行： + 第316行：
第345行： + + 第329行：
第360行： + 第345行：
第377行： − 第365行：
第396行： − − {{DEFAULTSORT:Affective Computing}} − [[index.php?title=分类:Affective computing| ]] − − <noinclude>
无编辑摘要
识别情感信息需要从收集到的数据中提取出有意义的模式。这通常要使用'''[[wikipedia:Multimodality|多模态]]'''机器学习技术，如'''语音识别'''、'''自然语言处理'''或'''面部表情检测'''等。大多数这些技术的目标是给出与人类感情相一致的标签: 例如，如果一个人做出皱眉的面部表情，那么计算机视觉系统可能会被教导将他们的脸标记为“困惑”、“专注”或“轻微消极”(与象征着积极的快乐微笑相反)。这些标签可能与人们的真实感受相符，也可能不相符。
识别情感信息需要从收集到的数据中提取出有意义的模式。这通常要使用'''[[wikipedia:Multimodality|多模态]]'''机器学习技术，如'''语音识别'''、'''自然语言处理'''或'''面部表情检测'''等。大多数这些技术的目标是给出与人类感情相一致的标签: 例如，如果一个人做出皱眉的面部表情，那么计算机视觉系统可能会被教导将他们的脸标记为“困惑”、“专注”或“轻微消极”(与象征着积极的快乐微笑相反)。这些标签可能与人们的真实感受相符，也可能不相符。
=== 机器中的情感 ===
=== 机器中的情感 ===
情感计算的另一个研究领域是设计出能够展示天然的感情（或令人信服地模拟情感）的计算设备。基于当前的技术，一个更加可行的方法是模拟对话机器人的情感，以丰富和促进人与机器之间的互动<ref name=":5">{{Cite book|last=Heise|first=David|contribution=Enculturating agents with expressive role behavior|year=2004|title=Agent Culture: Human-Agent Interaction in a Mutlicultural World|editor1=Sabine Payr|pages=127–142|publisher=Lawrence Erlbaum Associates|editor2-first=Robert |editor2-last=Trappl}}</ref>。
情感计算的另一个研究领域是设计出能够展示天然的感情（或令人信服地模拟情感）的计算设备。基于当前的技术，一个更加可行的方法是模拟对话机器人的情感，以丰富和促进人与机器之间的互动<ref name=":5">{{Cite book|last=Heise|first=David|contribution=Enculturating agents with expressive role behavior|year=2004|title=Agent Culture: Human-Agent Interaction in a Mutlicultural World|editor1=Sabine Payr|pages=127–142|publisher=Lawrence Erlbaum Associates|editor2-first=Robert |editor2-last=Trappl}}</ref>。
人工智能领域的计算机科学先驱之一[https://zh.wikipedia.org/wiki/%E9%A9%AC%E6%96%87%C2%B7%E9%97%B5%E6%96%AF%E5%9F%BA 马文•明斯基](Marvin Minsky)在[[wikipedia:The_Emotion_Machine|《情绪机器》]](The Emotion Machine)一书中将情绪与更广泛的机器智能问题联系起来。他在书中表示，情绪“与我们所谓的‘思考’过程并没有特别的不同。'"<ref name=":6">{{cite news|url=https://www.washingtonpost.com/wp-dyn/content/article/2006/12/14/AR2006121401554.html|title=Mind Over Matter|last=Restak|first=Richard|date=2006-12-17|work=The Washington Post|access-date=2008-05-13}}</ref>
人工智能领域的计算机科学先驱之一[https://zh.wikipedia.org/wiki/%E9%A9%AC%E6%96%87%C2%B7%E9%97%B5%E6%96%AF%E5%9F%BA 马文•明斯基](Marvin Minsky)在[[wikipedia:The_Emotion_Machine|《情绪机器》]](The Emotion Machine)一书中将情绪与更广泛的机器智能问题联系起来。他在书中表示，情绪“与我们所谓的‘思考’过程并没有特别的不同。'"<ref name=":6">{{cite news|url=https://www.washingtonpost.com/wp-dyn/content/article/2006/12/14/AR2006121401554.html|title=Mind Over Matter|last=Restak|first=Richard|date=2006-12-17|work=The Washington Post|access-date=2008-05-13}}</ref>
== 技术 ==
== 技术 ==
在心理学、认知科学和神经科学中，描述人类如何感知和分类情绪的方法主要有两种: 连续的和分类的。连续的方法倾向于使用诸如消极与积极、平静与激动之类的维度。
在心理学、认知科学和神经科学中，描述人类如何感知和分类情绪的方法主要有两种: 连续的和分类的。连续的方法倾向于使用诸如消极与积极、平静与激动之类的维度。
分类方法倾向于使用离散的类别，如快乐，悲伤，愤怒，恐惧，惊讶，厌恶。不同类型的机器学习回归和分类模型可以用于让机器产生连续或离散的标签。有时还会构建跨类别组合的模型，例如 一张高兴而惊讶的脸或一张害怕而惊讶的脸。<ref name=":7">{{Cite journal|title = A model of the perception of facial expressions of emotion by humans: Research overview and perspectives.|last = Aleix, and Shichuan Du|first = Martinez|date = 2012|journal = The Journal of Machine Learning Research |volume=13 |issue=1 |pages=1589–1608|url=https://www.jmlr.org/papers/volume13/martinez12a/martinez12a.pdf}}</ref>
分类方法倾向于使用离散的类别，如快乐，悲伤，愤怒，恐惧，惊讶，厌恶。不同类型的机器学习回归和分类模型可以用于让机器产生连续或离散的标签。有时还会构建跨类别组合的模型，例如 一张高兴而惊讶的脸或一张害怕而惊讶的脸。<ref name=":7">{{Cite journal|title = A model of the perception of facial expressions of emotion by humans: Research overview and perspectives.|last = Aleix, and Shichuan Du|first = Martinez|date = 2012|journal = The Journal of Machine Learning Research |volume=13 |issue=1 |pages=1589–1608|url=https://www.jmlr.org/papers/volume13/martinez12a/martinez12a.pdf}}</ref>
接下来将讨论用于情感识别的不同种类的输入数据。
接下来将讨论用于情感识别的不同种类的输入数据。
=== 语音情感 ===
=== 语音情感 ===
[https://zh.wikipedia.org/zh-sg/%E8%87%AA%E4%B8%BB%E7%A5%9E%E7%BB%8F%E7%B3%BB%E7%BB%9F 自主神经系统]的各种变化可以间接地改变一个人的语言，情感技术可以利用这些信息来识别情绪。例如，在恐惧、愤怒或高兴的状态下发言变得快速、响亮、清晰，音调变得越来越高，音域越来越宽；而诸如疲倦、厌倦或悲伤等情绪往往会产生缓慢、低沉、含糊不清的语音<ref name=":8">Breazeal, C. and Aryananda, L. [http://web.media.mit.edu/~cynthiab/Papers/breazeal-aryananda-AutoRo02.pdf Recognition of affective communicative intent in robot-directed speech]. Autonomous Robots 12 1, 2002. pp. 83–104.</ref>。有些情绪更容易被计算识别，比如愤怒<ref name="Dellaert" /> 或赞同<ref name=":9">{{Cite book|last1=Roy|first1=D.|last2=Pentland|first2=A.|date=1996-10-01|title=Automatic spoken affect classification and analysis|journal=Proceedings of the Second International Conference on Automatic Face and Gesture Recognition|pages=363–367}}</ref>。
[https://zh.wikipedia.org/zh-sg/%E8%87%AA%E4%B8%BB%E7%A5%9E%E7%BB%8F%E7%B3%BB%E7%BB%9F 自主神经系统]的各种变化可以间接地改变一个人的语言，情感技术可以利用这些信息来识别情绪。例如，在恐惧、愤怒或高兴的状态下发言变得快速、响亮、清晰，音调变得越来越高，音域越来越宽；而诸如疲倦、厌倦或悲伤等情绪往往会产生缓慢、低沉、含糊不清的语音<ref name=":8">Breazeal, C. and Aryananda, L. [http://web.media.mit.edu/~cynthiab/Papers/breazeal-aryananda-AutoRo02.pdf Recognition of affective communicative intent in robot-directed speech]. Autonomous Robots 12 1, 2002. pp. 83–104.</ref>。有些情绪更容易被计算识别，比如愤怒<ref name="Dellaert" /> 或赞同<ref name=":9">{{Cite book|last1=Roy|first1=D.|last2=Pentland|first2=A.|date=1996-10-01|title=Automatic spoken affect classification and analysis|journal=Proceedings of the Second International Conference on Automatic Face and Gesture Recognition|pages=363–367}}</ref>。
情感语音处理技术通过对语音特征的计算分析来识别用户的情感状态。通过模式识别技术<ref name="Dellaert">Dellaert, F., Polizin, t., and Waibel, A., Recognizing Emotion in Speech", In Proc. Of ICSLP 1996, Philadelphia, PA, pp.1970–1973, 1996</ref><ref name="Lee">Lee, C.M.; Narayanan, S.; Pieraccini, R., Recognition of Negative Emotion in the Human Speech Signals, Workshop on Auto. Speech Recognition and Understanding, Dec 2001</ref>
情感语音处理技术通过对语音特征的计算分析来识别用户的情感状态。通过模式识别技术<ref name="Dellaert">Dellaert, F., Polizin, t., and Waibel, A., Recognizing Emotion in Speech", In Proc. Of ICSLP 1996, Philadelphia, PA, pp.1970–1973, 1996</ref><ref name="Lee">Lee, C.M.; Narayanan, S.; Pieraccini, R., Recognition of Negative Emotion in the Human Speech Signals, Workshop on Auto. Speech Recognition and Understanding, Dec 2001</ref>
可以分析声音参数和韵律特征，如音调高低和语速等。
可以分析声音参数和韵律特征，如音调高低和语速等。
语音分析是一种有效的情感状态识别方法，在最近的研究中，语音分析的平均报告准确率为70%-80%.<ref name=":10">{{Cite journal|last1=Neiberg|first1=D|last2=Elenius|first2=K|last3=Laskowski|first3=K|date=2006|title=Emotion recognition in spontaneous speech using GMMs|url=http://www.speech.kth.se/prod/publications/files/1192.pdf|journal=Proceedings of Interspeech}}</ref><ref name=":11">{{Cite journal|last1=Yacoub|first1=Sherif|last2=Simske|first2=Steve|last3=Lin|first3=Xiaofan|last4=Burns|first4=John|date=2003|title=Recognition of Emotions in Interactive Voice Response Systems|journal=Proceedings of Eurospeech|pages=729–732|citeseerx=10.1.1.420.8158}}</ref>。这些系统往往比人类的平均准确率(大约60%<ref name="Dellaert" />)更高，但是不如使用其他情绪检测方式准确，比如生理状态或面部表情。然而，由于许多言语特征是独立于语义或文化的，这种技术被认为是一个很有前景的研究方向。
语音分析是一种有效的情感状态识别方法，在最近的研究中，语音分析的平均报告准确率为70%-80%.<ref name=":10">{{Cite journal|last1=Neiberg|first1=D|last2=Elenius|first2=K|last3=Laskowski|first3=K|date=2006|title=Emotion recognition in spontaneous speech using GMMs|url=http://www.speech.kth.se/prod/publications/files/1192.pdf|journal=Proceedings of Interspeech}}</ref><ref name=":11">{{Cite journal|last1=Yacoub|first1=Sherif|last2=Simske|first2=Steve|last3=Lin|first3=Xiaofan|last4=Burns|first4=John|date=2003|title=Recognition of Emotions in Interactive Voice Response Systems|journal=Proceedings of Eurospeech|pages=729–732|citeseerx=10.1.1.420.8158}}</ref>。这些系统往往比人类的平均准确率(大约60%<ref name="Dellaert" />)更高，但是不如使用其他情绪检测方式准确，比如生理状态或面部表情。然而，由于许多言语特征是独立于语义或文化的，这种技术被认为是一个很有前景的研究方向。
==== 算法 ====
==== 算法 ====
目前常用的分类器有'''线性判别分类器'''(LDC)、 '''k- 近邻分类器'''(k-NN)、'''高斯混合模型'''(GMM)、'''支持向量机'''(SVM)、'''人工神经网络'''(ANN)、'''决策树算法'''和'''隐马尔可夫模型'''(HMMs)。各种研究表明，选择合适的分类器可以显著提高系统的整体性能。下面的列表给出了每个算法的简要描述:
目前常用的分类器有'''线性判别分类器'''(LDC)、 '''k- 近邻分类器'''(k-NN)、'''高斯混合模型'''(GMM)、'''支持向量机'''(SVM)、'''人工神经网络'''(ANN)、'''决策树算法'''和'''隐马尔可夫模型'''(HMMs)。各种研究表明，选择合适的分类器可以显著提高系统的整体性能。下面的列表给出了每个算法的简要描述:
* LDC：特征以向量形式表示，通过计算特征的线性组合来分类。
* LDC：特征以向量形式表示，通过计算特征的线性组合来分类。
* 决策树算法：在一颗树中，每个叶子结点都是一个分类点，分支（路径）代表了一系列相邻接的特征，最终引向叶子节点实现分类。
* 决策树算法：在一颗树中，每个叶子结点都是一个分类点，分支（路径）代表了一系列相邻接的特征，最终引向叶子节点实现分类。
* HMMs：一种统计马尔可夫模型，其中的状态和状态转变不能直接用于观测。相反，依赖于状态的一系列输出是可见的。在情感识别领域，输出代表了语音特征向量的序列，这样可以推导出模型所经过的状态序列。这些状态包括情感表达中的各中间步骤，每个状态在输出向量上都有一个概率分布。状态序列是我们能够预测正在试图分类的情感状态，这也是语音情感识别中最为常用的技术之一。
* HMMs：一种统计马尔可夫模型，其中的状态和状态转变不能直接用于观测。相反，依赖于状态的一系列输出是可见的。在情感识别领域，输出代表了语音特征向量的序列，这样可以推导出模型所经过的状态序列。这些状态包括情感表达中的各中间步骤，每个状态在输出向量上都有一个概率分布。状态序列是我们能够预测正在试图分类的情感状态，这也是语音情感识别中最为常用的技术之一。
研究证明，如果有足够的声音样本，人的情感可以被大多数主流分类器所正确分类。分类器模型由三个主要分类器组合而成: kNN、 C4.5和 SVM-RBF 核。该分类器比单独采集的基本分类器具有更好的分类性能。另外两组分类器为：1）具有混合内核的一对多 (OAA) 多类 SVM ，2）由C5.0 和神经网络两个基本分类器组成的分类器组，所提出的变体比这两组分类器有更好的性能<ref name=":13">{{cite journal|url=http://ntv.ifmo.ru/en/article/11200/raspoznavanie_i_prognozirovanie_dlitelnyh__emociy_v_rechi_(na_angl._yazyke).htm|title=Extended speech emotion recognition and prediction|author=S.E. Khoruzhnikov|journal=Scientific and Technical Journal of Information Technologies, Mechanics and Optics|volume=14|issue=6|page=137|year=2014|display-authors=etal}}</ref>。
研究证明，如果有足够的声音样本，人的情感可以被大多数主流分类器所正确分类。分类器模型由三个主要分类器组合而成: kNN、 C4.5和 SVM-RBF 核。该分类器比单独采集的基本分类器具有更好的分类性能。另外两组分类器为：1）具有混合内核的一对多 (OAA) 多类 SVM ，2）由C5.0 和神经网络两个基本分类器组成的分类器组，所提出的变体比这两组分类器有更好的性能<ref name=":13">{{cite journal|url=http://ntv.ifmo.ru/en/article/11200/raspoznavanie_i_prognozirovanie_dlitelnyh__emociy_v_rechi_(na_angl._yazyke).htm|title=Extended speech emotion recognition and prediction|author=S.E. Khoruzhnikov|journal=Scientific and Technical Journal of Information Technologies, Mechanics and Optics|volume=14|issue=6|page=137|year=2014|display-authors=etal}}</ref>。
==== 数据库 ====
==== 数据库 ====
绝大多数现有系统都依赖于数据。 选择一个恰当的数据库来训练分类器因而成为语音情感识别的首要问题。 目前拥有的大部分数据都是从演员那里获得的，都是一些典型的情绪表现。这些所谓的行为数据库通常是基于基本情绪理论(保罗 · 埃克曼) ，该理论假定存在六种基本情绪(愤怒、恐惧、厌恶、惊讶、喜悦、悲伤) ，其他情绪只是前者的混合体<ref name="Ekman, P. 1969">Ekman, P. & Friesen, W. V (1969). [http://www.communicationcache.com/uploads/1/0/8/8/10887248/the-repertoire-of-nonverbal-behavior-categories-origins-usage-and-coding.pdf The repertoire of nonverbal behavior: Categories, origins, usage, and coding]. Semiotica, 1, 49–98.</ref>。尽管如此，这仍然提供较高的音质和均衡的类别（尽管通常太少），有助于提高识别情绪的成功率。
然而，对于现实生活应用，自然数据是首选的。自然数据库可以通过在自然环境中观察和分析对象来产生。最终，自然数据库会帮助系统识别情境下的情绪，也可以用来发现交互的目标和结果。由于这类数据的自然性，可以真实自然地反映'''人机交互'''下的情感状态，也就可以应用于现实生活中的系统实现。
然而，对于现实生活应用，自然数据是首选的。自然数据库可以通过在自然环境中观察和分析对象来产生。最终，自然数据库会帮助系统识别情境下的情绪，也可以用来发现交互的目标和结果。由于这类数据的自然性，可以真实自然地反映'''人机交互'''下的情感状态，也就可以应用于现实生活中的系统实现。
尽管自然数据比表演数据具有许多优势，但很难获得并且通常情绪强度较低。此外，由于环境噪声的存在、人员与麦克风的距离较远，在自然环境中获得的数据具有较低的信号质量。埃尔朗根-纽约堡大学的AIBO情感资料库（FAU Aibo Emotion Corpus for CEICES, CEICES: Combining Efforts for Improving Automatic Classification of Emotional User States）是建立'''自然情感数据库'''的首次尝试，其采集基于10—13岁儿童与索尼AIBO宠物机器人玩耍的真实情境。<ref name="Steidl-2011">{{cite web | last = Steidl | first = Stefan | title = FAU Aibo Emotion Corpus | publisher = Pattern Recognition Lab | date = 5 March 2011 | url = http://www5.cs.fau.de/de/mitarbeiter/steidl-stefan/fau-aibo-emotion-corpus/ }}</ref>同样，在情感研究领域，建立任何一个标准数据库，都需要提供评估方法，以比较不同情感识别系统的差异。
尽管自然数据比表演数据具有许多优势，但很难获得并且通常情绪强度较低。此外，由于环境噪声的存在、人员与麦克风的距离较远，在自然环境中获得的数据具有较低的信号质量。埃尔朗根-纽约堡大学的AIBO情感资料库（FAU Aibo Emotion Corpus for CEICES, CEICES: Combining Efforts for Improving Automatic Classification of Emotional User States）是建立'''自然情感数据库'''的首次尝试，其采集基于10—13岁儿童与索尼AIBO宠物机器人玩耍的真实情境。<ref name="Steidl-2011">{{cite web | last = Steidl | first = Stefan | title = FAU Aibo Emotion Corpus | publisher = Pattern Recognition Lab | date = 5 March 2011 | url = http://www5.cs.fau.de/de/mitarbeiter/steidl-stefan/fau-aibo-emotion-corpus/ }}</ref>同样，在情感研究领域，建立任何一个标准数据库，都需要提供评估方法，以比较不同情感识别系统的差异。
==== 语音叙词 ====
==== 语音叙词 ====
* 尾音下降（Final lowering）：一段话末尾频率下降的多少。
* 尾音下降（Final lowering）：一段话末尾频率下降的多少。
* 音域（Pitch range）：一段话语的最高和最低频率之间的差距。
* 音域（Pitch range）：一段话语的最高和最低频率之间的差距。
# 时间相关特征:
* 语速（Speech rate）：单位时间内发出词数或音节数。
* 语速（Speech rate）：单位时间内发出词数或音节数。
* 重音频率（Stress frequency）：重读发生的频率
* 重音频率（Stress frequency）：重读发生的频率
# 音质参数和能量叙词:
* 呼吸音（Breathiness）：说话中的呼吸噪声
* 呼吸音（Breathiness）：说话中的呼吸噪声
* 亮度（Brilliance）：语音中高频和低频的占比
* 亮度（Brilliance）：语音中高频和低频的占比
* 暂停不连续性（Pause Discontinuity）：描述声音和静音之间的转换
* 暂停不连续性（Pause Discontinuity）：描述声音和静音之间的转换
* 音调不连续性（Pitch Discontinuity）：描述基本频率的转换。
* 音调不连续性（Pitch Discontinuity）：描述基本频率的转换。
=== 面部情感检测 ===
=== 面部情感检测 ===
面部表情的检测和处理通过[[wikipedia:Optical_flow|'''光流''']]、'''隐马尔可夫模型'''、'''神经网络'''或'''主动外观模型'''等多种方法实现。可以组合或融合多种模态（多模态识别，例如面部表情和语音韵律<ref name="face-prosody">{{cite conference | url = http://www.image.ece.ntua.gr/php/savepaper.php?id=447 | first1 = G. | last1 = Caridakis | first2 = L. | last2 = Malatesta | first3 = L. | last3 = Kessous | first4 = N. | last4 = Amir | first5 = A. | last5 = Raouzaiou | first6 = K. | last6 = Karpouzis | title = Modeling naturalistic affective states via facial and vocal expressions recognition | conference = International Conference on Multimodal Interfaces (ICMI'06) | location = Banff, Alberta, Canada | date = November 2–4, 2006 }}</ref>、面部表情和手势<ref name="face-gesture">{{cite book | chapter-url = http://www.image.ece.ntua.gr/php/savepaper.php?id=334 | first1 = T. | last1 = Balomenos | first2 = A. | last2 = Raouzaiou | first3 = S. | last3 = Ioannou | first4 = A. | last4 = Drosopoulos | first5 = K. | last5 = Karpouzis | first6 = S. | last6 = Kollias | chapter = Emotion Analysis in Man-Machine Interaction Systems | editor1-first = Samy | editor1-last = Bengio | editor2-first = Herve | editor2-last = Bourlard | title = Machine Learning for Multimodal Interaction | series = Lecture Notes in Computer Science| volume = 3361| year = 2004 | pages = 318–328 | publisher = Springer-Verlag }}</ref>，或用于多模态数据和元数据分析的带有语音和文本的面部表情），以提供对受试者情绪的更可靠估计。Affectiva 是一家与情感计算直接相关的公司(由 Rosalind Picard 和 Rana El Kaliouby 共同创办) ，旨在研究面部情感检测的解决方案和软件。
面部表情的检测和处理通过[[wikipedia:Optical_flow|'''光流''']]、'''隐马尔可夫模型'''、'''神经网络'''或'''主动外观模型'''等多种方法实现。可以组合或融合多种模态（多模态识别，例如面部表情和语音韵律<ref name="face-prosody">{{cite conference | url = http://www.image.ece.ntua.gr/php/savepaper.php?id=447 | first1 = G. | last1 = Caridakis | first2 = L. | last2 = Malatesta | first3 = L. | last3 = Kessous | first4 = N. | last4 = Amir | first5 = A. | last5 = Raouzaiou | first6 = K. | last6 = Karpouzis | title = Modeling naturalistic affective states via facial and vocal expressions recognition | conference = International Conference on Multimodal Interfaces (ICMI'06) | location = Banff, Alberta, Canada | date = November 2–4, 2006 }}</ref>、面部表情和手势<ref name="face-gesture">{{cite book | chapter-url = http://www.image.ece.ntua.gr/php/savepaper.php?id=334 | first1 = T. | last1 = Balomenos | first2 = A. | last2 = Raouzaiou | first3 = S. | last3 = Ioannou | first4 = A. | last4 = Drosopoulos | first5 = K. | last5 = Karpouzis | first6 = S. | last6 = Kollias | chapter = Emotion Analysis in Man-Machine Interaction Systems | editor1-first = Samy | editor1-last = Bengio | editor2-first = Herve | editor2-last = Bourlard | title = Machine Learning for Multimodal Interaction | series = Lecture Notes in Computer Science| volume = 3361| year = 2004 | pages = 318–328 | publisher = Springer-Verlag }}</ref>，或用于多模态数据和元数据分析的带有语音和文本的面部表情），以提供对受试者情绪的更可靠估计。Affectiva 是一家与情感计算直接相关的公司(由 Rosalind Picard 和 Rana El Kaliouby 共同创办) ，旨在研究面部情感检测的解决方案和软件。
==== 面部表情数据库 ====
==== 面部表情数据库 ====
研究人员使用三种类型的数据库：峰值表情数据库、中性到峰值的情绪图像序列数据库以及带有情绪注释的视频片段。面部表情数据库是面部表情识别领域的一个重要研究课题，两个广泛使用的数据库是 CK+和 JAFFE。
研究人员使用三种类型的数据库：峰值表情数据库、中性到峰值的情绪图像序列数据库以及带有情绪注释的视频片段。面部表情数据库是面部表情识别领域的一个重要研究课题，两个广泛使用的数据库是 CK+和 JAFFE。
==== 情感分类 ====
==== 情感分类 ====
* 羞耻
* 羞耻
==== 面部行为编码系统 ====
==== 面部行为编码系统 ====
| 蔑视 || R12A+R14A
| 蔑视 || R12A+R14A
|}
|}
==== 面部情感检测的挑战 ====
==== 面部情感检测的挑战 ====
正如计算领域的多数问题一样，在面部情感检测研究中，也有很多障碍需要克服，以便充分释放算法和方法的全部潜力。在几乎所有基于人工智能的检测(语音识别、人脸识别、情感识别)的早期，建模和跟踪的准确性一直是个问题。随着硬件的发展，数据集的完善，新的发现和新的实践的引入，准确性问题逐渐被解决，留下了噪音问题。现有的去噪方法包括'''[https://baike.baidu.com/item/%E7%9B%B8%E9%82%BB%E5%B9%B3%E5%9D%87%E6%B3%95/9807406 邻域平均法]'''、'''线性高斯平滑法'''、'''[https://zh.wikipedia.org/wiki/%E4%B8%AD%E5%80%BC%E6%BB%A4%E6%B3%A2%E5%99%A8 中值滤波法]'''，或者更新的方法如'''菌群优化算法'''。
正如计算领域的多数问题一样，在面部情感检测研究中，也有很多障碍需要克服，以便充分释放算法和方法的全部潜力。在几乎所有基于人工智能的检测(语音识别、人脸识别、情感识别)的早期，建模和跟踪的准确性一直是个问题。随着硬件的发展，数据集的完善，新的发现和新的实践的引入，准确性问题逐渐被解决，留下了噪音问题。现有的去噪方法包括'''[https://baike.baidu.com/item/%E7%9B%B8%E9%82%BB%E5%B9%B3%E5%9D%87%E6%B3%95/9807406 邻域平均法]'''、'''线性高斯平滑法'''、'''[https://zh.wikipedia.org/wiki/%E4%B8%AD%E5%80%BC%E6%BB%A4%E6%B3%A2%E5%99%A8 中值滤波法]'''，或者更新的方法如'''菌群优化算法'''。
其他问题：
其他问题：
* FACS 组合与心理学家最初提出的情绪并不是一一对应的（这种缺乏 1:1 映射的情况也发生在具有同音异义词和许多其他歧义来源的语音识别中，可能通过引入其他信息渠道来缓解）。
* FACS 组合与心理学家最初提出的情绪并不是一一对应的（这种缺乏 1:1 映射的情况也发生在具有同音异义词和许多其他歧义来源的语音识别中，可能通过引入其他信息渠道来缓解）。
* 通过添加上下文提高了识别的准确性; 然而，添加上下文和其他模式增加了计算成本和复杂性
* 通过添加上下文提高了识别的准确性; 然而，添加上下文和其他模式增加了计算成本和复杂性
=== 身体姿势 ===
=== 身体姿势 ===
身体姿态检测已经提出了许多方法<ref name="JK">J. K. Aggarwal, Q. Cai, Human Motion Analysis: A Review, Computer Vision and Image Understanding, Vol. 73, No. 3, 1999</ref> 。 一些文献提出了姿势识别的两种不同方法：基于 3D 模型和基于外观<ref name="Vladimir">{{cite journal | first1 = Vladimir I. | last1 = Pavlovic | first2 = Rajeev | last2 = Sharma | first3 = Thomas S. | last3 = Huang | url = http://www.cs.rutgers.edu/~vladimir/pub/pavlovic97pami.pdf | title = Visual Interpretation of Hand Gestures for Human–Computer Interaction: A Review | journal = IEEE Transactions on Pattern Analysis and Machine Intelligence | volume = 19 | issue = 7 | pages = 677–695 | year = 1997 | doi = 10.1109/34.598226 }}</ref>。最重要的方法是利用人体关键部位的三维信息，获得手掌位置、关节角度等重要参数。另一方面，基于外观的系统直接使用图像或视频进行解释。手势一直是身体姿态检测方法的共同焦点<ref name="Vladimir" />。
身体姿态检测已经提出了许多方法<ref name="JK">J. K. Aggarwal, Q. Cai, Human Motion Analysis: A Review, Computer Vision and Image Understanding, Vol. 73, No. 3, 1999</ref> 。 一些文献提出了姿势识别的两种不同方法：基于 3D 模型和基于外观<ref name="Vladimir">{{cite journal | first1 = Vladimir I. | last1 = Pavlovic | first2 = Rajeev | last2 = Sharma | first3 = Thomas S. | last3 = Huang | url = http://www.cs.rutgers.edu/~vladimir/pub/pavlovic97pami.pdf | title = Visual Interpretation of Hand Gestures for Human–Computer Interaction: A Review | journal = IEEE Transactions on Pattern Analysis and Machine Intelligence | volume = 19 | issue = 7 | pages = 677–695 | year = 1997 | doi = 10.1109/34.598226 }}</ref>。最重要的方法是利用人体关键部位的三维信息，获得手掌位置、关节角度等重要参数。另一方面，基于外观的系统直接使用图像或视频进行解释。手势一直是身体姿态检测方法的共同焦点<ref name="Vladimir" />。
=== 生理检测 ===
=== 生理检测 ===
生理信号可用于检测和分析情绪状态。这些生理信号通常包括脉搏、心率、面部肌肉每分钟收缩频率等。这个领域的发展势头越来越强劲，并且已经有了应用这些技术的实际产品。通常被分析的4个主要生理特征是'''血容量脉冲'''、'''皮肤电反应'''、'''面部肌电图'''和面部颜色。
生理信号可用于检测和分析情绪状态。这些生理信号通常包括脉搏、心率、面部肌肉每分钟收缩频率等。这个领域的发展势头越来越强劲，并且已经有了应用这些技术的实际产品。通常被分析的4个主要生理特征是'''血容量脉冲'''、'''皮肤电反应'''、'''面部肌电图'''和面部颜色。
==== 血容量脉冲 ====
==== 血容量脉冲 ====
血容量脉搏(BVP)可以通过一个叫做光电容积扫描法的技术来测量，该方法产生一个图表来显示通过四肢的血液流动<ref name="Picard, Rosalind 1998">Picard, Rosalind (1998). Affective Computing. MIT.</ref>。记录峰值代表着心搏周期中血流被泵到肢体末端。当被试受到惊吓或感到害怕时，他们往往会心跳加速，导致心率加快，从而在光电容积描记图上可以清楚地看到波峰与波谷间的距离变小。被试平静下来后，血液流回末端，心率回归正常。
血容量脉搏(BVP)可以通过一个叫做光电容积扫描法的技术来测量，该方法产生一个图表来显示通过四肢的血液流动<ref name="Picard, Rosalind 1998">Picard, Rosalind (1998). Affective Computing. MIT.</ref>。记录峰值代表着心搏周期中血流被泵到肢体末端。当被试受到惊吓或感到害怕时，他们往往会心跳加速，导致心率加快，从而在光电容积描记图上可以清楚地看到波峰与波谷间的距离变小。被试平静下来后，血液流回末端，心率回归正常。
=====方法=====
=====方法=====
红外光通过特殊的传感器硬件照射在皮肤上，测量皮肤反射的光量。因为光线被血液中的血红蛋白吸收，所以反射光的数量与 BVP 相关。
=====劣势=====
=====劣势=====
确保发出红外光并监测反射光的传感器始终指向同一个末端可能很麻烦，尤其是观察对象经常伸展并重新调整其位置时。 还有其他因素会影响血容量脉冲，因为它是对通过四肢的血流量的量度，如果受试者感觉热，或特别冷，那么他们的身体可能允许更多或更少的血液流向四肢，所有这一切都与受试者的情绪状态无关。
确保发出红外光并监测反射光的传感器始终指向同一个末端可能很麻烦，尤其是观察对象经常伸展并重新调整其位置时。 还有其他因素会影响血容量脉冲，因为它是对通过四肢的血流量的量度，如果受试者感觉热，或特别冷，那么他们的身体可能允许更多或更少的血液流向四肢，所有这一切都与受试者的情绪状态无关。
[[File:Em-face-2.png|thumb|right| 皱眉肌和颧肌是用来测量面部肌电图电活动的两块主要肌肉。|链接=Special:FilePath/Em-face-2.png]]
==== 面部肌电图 ====
==== 面部肌电图 ====
面部肌电图是一种通过放大肌肉纤维收缩时产生的微小电脉冲来测量面部肌肉电活动的技术<ref name="Larsen JT 2003">Larsen JT, Norris CJ, Cacioppo JT, "[https://web.archive.org/web/20181030170423/https://pdfs.semanticscholar.org/c3a5/4bfbaaade376aee951fe8578e6436be59861.pdf Effects of positive and negative affect on electromyographic activity over zygomaticus major and corrugator supercilii]", (September 2003)</ref>。面部表达大量情绪，然而，有两个主要的面部肌肉群通常被研究来检测情绪： 皱眉肌和颧大肌。皱眉肌将眉毛向下拉成皱眉，因此是对消极的、不愉快的情绪反应的最好反映。当微笑时，颧大肌负责将嘴角向后拉，因此是用于测试积极情绪反应的肌肉。
面部肌电图是一种通过放大肌肉纤维收缩时产生的微小电脉冲来测量面部肌肉电活动的技术<ref name="Larsen JT 2003">Larsen JT, Norris CJ, Cacioppo JT, "[https://web.archive.org/web/20181030170423/https://pdfs.semanticscholar.org/c3a5/4bfbaaade376aee951fe8578e6436be59861.pdf Effects of positive and negative affect on electromyographic activity over zygomaticus major and corrugator supercilii]", (September 2003)</ref>。面部表达大量情绪，然而，有两个主要的面部肌肉群通常被研究来检测情绪： 皱眉肌和颧大肌。皱眉肌将眉毛向下拉成皱眉，因此是对消极的、不愉快的情绪反应的最好反映。当微笑时，颧大肌负责将嘴角向后拉，因此是用于测试积极情绪反应的肌肉。
[[File:Gsrplot.svg.png|500px|thumb|在这里，我们可以看到一张皮肤阻力的图，测量使用 GSR 和时间，同时受试者玩一个视频游戏。在图中有几个明显的峰值，这表明 GSR 是区分性唤起和非性唤起状态的一个很好的方法。例如，在游戏开始的时候，通常没有多少激动人心的游戏，但是有一个高水平的电阻记录，这意味着低水平的电导率，因此唤起较少。这与游戏中玩家被杀的突然低谷形成鲜明对比，因为玩家在游戏中被杀时通常会感到非常紧张。|链接=Special:FilePath/Gsrplot.svg]]
==== 皮肤电反应 ====
==== 皮肤电反应 ====
皮肤电反应(Galvanic skin response，GSR)是一个过时的术语，更一般的现象称为[Electrodermal Activity，皮肤电活动]或 EDA。EDA 是皮肤电特性改变的普遍现象。皮肤受交感神经支配，因此测量皮肤的电阻或电导率可以量化自主神经系统交感神经分支的细微变化。当汗腺被激活时，甚至在皮肤出汗之前，EDA 的水平就可以被捕获(通常使用电导) ，并用于辨别自主神经唤醒的微小变化。一个主体越兴奋，皮肤导电反应就越强烈<ref name="Picard, Rosalind 1998" />。
皮肤电反应(Galvanic skin response，GSR)是一个过时的术语，更一般的现象称为[Electrodermal Activity，皮肤电活动]或 EDA。EDA 是皮肤电特性改变的普遍现象。皮肤受交感神经支配，因此测量皮肤的电阻或电导率可以量化自主神经系统交感神经分支的细微变化。当汗腺被激活时，甚至在皮肤出汗之前，EDA 的水平就可以被捕获(通常使用电导) ，并用于辨别自主神经唤醒的微小变化。一个主体越兴奋，皮肤导电反应就越强烈<ref name="Picard, Rosalind 1998" />。
皮肤导电反应通常是通过放置在皮肤某处的小型氯化银电极并在两者之间施加一个小电压来测量的。为了最大限度地舒适和减少刺激，电极可以放在手腕、腿上或脚上，这样手就可以完全自由地进行日常活动。
皮肤导电反应通常是通过放置在皮肤某处的小型氯化银电极并在两者之间施加一个小电压来测量的。为了最大限度地舒适和减少刺激，电极可以放在手腕、腿上或脚上，这样手就可以完全自由地进行日常活动。
==== 面部颜色 ====
==== 面部颜色 ====
人脸表面由大量血管网络支配。 这些血管中的血流变化会在脸上产生可见的颜色变化。 无论面部情绪是否激活面部肌肉，都会发生血流量、血压、血糖水平和其他变化。 此外，面部颜色信号与面部肌肉运动提供的信号无关<ref name="face">Carlos F. Benitez-Quiroz, Ramprakash Srinivasan, Aleix M. Martinez, [https://www.pnas.org/content/115/14/3581 Facial color is an efficient mechanism to visually transmit emotion], PNAS. April 3, 2018 115 (14) 3581–3586; first published March 19, 2018 https://doi.org/10.1073/pnas.1716084115.</ref>。
人脸表面由大量血管网络支配。 这些血管中的血流变化会在脸上产生可见的颜色变化。 无论面部情绪是否激活面部肌肉，都会发生血流量、血压、血糖水平和其他变化。 此外，面部颜色信号与面部肌肉运动提供的信号无关<ref name="face">Carlos F. Benitez-Quiroz, Ramprakash Srinivasan, Aleix M. Martinez, [https://www.pnas.org/content/115/14/3581 Facial color is an efficient mechanism to visually transmit emotion], PNAS. April 3, 2018 115 (14) 3581–3586; first published March 19, 2018 https://doi.org/10.1073/pnas.1716084115.</ref>。
===== 方法 =====
===== 方法 =====
方法主要基于面部颜色的变化。 Delaunay 三角剖分用于创建三角形局部区域。 其中一些三角形定义了嘴和眼睛的内部(巩膜和虹膜)， 使用左三角区域的像素来创建特征向量<ref name="face" />。它表明，将标准 RGB 颜色空间的像素颜色转换为 oRGB 颜色空间<ref name="orgb">M. Bratkova, S. Boulos, and P. Shirley, [https://ieeexplore.ieee.org/document/4736456 oRGB: a practical opponent color space for computer graphics], IEEE Computer Graphics and Applications, 29(1):42–55, 2009.</ref>或 LMS 通道等颜色空间在处理人脸时表现更好<ref name="mec">Hadas Shahar, Hagit Hel-Or, [http://openaccess.thecvf.com/content_ICCVW_2019/papers/CVPM/Shahar_Micro_Expression_Classification_using_Facial_Color_and_Deep_Learning_Methods_ICCVW_2019_paper.pdf Micro Expression Classification using Facial Color and Deep Learning Methods], The IEEE International Conference on Computer Vision (ICCV), 2019, pp. 0–0.</ref>。因此，将上面的矢量映射到较好的颜色空间，并分解为红绿色和黄蓝色通道。然后使用深度学习的方法来找到等效的情绪。
方法主要基于面部颜色的变化。 Delaunay 三角剖分用于创建三角形局部区域。 其中一些三角形定义了嘴和眼睛的内部(巩膜和虹膜)， 使用左三角区域的像素来创建特征向量<ref name="face" />。它表明，将标准 RGB 颜色空间的像素颜色转换为 oRGB 颜色空间<ref name="orgb">M. Bratkova, S. Boulos, and P. Shirley, [https://ieeexplore.ieee.org/document/4736456 oRGB: a practical opponent color space for computer graphics], IEEE Computer Graphics and Applications, 29(1):42–55, 2009.</ref>或 LMS 通道等颜色空间在处理人脸时表现更好<ref name="mec">Hadas Shahar, Hagit Hel-Or, [http://openaccess.thecvf.com/content_ICCVW_2019/papers/CVPM/Shahar_Micro_Expression_Classification_using_Facial_Color_and_Deep_Learning_Methods_ICCVW_2019_paper.pdf Micro Expression Classification using Facial Color and Deep Learning Methods], The IEEE International Conference on Computer Vision (ICCV), 2019, pp. 0–0.</ref>。因此，将上面的矢量映射到较好的颜色空间，并分解为红绿色和黄蓝色通道。然后使用深度学习的方法来找到等效的情绪。
=== 视觉审美 ===
=== 视觉审美 ===
美学，在艺术和摄影界，是指美的本质和欣赏原则。 对美和其他审美特质的判断是一项高度主观的任务。 宾夕法尼亚州立大学的计算机科学家将自动评价图像的审美特质视作机器学习的一大挑战，他们将一个同行评级的在线照片分享网站作为数据源<ref name="datta">Ritendra Datta, Dhiraj Joshi, Jia Li and James Z. Wang, [https://web.archive.org/web/20181030170421/https://pdfs.semanticscholar.org/8772/877ceb40d6d8685655145034740f3df7baad.pdf Studying Aesthetics in Photographic Images Using a Computational Approach], Lecture Notes in Computer Science, vol. 3953, Proceedings of the European Conference on Computer Vision, Part III, pp. 288–301, Graz, Austria, May 2006.</ref>，从中抽取了特定的视觉特征，可以区分审美上的愉悦与否。
美学，在艺术和摄影界，是指美的本质和欣赏原则。 对美和其他审美特质的判断是一项高度主观的任务。 宾夕法尼亚州立大学的计算机科学家将自动评价图像的审美特质视作机器学习的一大挑战，他们将一个同行评级的在线照片分享网站作为数据源<ref name="datta">Ritendra Datta, Dhiraj Joshi, Jia Li and James Z. Wang, [https://web.archive.org/web/20181030170421/https://pdfs.semanticscholar.org/8772/877ceb40d6d8685655145034740f3df7baad.pdf Studying Aesthetics in Photographic Images Using a Computational Approach], Lecture Notes in Computer Science, vol. 3953, Proceedings of the European Conference on Computer Vision, Part III, pp. 288–301, Graz, Austria, May 2006.</ref>，从中抽取了特定的视觉特征，可以区分审美上的愉悦与否。
== 潜在应用 ==
== 潜在应用 ==
=== 教育 ===
=== 教育 ===
情感影响学习者的学习状态。利用情感计算技术，计算机可以通过学习者的面部表情识别来判断学习者的情感和学习状态。在教学中，教师可以利用分析结果了解学生的学习和接受能力，制定合理的教学计划。同时关注学生的内心感受，有利于学生的心理健康。特别是在远程教育中，由于时间和空间的分离，师生之间缺乏双向交流的情感激励。没有了传统课堂学习带来的氛围，学生很容易感到无聊，影响学习效果。将情感计算应用于远程教育系统可以有效地改善这种状况<ref name=":18">http://www.learntechlib.org/p/173785/</ref>。
=== 医疗 ===
=== 医疗 ===
社会机器人，以及越来越多的机器人在医疗保健中的应用都受益于情感意识，因为它们可以更好地判断用户和病人的情感状态，并适当地改变他们的行为。在人口老龄化日益严重和缺乏年轻工人的国家，这一点尤为重要<ref name=":19">{{Cite book|title=Heart of the Machine: Our Future in a World of Artificial Emotional Intelligence|last=Yonck|first=Richard|publisher=Arcade Publishing|year=2017|location=New York|pages=150–153}}</ref>。
社会机器人，以及越来越多的机器人在医疗保健中的应用都受益于情感意识，因为它们可以更好地判断用户和病人的情感状态，并适当地改变他们的行为。在人口老龄化日益严重和缺乏年轻工人的国家，这一点尤为重要<ref name=":19">{{Cite book|title=Heart of the Machine: Our Future in a World of Artificial Emotional Intelligence|last=Yonck|first=Richard|publisher=Arcade Publishing|year=2017|location=New York|pages=150–153}}</ref>。
情感计算也被应用于交流技术的发展，以供孤独症患者使用<ref name=":20">[http://affect.media.mit.edu/projects.php Projects in Affective Computing]</ref>。情感计算项目文本中的情感成分也越来越受到关注，特别是它在所谓的情感或'''情感互联网'''中的作用<ref name=":21">Shanahan, James; Qu, Yan; Wiebe, Janyce (2006). ''Computing Attitude and Affect in Text: Theory and Applications''. Dordrecht: Springer Science & Business Media. p. 94.</ref>。
情感计算也被应用于交流技术的发展，以供孤独症患者使用<ref name=":20">[http://affect.media.mit.edu/projects.php Projects in Affective Computing]</ref>。情感计算项目文本中的情感成分也越来越受到关注，特别是它在所谓的情感或'''情感互联网'''中的作用<ref name=":21">Shanahan, James; Qu, Yan; Wiebe, Janyce (2006). ''Computing Attitude and Affect in Text: Theory and Applications''. Dordrecht: Springer Science & Business Media. p. 94.</ref>。
=== 电子游戏 ===
=== 电子游戏 ===
其他潜在的应用主要围绕社会监控。例如，一辆汽车可以监控所有乘客的情绪，并采取额外的安全措施。如果发现司机生气，就向其他车辆发出警报<ref name=":27">{{cite web|url=https://gizmodo.com/in-car-facial-recognition-detects-angry-drivers-to-prev-1543709793|title=In-Car Facial Recognition Detects Angry Drivers To Prevent Road Rage|date=30 August 2018|website=Gizmodo}}</ref> 。情感计算在人机交互方面有着潜在的应用，比如情感镜子可以让用户看到自己的表现; 情感监控代理在发送愤怒邮件之前发送警告; 甚至音乐播放器可以根据情绪选择音轨<ref name=":28">{{cite journal|last1=Janssen|first1=Joris H.|last2=van den Broek|first2=Egon L.|date=July 2012|title=Tune in to Your Emotions: A Robust Personalized Affective Music Player|journal=User Modeling and User-Adapted Interaction|volume=22|issue=3|pages=255–279|doi=10.1007/s11257-011-9107-7|doi-access=free}}</ref>。
其他潜在的应用主要围绕社会监控。例如，一辆汽车可以监控所有乘客的情绪，并采取额外的安全措施。如果发现司机生气，就向其他车辆发出警报<ref name=":27">{{cite web|url=https://gizmodo.com/in-car-facial-recognition-detects-angry-drivers-to-prev-1543709793|title=In-Car Facial Recognition Detects Angry Drivers To Prevent Road Rage|date=30 August 2018|website=Gizmodo}}</ref> 。情感计算在人机交互方面有着潜在的应用，比如情感镜子可以让用户看到自己的表现; 情感监控代理在发送愤怒邮件之前发送警告; 甚至音乐播放器可以根据情绪选择音轨<ref name=":28">{{cite journal|last1=Janssen|first1=Joris H.|last2=van den Broek|first2=Egon L.|date=July 2012|title=Tune in to Your Emotions: A Robust Personalized Affective Music Player|journal=User Modeling and User-Adapted Interaction|volume=22|issue=3|pages=255–279|doi=10.1007/s11257-011-9107-7|doi-access=free}}</ref>。
罗马尼亚研究人员尼库 · 塞贝博士在一次采访中提出的一个想法是，当一个人使用某种产品时，对他的面部进行分析(他提到了冰淇淋作为一个例子)<ref name=":29">{{cite web|url=https://www.sciencedaily.com/videos/2006/0811-mona_lisa_smiling.htm|title=Mona Lisa: Smiling? Computer Scientists Develop Software That Evaluates Facial Expressions|date=1 August 2006|website=ScienceDaily|archive-url=https://web.archive.org/web/20071019235625/http://sciencedaily.com/videos/2006/0811-mona_lisa_smiling.htm|archive-date=19 October 2007|url-status=dead}}</ref> ，公司就能够利用这种分析来推断他们的产品是否会受到各自市场的欢迎。
罗马尼亚研究人员尼库 · 塞贝博士在一次采访中提出的一个想法是，当一个人使用某种产品时，对他的面部进行分析(他提到了冰淇淋作为一个例子)<ref name=":29">{{cite web|url=https://www.sciencedaily.com/videos/2006/0811-mona_lisa_smiling.htm|title=Mona Lisa: Smiling? Computer Scientists Develop Software That Evaluates Facial Expressions|date=1 August 2006|website=ScienceDaily|archive-url=https://web.archive.org/web/20071019235625/http://sciencedaily.com/videos/2006/0811-mona_lisa_smiling.htm|archive-date=19 October 2007|url-status=dead}}</ref> ，公司就能够利用这种分析来推断他们的产品是否会受到各自市场的欢迎。
人们也可以利用情感状态识别来判断电视广告的影响，通过实时录像和随后对人们面部表情的研究，之后对大量主题的结果进行平均，我们就能知道这个广告(或电影)是否达到了预期的效果，以及观众最感兴趣的元素是什么。
人们也可以利用情感状态识别来判断电视广告的影响，通过实时录像和随后对人们面部表情的研究，之后对大量主题的结果进行平均，我们就能知道这个广告(或电影)是否达到了预期的效果，以及观众最感兴趣的元素是什么。
== 认知主义与交互方法之争 ==
== 认知主义与交互方法之争 ==
交互方法断言，虽然情绪具有生物物理性，但它是“以文化为基础的，动态体验的，并在某种程度上构建于行动和互动中”<ref name="How emotion is made and measured" />。换句话说，它认为“情感是一种通过我们的互动体验到的社会和文化产物”<ref name=":31">{{cite journal|last1=Boehner|first1=Kirsten|last2=DePaula|first2=Rogerio|last3=Dourish|first3=Paul|last4=Sengers|first4=Phoebe|title=Affection: From Information to Interaction|journal=Proceedings of the Aarhus Decennial Conference on Critical Computing|date=2005|pages=59–68}}</ref><ref name="How emotion is made and measured" /><ref name=":32">{{cite journal|last1=Hook|first1=Kristina|last2=Staahl|first2=Anna|last3=Sundstrom|first3=Petra|last4=Laaksolahti|first4=Jarmo|title=Interactional empowerment|journal=Proc. CHI|date=2008|pages=647–656|url=http://research.microsoft.com/en-us/um/cambridge/projects/hci2020/pdf/interactional%20empowerment%20final%20Jan%2008.pdf}}</ref>。
交互方法断言，虽然情绪具有生物物理性，但它是“以文化为基础的，动态体验的，并在某种程度上构建于行动和互动中”<ref name="How emotion is made and measured" />。换句话说，它认为“情感是一种通过我们的互动体验到的社会和文化产物”<ref name=":31">{{cite journal|last1=Boehner|first1=Kirsten|last2=DePaula|first2=Rogerio|last3=Dourish|first3=Paul|last4=Sengers|first4=Phoebe|title=Affection: From Information to Interaction|journal=Proceedings of the Aarhus Decennial Conference on Critical Computing|date=2005|pages=59–68}}</ref><ref name="How emotion is made and measured" /><ref name=":32">{{cite journal|last1=Hook|first1=Kristina|last2=Staahl|first2=Anna|last3=Sundstrom|first3=Petra|last4=Laaksolahti|first4=Jarmo|title=Interactional empowerment|journal=Proc. CHI|date=2008|pages=647–656|url=http://research.microsoft.com/en-us/um/cambridge/projects/hci2020/pdf/interactional%20empowerment%20final%20Jan%2008.pdf}}</ref>。
==另外参阅==
==另外参阅==
{{Columns-list|colwidth=30em|
{{Columns-list|colwidth=30em|
* Sentiment analysis
* Sentiment analysis
* Wearable computer}}
* Wearable computer}}
==其他资源==
==其他资源==
*[https://web.archive.org/web/20110201001124/http://www.computer.org/portal/web/tac IEEE Transactions on Affective Computing] ''(TAC)''
*[https://web.archive.org/web/20110201001124/http://www.computer.org/portal/web/tac IEEE Transactions on Affective Computing] ''(TAC)''
*[http://opensmile.sourceforge.net/ openSMILE: popular state-of-the-art open-source toolkit for large-scale feature extraction for affect recognition and computational paralinguistics]
*[http://opensmile.sourceforge.net/ openSMILE: popular state-of-the-art open-source toolkit for large-scale feature extraction for affect recognition and computational paralinguistics]
* Affective Computing Research Group at the MIT Media Laboratory
* Affective Computing Research Group at the MIT Media Laboratory
* Computational Emotion Group at USC
* Computational Emotion Group at USC
* openSMILE: 流行的最先进的开源工具包，用于大规模的情感识别和计算语言学特征提取
* openSMILE: 流行的最先进的开源工具包，用于大规模的情感识别和计算语言学特征提取
==参考文献==
==参考文献==