随着社交媒体的广泛使用，在线评论的数量和影响力显著增加。调查显示，超过99%的用户在在线购买前会阅读评论（PowerReviews，2022年）。在旅游领域，TripAdvisor和Ctrip等平台记录了旅行者的丰富体验和意见。这类用户生成的内容不仅有助于研究旅行体验（Zhang, Cheng, & Ma, 2024）和目的地形象（Liu et al., 2024），还深刻反映了他们的真实情感波动。旅游研究证实，情感是贯穿整个旅行体验的核心因素（Prayag et al., 2013）。情感驱动着旅行前的决策（Goossens, 2000），动态影响旅行中的体验（Hosany et al., 2020），并最终决定旅行者的满意度和忠诚度（Yuksel et al., 2010）。因此，理解旅游评论中的情感可以提升用户参与度（Li et al., 2024），并为旅游企业带来直接的收入增长（Han et al., 2024）。
越来越多的旅行者发布包含文本和图像的多模态评论（Zhu et al., 2022）。结合文本和图像的情感表达可以更准确地预测酒店需求，并有效提升旅行者的满意度（Li et al., 2024; Xu et al., 2024）。多模态情感分析考虑了多模态在线评论中的文本和图像内容，从而更全面地捕捉旅行者的情感（Wei et al., 2023; Zhou et al., 2023）。在现有的多模态情感分析研究中，一些研究者已经充分探索了长短期记忆网络（Zadeh et al., 2018）、卷积神经网络（Yang, Feng, et al., 2020）和注意力机制（Li, Xu, et al., 2022）等技术在特征融合中的应用效果。然而，情感表达形式多样，不同旅行者之间存在差异。
不同的旅行者有不同的情绪表达方式（Collier & Collier, 2014; Kim & Sherman, 2007）。图1展示了具有不同情绪表达偏好的旅行者发布的在线评论的生动例子。具体来说，一位旅行者详细描述了他们的旅行体验，但在图1(a)中只随意拍摄了一张图片；相比之下，图1(b)展示了一位擅长用图片捕捉旅行中美好时刻的旅行者，而文字仅记录了公交车路线和票价等客观细节。还有一些旅行者不擅长通过图像或文字表达情感，他们习惯直接使用数字评分来表达整体情感倾向（Alantari et al., 2022）。基于此，我们将旅行者在情感叙述中表现出的不同情感表达媒介或形式的差异定义为旅行者的个性化情感表达异质性。在多模态情感分析研究中考虑不同旅行者的这种异质性是明智的。
认知风格理论（Messick, 1984）和双重编码理论（Paivio, 1990）的研究表明，个体在感知、思维和信息处理方面存在稳定差异。一些人更依赖语言模式进行认知和处理信息，而另一些人则偏好视觉表征（Koć-Januchta et al., 2017; Mayer & Massa, 2003）。为了捕捉旅行者在情感表达方面的个性化偏好差异，现有的情感分析研究提供了方法论基础。具体来说，从多模态评论中提取的数值属性可以反映语义内容的丰富性。
对于评论文本，较长且包含多方面语义信息的评论有助于模型构建更全面的语义特征（Yang, Yao, & Qazi, 2020），评论长度与评论情感倾向之间存在显著关系（Al-Natour & Turetken, 2020; Ghasemaghaei et al., 2018）。同样，对于评论图片，将图像美学评分纳入情感分析模型可以提高情感极性的分类性能（Sowmyayani & Rani, 2022; Yu et al., 2019）。高美学价值的图片传递了更多视觉信息，有助于模型分析旅行者的情感和意图（Joshi et al., 2011; Zhao et al., 2021）。除了文本和图像，评论评分还为那些通过文本和图像表达较少情感的旅行者提供了另一种情感指标，他们利用评分来传达整体情感倾向（Alantari et al., 2022; Zhang & Godes, 2018）。
因此，先前的研究表明，这些相关的数值属性能够反映不同旅行者的个性化情感表达偏好，可以被视为多模态情感异质性指标。然而，现有的多模态情感分析模型未能充分利用这些多模态情感异质性指标来有效整合旅行者在情感表达方面的多样化偏好。因此，我们的第一个研究目标是探讨在旅行者的个性化情感表达偏好中纳入异质性是否可以提高多模态情感分析的准确性。
除此之外，旅行场景的变化会改变旅行者的行为。先前的研究已经证实，不同类型旅行者和不同类型景点的旅行者之间存在行为差异（Karyatun et al., 2021; Radojevic et al., 2015），但尚不清楚这些行为差异是否也体现在旅行者的个性化情感表达偏好中。根据构念水平理论（Trope & Liberman, 2010），时间、空间和社会距离等因素会影响旅行者的心理距离，从而影响他们的信息处理和表达方式。不同的旅游场景（如旅行类型和景点类别）可能通过改变旅行者的心理距离来影响他们的情感表达形式。因此，我们将本研究的第二个研究目标设定为通过整合旅行类型和景点类别的异质性维度，探讨旅行者在不同旅游场景下的多模态情感表达变化。
本研究通过提出一种基于指标的注意力机制的多模态情感分析框架，做出了重要的方法论贡献。该框架根据旅行者的个性化情感表达偏好动态调整模型对不同模态的关注权重，从而有效捕捉旅行者表达的异质性，并实现高精度的多模态情感预测。此外，本研究首次提出并系统地概念化了旅行者个性化情感表达偏好中的异质性这一概念，这在认知风格理论（Messick, 1984）、双重编码理论（Paivio, 1990）和构念水平理论（Trope & Liberman, 2010）的基础上，深化了对旅行者情感表达的个性化与异质性的学术理解。最后，本研究通过整合旅行类型和景点类别的异质性，填补了现有旅游多模态情感分析研究中关于不同旅行场景下旅行者个性化情感表达差异理解的空白。我们发现，旅行者固有的表达习惯和外部场景因素共同塑造了他们的表达异质性，外部场景主要通过改变他们的心理距离来影响情感表达模式。
