arxiv.org

Abstract

Multimodal Sentiment Analysis (MSA)는 사용자의 감성을 추론하기 위해 멀티모달 데이터를 활용하는 태스크다. 기존 연구들은 각 모달리티 데이터의 기여도를 동일하게 취급하거나 텍스트 모달리티 데이터를 지배적인 모달리티로 하여 다른 모달리티와의 상호작용을 학습하는 방법론을 제안하였지만, 이런 연구들은 지배적인 모달리티가 다양하게 변화하는 상황은 고려하지 못하는 한계점이 존재한다. 본 연구에서는, MSA를 해결하기 위한 Knowledge-Guided Dynamic Modality Attention Fusion Framework (KuDA) 프레임워크를 제안한다. KuDA는 모델이 동적으로 지배적인 모달리티를 선택하고 각 모달리티의 기여도를 조절하기 위해 감성 지식(sentiment knowledge)를 사용한다. 게다가, 얻어진 멀티모달 표현을 활용하여, correlation evaluation loss를 통해 지배적인 모달리티의 기여도를 더욱 강조할 수 있도록 학습한다.

Introduction

• 다중 모달 감정 분석(MSA): 소셜 미디어의 여러 모달리티를 통해 감정을 분석하고 이해

• 최근 MSA 방법 두 가지:

  1. Ternary symmetric-based methods
     • 모든 모달리티의 기여를 동등하게 취급
     • 모달리티 간 양방향 관계를 모델링
  2. text center-based method
     • 텍스트를 주요 모달리티로 설정
     • 텍스트가 시각 및 오디오 모달리티와 상호작용하며 기여를 조정

• 두 방법의 공통점

  • 모달리티 간 중요성 분포를 고정된 상태로 간주

  • 지배적인 모달리티를 사전에 설정

    

• 특정 상황에서는 시각, 텍스트, 오디오 중 하나가 지배적인 모달리티가 될 수 있음(Figure 1 참고)

• 예: 첫 번째 샘플에서는 시각적 라벨이 전체 감정 라벨과 더 일치하여 지배적

• MSA 데이터셋 분석 결과, 이러한 상황은 흔히 발생(세부 통계는 Appendix A 참고).

• 문제점

  1. Ternary symmetric-based methods: 모달리티 간 중요성 차이를 고려하지 않아 지배적 모달리티가 달라질 때 적응 불가
  2. Text center-based method: 텍스트를 고정적으로 지배적 모달리티로 설정해, 다른 모달리티가 지배적일 경우 주의가 분산됨

• 제안된 방법: Knowledge-Guided Dynamic Modality Attention Fusion Framework (KuDA)

  • 지배적인 모달리티를 동적으로 선택하고 각 모달리티의 기여도를 조정해 모델 성능 향상 및 복잡한 상황에 적응

• 구체적인 과정

  1. Feature Extraction
     • BERT와 Transformer Encoders를 활용해 텍스트, 시각, 오디오 모달리티의 의미적 특징 추출
  2. Sentiment Knowledge Injection
     • Adapter와 decoder 통해 감정 단서를 추출하고 지배적 모달리티 선택을 가이드
  3. Dynamic attention fusion module
     • 감정 지식을 활용해 다중 모달 특징 간 유사한 감정 정보를 포착, 모달리티 간 attention weights 조정
  4. Noise-Contrastive Estimation
     • 다중 모달 특징과 단일 모달 특징 간 상관관계 평가를 통해 지배적 모달리티의 기여를 강조
  5. 감정 점수 예측
     • 다층 퍼셉트론(MLP)을 통해 최종 감정 점수 예측

• Main Contributions

  • KuDA를 통해 동적 모달리티 융합을 구현하여 성능 향상 및 다양한 시나리오에 적응 가능
  • 감정 지식을 활용한 동적 주의 융합 모듈 설계로 모달리티별 기여를 조정해 효과적인 감정 분석 수행

Methodology

Overall Architecture