• Summary

Abstract

멀티모달 감성 분석(Multimodal Sentiment Analysis, MSA)은 여러 소스 데이터(언어, 비디오, 오디오 등)에서 풍부한 정보를 활용하여 효과적임을 입증했음에도 불구하고, 감성과 관련이 없거나 서로 모순되는 정보가 각 양식 간에 존재하는 경우 등이 성능 향상을 방해하고 있는 요소로 작용하고 있다. 이러한 문제를 해결하기 위해, Adaptive Language-guided Multimodal Transformer (ALMT) 모델을 제안한다. ALMT는 다양한 scale의 language features의 지도를 받아 시각 및 오디오 features로부터 irrelevance/conflict 억제 표현을 학습하는 Adaptive Hyper-modality Learning (AHL) 모듈을 통합한다.

• 연구 배경

  • 멀티모달 감성 분석(MSA)는 여러 데이터 속에 있는 감정을 인식하는 것을 목표로 함
  • 단일모달 방법과 비교하였을 때, MSA는 서로 다른 모달리티 간의 관계를 활용함으로써 일반적으로 더욱 robust한 성능을 보임

• 기존 연구

  • 최근 대부분의 MSA 방법은 두 가지 카테고리로 구분가능
    • Representation learning-centered methods
      • 주로 풍부하고 다양한 인간 감정 단서를 포함하는 정제된 모달리티의 의미를 학습하는데 중점을 둠
    • Multimodal fusion-centered methods
      • 멀티모달 데이터의 joint representation을 얻기위한 정교한 방법론을 탐구하는데 중점을 둠

  ⇒ 하지만, 이전 연구 중 각 모달리티 데이터가 최종 결과에 어느 정도의 영향을 미치는지 확인하는 ablation study를 통해 거의 대부분이 text 기반의 데이터가 차지하고 있음을 확인했다. 하지만 저자들은 text외의 데이터들은 감성 분석을 방해하는 noisy한 요소들이 많이 있었기 때문이라고 주장한다.

• 제안 방법

  • Adaptive Language-guided Multimodal Transformer (ALMT) 모델 제안
    • 시각과 오디오 모달리티내에 있는 noisy한 정보(혼란스러운 정보?)의 부정적인 영향을 해결하기 위해 제안