Abstract

멀티모달 감성 분석(Multimodal Sentiment Analysis)는 비디오 컨텐츠 내의 감성을 분석하는 것을 목표로 한다. 최근 연구에 따르면, 다중 모달 감성 분석은 주요적으로 멀티모달 정보의 효과적인 표현을 학습하는 것에 달려있다는 점을 시사하고 있다. 본 연구에서, 멀티모달 정보의 표현력을 향상시키기 위해서 대조적 표현(Contrastive Representation)학습과 대조적 특징 분해(Contrasitive Feature Decomposition)을 동시에 수행할 수 있는 통합된 학습 구조인 “ConFEDE”을 제안한다.

Introduction

연구 배경
- 여러 소셜 미디어(e.g. Instagram, TikTok, Facebook, etc.)로부터 대량의 멀티모달 데이터를 취득할 수 있음에 따라 이를 활용한 멀티모달 분석 연구들이 활발히 진행 중
  - Video question answering, Video retrieval, …
- 기존 감성 분석 연구들은 주로 텍스트 기반의 감성분석을 수행한 반면, 멀티모달 감성분석의 경우 비디오와 오디오 데이터의 정보를 텍스트 데이터를 보조하기 위해 사용
  - 비디오 데이터 : 화자의 얼굴 특징과 같은 정보 활용
  - 오디오 데이터 : 화자의 억양, 강조와 같은 정보 활용
- 특히 TikTok과 같이 짧은 영상을 쉽게 만들어 낼 수 있는 플랫폼의 겅우 시각적 정보, 오디오, 삽입된 텍스트를 포함하고 있는데 이러한 모달리티 데이터는 때로는 상반되는 감성을 지닐 수 있음
⇒ 따라서, 비디오의 전반적인 감성에 대한 철저한 결론을 내리기 위해서 텍스트나 언어 자체 외에도 멀티모달 정보의 존재가 중요하다.
기존 연구
- 기존 연구들은 멀티모달리티 데이터를 합치기 위한 방법들을 연구해오고 있음
  - 가장 기본적인 방법으로는 마지막 layer를 통과하기 전 두 임베딩 벡터를 연결(Concatenating) 하는 방법
⇒ Modality-invariant한 정보(?)를 식별하는 것에 대한 중요성이 나날이 커지고 있다.
문제점
- 때로는 서로 다른 양식의 감성이 모순되는 경우가 존재
  - 예를 들어 다음과 같은 문장이 주어졌을 때
    - “Finally I can rest easy tonight (드디어 오늘 밤 편히 쉴 수 있다)”
    - “I can’t thank you enough (감사한 말로는 부족해)”
  ⇒ 텍스트만 보았을 때는 당연히 positive한 감성을 표현하는 것 같지만, 얼굴 표정이나 목소리 톤에 따라 negative인 경우가 존재할 수 있다. 이렇게 모달리티 데이터마다 해석되는 감성이 서로 다른 경우가 존재하는 문제점이 존재한다.
제안 방법
- ConFEDE(Contrastive FEature DEcomposition) 제안
  - 각 샘플 내에서 모달리티 분해와 샘플 간 supervised contrastive 학습을 unified framework에서 수행
기여

(1) 두 개의 learning tasks를 수행하기 위해 양성 / 음성 데이터 쌍을 샘플링할 수 있게 해주는 customized data sampler를 기반으로 샘플 간 contrasitive 학습과 샘플 내 모달리티 decomposition을 하나의 손실함수로 통합

(2) 각 모달리티를 similarity feature와 dissimilarity feature로 분해하고, 텍스트의 similarity feature를 앵커로 하여 모든 분해된 features간의 contrasitive관계를 구축하는 것을 제안

⇒ 아직 잘 모르겠으니, 나중에 자세히 읽고 이해하자.

(3) 위에서 제안한 멀티모달리티 representation learning을 기반으로, 각 분해된 모달리티 표현에 의존하는 multi-task prediction loss 제안