• Summary

Abstract

멀티모달 감성 분석(MSA)에서의 결측 데이터(Missing modality) 문제는 결측 데이터가 감성 분석의 중요한 역할을 하는 데이터일 때 발생한다. 기존 연구들은 이러한 사실을 무시하고 연구를 진행하였고, 단순히 결츨된 모달리티 데이터를 버리고 사용하거나 단일 모달리티 데이터만을 활용하여 감성 분석을 수행하는 방법을 사용했다. 이는 앞서 언급했던 문제로 인해 성능 저하의 요인이 된다. 본 연구에서는 해당 문제를 해결하기 위해 앙상블 기반의 결측 모달리티 재구성(Missing Modality Reconstruction (EMMR) 프레임워크를 제안한다.

Introduction

• 연구 배경

  • 감성 분석 연구는 수년 간 발전해오고 있는 연구 주제임
  • 멀티 모달 연구의 필요성
    • “Yeah, I think so.” 라는 문장을 봤을 때 화자의 감성을 제대로 이해하기 힘듬
    • 만약, 음성 데이터가 함께 주어지면 더 예측하기 쉬움

  ⇒ 따라서, 감성 분석 연구의 경우 멀티모달 데이터를 활용하는 것이 매우 중요하다.

• 기존 연구

  

  • 기존 연구들은 모든 멀티모달 데이터가 이용이 가능하다고 가정하고 연구를 진행하였음
    • 그러나, 이러한 가정은 현실과는 괴리가 있음
  • 실제 상황에서는 일부 데이터가 결측되어 있는 경우가 존재할 수 있음
  • 이러한 결측 모달리티(Missing modality) 문제를 해결하기 위한 연구가 이미 일부 진행된 바 있음
  • Figure 1을 보면, Acoustic 데이터의 결측으로 인해, Textual의 영향을 많이 받아 “Negative” 로 잘못 예측한 것을 확인할 수 있음

  ⇒ 그러나, 기존 연구들은 모달리티 데이터가 일부 결측되었을 때, 잘못된 예측의 결과로 감성이 변할 수 있다는 사실을 간과하고 있었다.

• 제안 방법

  • 위 문제를 해결하기 위한 앙상블 해결책(Ensemble solution) 제시
    • Key missing modality를 정확하게 감지하고 recover할 수 있음
    • Ensemble-based Missing Modality Reconstruction (EMMR)

Methodology

Preliminaries

• Multimodal data with three modalities

  $$ S = [X_v,X_a, X_t] $$

  • $X_v$ : Visual modalities
  • $X_a$ : Acoustic modalities
  • $X_t$ : Textual modalities

• 최소 두 개의 모달리티 데이터가 있다고 가정

  • $X^{\prime}, where \ m \in \{v,a,t\}$
    • Missing modalities 표현

• 실험 조건

  1. 주어진 세 개의 모달리티 데이터$(X_v, X_a, X_t)$ 에서 하나를 랜덤하게 선택하여 결측
  2. 사용 가능한 모달리티 데이터로 (positive, neutral, or negative)로 감성 분석하는 것이 목표

Backbone Network

• 전체 동작과정
  • $(X_v, X^{\prime}_a, X_t)$ : 결측 데이터를 포함한 모달리티 데이터가 입력으로 주어짐
  • MHA : Multi-Head Attention (MHA)를 통해 인코딩하고 두 개의 브랜치로 나뉘어 들어감
    1. Pre-trained Network : 모든 모달리티 데이터에 대해 학습한 네트워크에 통과
    2. Encoder Decoder : Output을 계산하기 위해 인코더-디코더 모델에 통과
    3. $L_{forward}, L_{backward}$ 계산(각각 forward similarity loss, backward reconstruction loss)

Feature Extraction & Encoding by MHA

• Visual Representations
  • OpenFace2.0 toolkit
• Textual Representations
  • Pre-trained BERT