• Summary

Abstract

실제 응용 분야에서 신뢰도있게 활용할 수 있는 견고한(Robustness) 멀티모달 모델을 설계하는 것은 매우 중요하다. 그럼에도 불구하고, 멀티모달 감성 분석(Multimodal Sentiment Analysis, MSA) 모델의 견고함을 향상시키는 것에는 많은 관심을 두지 않고 있다. 본 연구에서는, 간단한 체크를 통해 학습된 멀티모달 모달이 하나의 단일모달리티에 매우 민감한 것을 확인하고 이것이 모델의 견고함을 저해시키는 요소인 것을 파악한다.

Introduction

• 연구 배경

  • 멀티모달 감성분석은 최근 몇 년간 관심도가 가속화되어 급성장하는 분야
  • 감성 또는 감정을 예측하기 위해 오디오, 비디오, 텍스트 등의 멀티모달리티를 활용한 수많은 모델들이 연구되어져 왔음

• 연구 목적

  

  • 비록, 성능적인 측면으로 많은 발전을 이루어왔지만 본 연구에서는 각 멀티모달리티 데이터가 동등히 중요한지에 대한 관점으로 분석을 진행
  • 잘 알려진 사실로, 기존의 MSA 연구에서 가장 의미있고 효과적으로 활용되는 모달리티 데이터는 “Text” 였음
  • 따라서, 본 연구에서는 다음과 같은 질문에 대한 답을 찾는 것을 목표로 함
    • RQ1 : Are models in MSA over-reliant on a subset of modalities, particularly language?
    • RQ2 : If yes, what implications does it have on modality robustness?

  ⇒ Figure 1은 현재 MSA 모델들이 text 데이터에 많이 의존하고 있다는 것을 보여주는 예시

Testing Robustness via Diagonostic Checks

기존의 제안 된 모델들을 활용한 여러 실험을 통해 모델의 견고함 등을 평가한다. 모델은 RNN 기반의 모델부터 Transformer 기반의 모델까지 SOTA 모델들을 활용한다.

• Models : MISA, BBFN, Self-MM, MMIM, MuIT

• Datasets : CMU-MOSI, CMU-MOSEI

  ⇒ 두 데이터셋 모두 벤치마크 데이터셋으로 이용가능하며, 짧은 대화의 3가지(텍스트, 오디오, 시각) 모달리티 데이터를 포함하고 있다.

Proposed Diagonostic Checks

Missing Modalities, Noisy Modalities로 두 가지 방법론을 사용하여 확인한다.

• Missing Modalities
  • 입력데이터에서 일부 모달리티 데이터를 누락시키는 방법
• Noisy Modalities
  • White Gaussian noise를 통해 모달리티 데이터의 표현을 랜덤하게 수정

⇒ 현실적인 시나리오에서 시뮬레이팅해보기 위해, 테스트 데이터의 30% 정도에서 확인하였다.

Procedure

모달리티 표현에 개입하여 모달리티 에러에 대해 시뮬레이팅 하는 것을 목표로 한다.

• 언어 모달리티 데이터

  • 시퀀스 토큰 $U_l \in R^{T_l}$ 을 저차원인 $U_l \in R^{T_l \times d_l}$ 로 맵핑

    • $T_l$ : 토큰 개수
    • $d_l$ : 임베딩 차원

  • BERT와 같은 모델을 인코더로하여 hidden representation 추출

    $$ u_l =enc_{\theta_l}(U_l) \in \R^d $$

  ⇒ 이렇게 구해진 hidden representation에 개입하여 diagnostics를 적용한다.

  1. 테스트데이터로부터 $u_l$ 의 30%를 샘플링하고 $\hat u_l = f(u_l)$ 을 통해 수정한다.
     • $f(x)$ : $x \odot0$ 을 통해 nulling 시키거나 $x+N(0,1)$ 을 통해 노이즈 추가
  2. 수정된 $\hat u_l$ 은 나머지 네트워크를 통과시킨다.