arxiv.org

2404.16456v2.pdf

• Summary

Abstract

Multimodal sentiment analysis (MSA)는 멀티모달 데이터를 통해 사람의 감성을 이해하는 것을 목표로한다. 대부분의 MSA는 모든 모달리티 데이터가 항시 존재한다는 가정을 기반으로 연구를 진행해왔다. 그러나, 실제 상황에서는, 몇몇 요인들로 인해 불확실한 모달리티 결측 문제를 초래하고, 그로 인해 모델의 성능이 급격하게 하락한다. 본 논문에서는 이를 해결하기 위해 Correlation-decoupled Knowledge Distillation (CorrKD) 라는 프레임워크를 제안한다. 구체적으로, missing sementics를 재구축하기 위해 cross-sample correlations를 포함하고 있는 포괄적인 지식을 전파하기 위해 sample-level contrastive distillation mechanism 을 제안한다. 더 나아가서, category prototypes을 활용하여 cross-category correlations를 포착할 수 있는 category guided prototype distillation mechansim을 제안한다.

Introduction

• 최근 몇 년간 MSA 연구가 활발히 진행되고 있음
• 기존 연구들은 서로 다른 모달리티 데이터 안에서 상호보완적인 정보를 결합하기 위한 많은 방법론들을 제시해오고 있음
  • 대다수의 연구가 항상 모든 모달리티 데이터가 완전히 존재하는 상황을 가정하고 있음
• 그러나, 이러한 가정은 실제 상황에서는 적용되지 쉽지 않아 틀린 가정이라고 주장
  • 여러가지 요인으로 인해 각 모달리티 데이터가 결측되는 상황이 존재 (Figure 1 참고)
• Missing modality를 해결하기 위한 연구들이 몇몇 진행되긴 했지만 다음과 같은 한계점들이 있음
  1. 개별 샘플에 기반한 불충분한 상호작용은 전체적으로 구조화된 의미를 추출하지 못함
  2. 카테고리 간 상관관계를 모델링하지 못하면 감정과 관련된 정보가 손실되고 카테고리 간의 분포가 모호해질 수 있음
  3. Coarse supervision ignores the semantic and distributional alignment. (?)
• 따라서, 본 연구에서는 불특정한 missing modalities 상황 아래에서 MSA task를 수행하기 위한 프레임워크인 Correlation decoupled Knowledge Distillation (CorrKD) 를 제안하고 본 연구의 기여는 다음과 같음
  1. 제안된 sample level contrastive distillation mechanism은 전체적인 cross-sample correlation을 포착하고 sample-level contrastive 학습을 통해 가치있는 supervision signal을 전달할 수 있음
  2. 또한, 제안하는 category-guided prototype distillation mechanism은 intra- 와 inter-category feature variations를 전달하기 위해 활용되어 감성에 연관된 정보를 운송하고 강력한joint multimodal representation을 학습할 수 있음
  3. 더 나아가, response-disentangled consistency distillation 전략을 도입하여 감성의 결정 경계를 최적화하고 다차원의 responses를 decoupling하여 distribution alignment를 촉구하고 sub-reponse간의 상호적인 정보를 최대화함

Methodology

3.1. Problem Formulation

• 세 개의 모달리티 데이터로 이루어진 video segment S는 다음과 같이 정의함

  $$ S =[X_L, X_A, X_V],\\ where \ X_L \in \R^{T_L \times d_L}, X_A \in R^{T_A \times d_A}, X_V \in R^{T_V \times d_V} $$

• 실 상황에서 발생할 수 있는 두 가지 missing modality 케이스를 다음과 같이 정의

  1. $intra-modality \ missingness$ : 모달리티 시퀀스 내의 features의 몇몇 frame-level이 결측된 경우를 의미
  2. $inter-modality missingness$ : 몇몇의 모달리티들이 전체적으로 결측된 경우를 의미

  ⇒ 본 연구의 목표는 결측값을 포함하고 있는 멀티 모달리티 데이터를 활용하여 발화 수준의 감성을 인지하는 것

3.2. Overall Framework

• Teacher network와 Student network 둘 다 동일한 구조를 채택하고 서로 파라미터만 다름