Contrastive_Learning_based_Modality_Invariant_Feature_Acquisition.pdf

• Summary

Abstract

**Multimodal Emotion Recognition (MER)**은 서로 다른 모달리티 데이터 간 상호보완적인 정보를 활용함으로써 사람이 감정을 표현하는 방법에 대해 이해하는 것을 목표로 한다. 그러나, 현실 세계에서 항상 모든 모달리티 데이터가 존재한다는 것은 보장할 수 없다. 결측 모달리티 문제를 해결하기 위해, 연구자들은 cross-modal missing modality imagination 학습 과정에서 의미있는 joint multimodal representation을 학습하는 것에 집중해왔다. 그러나, cross-modal imagination 메카니즘은 “modality gap” 문제로 인한 에러에 매우 민감하고 그로 인해 imagination 정확도와 최종 recognition 성능에 영향을 미치게된다. 이를 해결하기 위해, 본 논문에서는 missing modality imagination network안에 modality-invariant 컨셉을 추가하는 방법에 대해 소개하고 두 가지 핵심 모듈로 이루어져 있다: 1) Full-modality에서 modality-invariant한 features를 추출하는 contrastive learning-based module 2) Missing-modality 상황에서 결측된 정보를 reconstruction하기 위한 imagined invariant features를 기반으로한 imagination module

Introduction

• MER tasks는 멀티모달리티 데이터간의 상호보완적인 정보를 활용하여 사람의 감정적인 표현을 이해하려는 것이 목표
  • 이를 해결하기 위한 여러 연구들이 진행되어져 오고 있음
• 그러나, 현실 세계의 시나리오에서는 장치의 고장 등으로 인한 모달리티 데이터의 결측이 발생하는 결측 모달리티 (missing modality) 문제가 존재
  • 기존에 이러한 가정을 염두하지 않은 연구들은 이런 결측 모달리티 상황이 발생했을 때 심각한 성능 저하가 발생함
• 이를 해결하기 위해, 더 많은 연구자들이 결측 모달리티 상황을 해결하기 위한 연구도 많이 진행하고 있음
  • 결측 모달리티를 해결하기 위해 주로 이용가능한 모달리티 데이터를 기반으로 결측 모달리티를 reconstruction하고 최종 감정 인식을 위한 multimodal joint feature representation을 포착하는 방법을 사용
• 이런 방법론들의 발전에도 불구하고 cross-modal imagination은 “modality-gap” 이슈로 잘 알려진 문제를 겪음
  • Modality-gap은 각 모달리티 데이터 마다 개별적인 특성을 지님을 의미
  • 여러 기존 연구들을 통해, modality correlation knowledge를 활욜하는 것이 modality-gap 이슈를 효과적으로 해결할 수 있는 방법임을 입증함
• 본 연구에서는, 위 연구들에서 영감을 받아 MER task에서 modality gap 문제를 완화할 수 있는 방법에 대해서 연구를 진행함
  • 사람은 여러 모달리티 데이터 정보로부터 나머지 모달티티 정보를 예측할 수 있는 능력이 있음
  • 더 중요한것은, 풍부한 cross-modal consistency는 사람과 같이 cross-modal generation 능력을 흉내내는 것을 가능하게 함
  • 따라서, 본 연구에서는 modality-invariant라는 개념을 도입하여 cross-modal consistency를 높혀 결측 모달리티를 정확하게 imagination하는 방법에 대해 연구함

• 본 연구에서는 **Missing Modality Imagination Network with the Contrastive Learning-based Modality-Invariant Feature (CIF-MMIN)**을 제안

  • CIF : Contrastive Invariant Features

• 구체적인 학습 전략은 다음과 같음

  

  1. Full-modality 정보로부터 CIF 추출
  2. 1번에서 얻은 CIF를 활용하여 missing modality 상황에서 결측 정보를 강건하게 보간할 수 있는 CIF-based Imagination Module (CIF-IM) 을 통과
  3. 최종적으로, imagined modality 정보와 이용 가능한 모달리티 데이터의 정보를 fusion하여 최종 MER 예측값 추출

CIF-MMIN : Methodology

1. CIF learning : Full-modality 데이터 기반으로 modality-invariant features 추출
2. CIF-IM : CIF를 활용하여 missing information을 reconstruction (imagination)
3. 두 정보를 혼합하여 최종 MER 수행

CIF Learning