Multimodal Transformer for Unaligned Multimodal Language Sequences

Abstract

인간의 언어는 종종 자연어(Natural language), 얼굴 제스처(Facial gestures), 음향적 행동(acoustic behavior)로 이해하는 멀티모달 데이터이다. 그러나, 멀티모달 인간 언어로 취득된 시계열과 같은 데이터를 모델링할 때 두 가지 챌린지가 존재한다. 1) 서로 다른 모달리티로부터 취득된 시퀀스 데이터는 다양한 sampling rate으로 취득되었기 때문에 non-alignment한 특성을 내재하고 있다. 2) 서로 다른 모달리티의 요소 간 long-range dependencies가 존재한다. 본 연구에서는, explicitly하게 aligning된 데이터 없이도 end-to-end 방식으로 이러한 문제를 다룰 수 있는 Multimodal Transformer (MulT) 프레임워크를 제안한다. MulT 모델의 핵심은 서로 다른 타임스텝간의 상호작용을 처리할 수 있는 pairwise crossmodal attention과 하나의 모달리티로부터 다른 모달리티 데이터에 잠재적으로 스트림을 조정할 수 있는 것에 있다. Aligned와 non-aligned 멀티모달 시계열 데이터에 대한 포괄적인 실험을 통해 제안하는 방법론이 다른 SOTA에 비해 큰 격차로 성능을 향상시킬 수 있음을 보여준다. 또한, 경험적인 분석을 통해 correlated crossmodal 신호들이 MulT의 crossmodal attention 메커지늠을 통해 포착될 수 있음을 제시한다.

Introduction

• 인간의 언어는 언어적인 단어 뿐만 아니라 vision과 acoustic으로 부터 얻은 nonverbal 행동을 포함

  • 이러한 풍부한 정보는 인간의 행동과 의도를 파악하는데 이점을 제공

• 그럼에도 불구하고, 모달리티간 이질성(Heterogeneties)는 종종 인간의 언어를 분석하는데에 어려움을 증가시킴

  • 오디오와 시각 스트림의 receptors는 서로 다른 주파수로 인해 달라질 수 있어 이들 간의 최적의 맵핑을 얻지 못할 수도 있음
  • 예를 들어, 찡그린 얼굴은 과거에 비관적으로 말해진 단어와 연관이 있을 수 있음
  • 즉, 멀티모달 언어 시퀀스 데이터는 종종 “unaligned”한 성격을 지니고 있고 이로 인해 서로 다른 모달리티 데이터로부터 장기 의존성을 추론해야 할 필요가 있음

• 본 연구에서는 이와 같은 문제를 해결하기 위해, unaligned 멀티모달 스트림으로부터 직접적으로 representations를 학습하기 위해 기존 transformer를 확장시킨 Multimodal Transformer (MulT) 프레임워크를 제안

  • MulT의 핵심 요소는 전체 시퀀스 수준에서의 crossmodal interactions을 이해할 수 있는 cross-modal attention module에 있음
    • 이 모듈은 alignment를 손수 맞춰줄 필요 없이, 반복적으로 하나의 모달리티에 대한 특징을 다른 모달리티 정보를 활용하여 강화하는 것을 통해 내재적으로 스트림을 alignment시킬 수 있음
  • 반면, 이러한 unalignment한 데이터를 학습 전에 손수 word-aligning을 신행할 수 있는 방법이 존재함
    • 이러한 방법은 feature engineering이 필요할 뿐만 아니라, 도메인 지식이 들어가야 하기 때문에 항상 feasible하지는 않고 심지어는 시간 정보에 대한 meta data가 항상 동반되어야 하는 문제가 있음

  ⇒ 두 문제에 대한 예시를 Figure 1으로 시각화하였다. Unalignment data의 경우 각 단어에 대해서 정해진 time interval의 평균을 내는 반면, multimodal cross attention을 활용하면 모든 시퀀스에 대해서 스트림 레벨의 alignment를 수행할 수 있는 이점이 있다.

Proposed Method

Crossmodal Attention

설명을 위해 non-aligned된 두 개의 모달리티 데이터 $\alpha, \beta$가 존재한다고 했을 때, 각각의 모달리티 데이터는 다음과 같이 표기할 수 있다:

$$ X_{\alpha}\in \R^{T_{\alpha} \times d_{\alpha}}, X_{\beta}\in \R^{T_{\beta} \times d_{\beta}} $$

• $T_{(.)}:$ Sequence length
• $d_{(.)}:$ Feature dimension

⇒ 하나의 언어를 다른 언어로 번역하는 NMT의 디코더에서 영감을 받아, 서로 다른 모달리티의 정보를 혼합하는 좋은 방법은 다른 모달리티간의 latent adaptation을 제공하는 것이라고 주장한다. 예를 들어 $\beta$ to $\alpha$ 와 같다고 생가하면 된다.