IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE

Abstract

대화(Conversations)는 소셜 미디어 플랫폼에서 중요한 데이터로 자리잡고 있다. 대화의 내용, 발화자의 감정으로부터 대화를 이해하는 것은 사람과 인간 사이의 상호작용이 필요한 응용 분야에서 널리 활용되기 때문에, 많은 연구자로부터 관심을 받고 있는 연구 분야이다. 실제 환경에서, 우리는 대화 이해의 중요 이슈로 자리잡은 결측 모달리티 (incomplete modalities) 문제를 종종 직면하게 된다. 이러한 문제를 해결하기 위해, 연구자들은 다양한 방법론들을 제안하였다. 그러나, 기존의 접근 방법들은 주로 대화적 데이터(conversational data)보다 개별적인 발화(individual utterances)를 위해 고안된 프레임워크를 사용하기 때문에, 대화 속에서의 시간적 또는 발화의 메타 정보를 충분히 활용하지 못하는 한계점이 존재한다. 이를 해결해가 위해, 저자들은 Graph Complete Network (GCNet)이라는 프레임워크를 제안한다. GCNet은 “Speaker GNN” 과 “Temporal GNN” 두 개의 잘 디자인된 그래프 인공 신경망으로 구성되어 있다. 각 네티워크는 시간적 의존성과 발화자 의존성을 포착할 수 있다. 또한, 완전한 데이터와 불완전 데이터를 충분히 활용하기 위해, 분류 태스크와 보간 태스트를 단대단의 방식으로 동시에 최적화하는 방법을 사용한다.

Introduction

• Conversation understanding은 다양한 태스크에서 적용이 가능하여 최근 연구 주제로 많은 관심을 받고 있음
• 서로 다른 모달리티 데이터로부터 대화를 이해하기 위해 많은 연구자들은 다양한 방법으로 데이터를 습득하고 있음
  • 그러나, 실제 환경에서는 여러 가지 이유로 인해 일부 모달리티 데이터가 결측되는 문제가 존재
• 이러한 문제를 해결하기 위해, 연구자들은 결측 모달리티를 해결할 수 있는 다양한 방법론들을 제안하기 시작
  • 그러나, 기존의 방법론들은 대부분 utterance-level에서 감정을 예측하는 것을 목표로 하였기 때문에 대화 속의 충분한 데이터를 활용하지 못함
• 본 연구에서는, conversation-level의 데이터를 충분히 활용하여 결측 모달리티 문제를 해결할 수 있는 GCNet 프레임워크를 제안함. 이 논문의 주요 기여는 다음과 같음:
  1. Unlike existing works that mainly focus on medical images or individual utterances, we study the problem of incomplete modalities on conversational data, filling the gap of current works.
  2. We design a novel framework, GCNet, to deal with incomplete conversational data. This model leverages graph neural networks to capture temporal and speaker information in conversations.
  3. Experimental results on three benchmark datasets verify the effectiveness of our method. GCNet is superior to existing state-of-the-art approaches in incomplete multimodal learning.

Methodology

Data Preparation

$$ C=\{(u_i, y_i)\}_{i=1}^L $$

• $u_i:$ $i^{th}$ utterance in $C$
• $y_i:$ true label of $i^{th}$
  • $y_i \in \{1,2,...,c\}$, $c$ is the total number of labels.
• $L:$ the number of utterances in $C$
• $p_s(u_i):$ speaker of the utterance $u_i$
  • $s(\cdot):$ maps the index of utterances into its corresponding speakers.