Multimodal Sentiment Analysis: A Survey of Methods, Trends, and Challenges | ACM Computing Surveys

Multimodal Sentiment Analysis(survey).pdf

Abstract

감정 분석(Sentiment analysis)은 자연어처리 분야에서 20년 가까이 연구되고 있는 주제이다. 전통적인 감정 분석 모델은 텍스트에 집중하여 설계되었지만, 기술의 발전으로 인해 오디오, 비디오 등 다양한 데이터로부터 감정을 표출하게됨에 따라 멀티 모달리티(Multi-modality)를 활용한 분석이 활발히 진행되고있다. 본 연구에서는 다양한 감정 분석 연구의 접근법, 실용적인 적용, 한계점 등 포괄적인 분석을 진행하여 감정 분석 분야의 굉장한 잠재력이 있다고 결론짓는다.

Introduction

• Introduction

  • 감정 분석(sentiment analysis)은 크게 “opinion mining” 과 “emotion mining”으로 구분 가능
    • “opinion mining” : Sentiment analysis: Capturing favorability using natural language processing 논문에서 처음 사용된 용어
    • “emotion mining” : Opinion extraction and semantic classification of product reviews.
  • 주로 긍적적이거나 부정적인 감정을 표현하거나 함축하는 의견에 중점을 둠
    • e.g. “Janny likes the camera of the phone” 이라는 문장이 주어졌을 때, opinion mining의 기술적인 개념으로 정의하면 다음과 같다.
      • Janny ⇒ the opinion holder
      • the camera ⇒ entity
      • her sentiment towards the aspect ⇒ positive
  • 연구 초창기로부터 다양한 분야에서 활발하게 연구되며 영향력있는 분야가 되고 있음

• History of the sentiment analysis

  • 몇 년 전만 해도 사람들은 오직 텍스트 데이터를 통해 감정을 표현했음
    • 텍스트와 같이 하나의 모달리티로만 감성 분석을 하는 것은 분명한 한계점이 존재
  • 현대에는, 많은 연구자들이 오디오, 시각적 데이터 등을 텍스트와 결합하여 감성 분석을 수행하는 멀티모달 연구를 중점적으로 수행하고 있음

  ⇒ 비록 현재 “멀티모달리티를 활용한 감정 분석 연구” 가 초창기 단계임에도 불구하고, 연구자들은 해당 분야로부터 파생될 수 있는 다양한 연구 분야가 나올 것이라고 예측하고 그에 따른 여러 연구들도 진행되어지고 있는 추세이다.

• Contributions

  • 감성 분석이 uni-modality에서 multi-modality로의 진화에 중점을 둠
  • 본 연구의 가장 중요한 기여 중 하나는 감성 분석을 위한 감성 어휘 및 공개 데이터셋의 목록을 제시한 것

Textual Sentiment Analysis

텍스트 기반 감정 분석(Text sentiment analysis)는 크게 “document-level”, “sentence-level”, “aspect-level” classification으로 분류할 수 있다.

Document-Level

문서 수준(Document-Level)의 감성 분류는 전체 문서를 주요 정보 단위로 삼아 하나의 주제나 객체에 중점을 둔다. 이는 더 나아가 긍정적 극성(Positive polarity) 또는 부정적 극성(Negative polarity)로 세분화된다.

<참고>

Q. Positive polarity? Negative polarity?

A. 직역하면 긍정적 극성 또는 부정적 극성이라고 해석되는데 여기서 극성은 감정의 정도(?) 라고 생각하면 될 것같다. 즉, 단순하게 Positive polarity는 긍정적인 감정 을 표현하고 Negative polarity는 부정적인 감정 을 표현하는 용어라고 생각할 수 있다.

• Pang et al. [5]

  • 머신 러닝 기반의 감성 분류의 선구자

  • Naive Bayes, SVM (Support Vector Machine), Maximum entropy classifier

  • IMDB movie reviewers dataset

    IMDB Dataset of 50K Movie Reviews

  • SVM classifier로 82.9% 성능 기록

• Das et al. [22]

  • Opinion polarity classification 수행

  • SVM

  • Bengali news dataset

    Bangla And English Fake News Detection DataSet

  • 긍정 부정 분류 문제에서 precision : 70.04%, recall : 63.02% 성능 기록

  Multilingual Sentiment Analysis

  다국어 감정 분석(Multilingual Sentiment Analysis)은 둘 이상의 언어에 대한 감정 분류를 수행하는 기술이다.

  • 다양한 언어 데이터셋에 대한 리소스 부족 문제가 있음

    • 리소스가 풍부한 언어(e.x. 영어)로부터 지식을 이전하는 방식 활용
    • 예를 들면, 기계 번역 시스템을 활용하여 다른 언어의 텍스트를 영어로 번역하는 것

    ⇒ 하지만, 번역 결과가 원본 텍스트의 중요한 단어나 의미를 파악하지 못하는 경우 문제가 발생할 수 있다.

  • Mihalcea et al. [27]

    • 다중 언어 주관성 감지(Multilingual subjectivity detection)을 위한 어휘(lexicon) 및 말뭉치(corpus) 기반의 방법론을 탐구함
    • OpinionFinder [28]을 활용하여 영어를 로마어 용어로 기계 번역
    • 르마니아어 훈련 데이터셋에서 Naive Bayes로 F-socre 67.85% 성능 기록

Sentence-Level