최근 몇 년 동안, 딥러닝을 활용한 멀티모달 감성 분석은 다양한 도메인에서 뛰어난 성과를 보여주고 있다.
그 성공의 핵심은 다양한 모달리티의 정보를 효과적으로 활용하여 감성을 분석하는데 있다. 동시에, 멀티모달 학습의 중요한 작업 중 하나인 멀티모달 감성 분석(MSA) 분야에 대한 연구 관심이 증가하고 있다. 이러한 진보에도 불구하고, MSA는 두 가지 중요한 문제를 직면하고 있다. 첫째로, 각 모달리티는 종종 중요하지 않은 데이터가 과도하게 포함되어 있어 핵심 정보를 가릴 수 있다. 둘째로, 감성 분석에 필요한 중요한 단서들이 서로 다른 모달리티 간에 충동할 수 있음으로 분석 과정을 복잡하게 만든다. 이러한 문제들은 MSA 과제에서 모델의 효율성에 확실한 영향을 미친다. 이러한 도전 과제를 해결하기 위해, 본 연구에서는 MSA에 맞춤화된 새로운 방법인 InfoEnh를 소개한다. 이 접근 방법은, 정보 필터링의 병목 현상으로 마스킹 기법을 활용하며, 동시에 상호 정보를 극대화하여 중요한 데이터를 유지한다. 더 나아가서, 이 방법은 도메인 적응을 통해 모든 모달리티를 공통의 특성 공간으로 통합하며, 이는 최적 수송(Optimal transport)의 적용에 의해 향상된다. 두 가지 MSA 벤치마크 데이터셋에서 수행된 광범위한 실험 결과, 제안한 접근법의 효과성을 입증한다. 추가 분석은 베이스라인 모델들에 비해 상당한 개선이 있음을 보여준다.