최근 일부 멀티모달 downstream tasks에서 사전학습된 멀티모달 트랜스포머가 backbone network로 사용되는 것이 추세
비록 다양한 task에서 일반화 능력과 유망한 성능을 보여줌에도 불구하고, 다음과 같은 이유들로 인해 실용적인 시나리오에서는 적용 불가
- 전체 모델을 파인튜닝하기 위해 무거운 연산 자원을 사용하지 않고 효과적으로 멀티모달 트랜스포머를 채택하는 방법은?
- 결측 모달리티가 존재할 때 모델의 강건함(robustness)를 보장하는 방법은?
대부분의 멀티모달 트랜스포머 기반 방법들은 공통적으로 데이터의 완전성(data completeness)에 대한 가정을 깔고 있음
- 그러나 이러한 가정은 프라이버시, 장치, 보안 등과 같은 제약으로 인해 현실세계에서 적용되기 쉽지 않고 불완전한 데이터(modality-incomplete)가 있는 경우 모델의 성능 하락이 발생할 수 있음
대용량의 데이터셋에서 사전학습된 트랜스포머들은 강력한 일반화 능력 덕분에 주로 백본 네트워크로 채택되고 다양한downstream task를 다루기 위해 파인튜닝되어짐
- 그러나, 트랜스포머 모델의 사이즈가 커질수록 파인튜닝 작업은 상당한 많은 비용을 요구하게 되어 연산 자원의 부족으로 인해 실제 적용(파인튜닝)하기가 현실적으로 불가능해짐
본 논문에서는, 데이터 샘플에서 발생할 수 있는 다양한 현실적인 결측 모달리티 데이터 상황에 대해 연구를 진행하고 특히, 트랜스포머 전체 모델을 파인튜닝하는 것에 대한 요구를 완화하는것에 집중
기존 연구와 본 논문의 방법론에 대한 차이점을 나타내는 그림
이를 위해 앞서 설명한 문제를 다루기 위해 prompt learning 테크닉을 활용한 프레임워크 제안
- 기본적으로 prompt learning 방법들은 최근 효과적이고 효율적이고 효과적인 솔루션으로, 소수의 파라미터(즉, prompt)만을 학습시켜 사전 학습된 트랜스포머를 목표 도메인에 적응시킴. 이를 통해서 무거운 모델을 전체적으로 파인튜닝하는 것과 비교할 만한 성능을 당성
- 기존 연구에서 프롬프트가 입력의 다양한 분포에 대한 좋은 지표라는 것을 보여준 겅에 영감을 받아, 모달리티가 누락된 다양한 상황을 다른 유형의 입력으로 간주하고 학습 가능한 프롬프트를 채택하여 결측 모달리티로 인한 성능 저하를 완화하는 방법에 대해 제안
⇒ 결과적으로, 학습 가능한 프롬프트는 전체 트랜스포머의 크기의 1% 이하이고 이로인해 전체 모델을 파인튜닝 하는 것에 비해 연산 비용이 절감될 수 있음을 주장한다.
-
일반적인 결측 모달리티 시나리오를 다루는 멀티 모달 트랜스포머의 프롬프트 디자인을 더 탐구하기 위해, missing-aware 프롬프트를 사전학습된 트랜스포머 모델에 포함시키는 두 가지 디자인에 대해 조사
- Input-level
- Attention-level
⇒ 본 연구에서는 프롬프트가 주어지는 위치가 결측 모달리티 문제를 해결하는데 중요한 역할을 하는 것을 확인했다.
-
여러 프롬프트 설정에 따라 실험을 진행하고 프롬프트 길이와 위치가 중요한 역할을 한다는 것을 발견
- 프롬프팅 레이어의 크기가 증가함에 따라, 모델의 성능이 직관적으로 향상
- 입력 데이터에 가깝게 프롬프트를 배치할수록 더 좋은 성능을 보임
- 프롬프트의 길이는 attention-level 프롬프트의 경우 모델 성능에 미치는 영향이 적지만, 특정 데이터셋에서는 입력 레벨 프롬프트에 더 많은 영향을 미칠 수 있음을 확인
-
본 연구의 기여도를 요약하면 다음과 같음
- 멀티모달 학습에서 발생할 수 있는 결측 모달리티의 일반적인 시나리오를 소개
- 결측 모달리티 문제를 해결하기 위해 missing-aware 프롬포트를 사용하는 방법에 대해 제안
- 사전학습된 트랜스포머에 적용할 수 있는 두 가지 디자인의 프롬프트를 제안
