멀티 레이블 분류에서는 일반적으로 각 클래스를 독립적인 이진 분류 문제로 취급하고 Binary Cross Entropy Loss를 사용한다.
하지만 이러한 방식은 근본적인 한계를 가진다.
BCE는 각 클래스를 서로 독립적으로 다루기 때문에 positive 클래스와 negative 클래스 사이의 상대적인 순위를 직접 학습하지 않는다.
즉, 정답 클래스의 점수가 오답 클래스보다 얼마나 높아야 하는지에 대한 정보가 손실 함수에 명시적으로 포함되어 있지 않다.
또한 실제 멀티 레이블 데이터는 대부분 positive label보다 negative label이 압도적으로 많기 때문에 심각한 클래스 불균형 문제가 발생한다.
이를 해결하기 위해 클래스 빈도에 따라 가중치를 조정하는 Balanced BCE나, positive 샘플에 더 큰 가중치를 부여하는 Asymmetric Loss 등이 제안되었다.
그러나 이러한 방법들은 여전히 BCE의 기본 구조를 유지하기 때문에 클래스 간 상대적 관계를 충분히 활용하지 못하며, 데이터셋에 따라 성능 향상이 제한적일 수 있다.
반면 단일 레이블 분류에서는 BCE 대신 Softmax Cross-Entropy Loss가 널리 사용된다.
Softmax는 모든 클래스의 확률을 하나의 분포로 정규화하기 때문에 정답 클래스가 다른 모든 클래스보다 높은 점수를 갖도록 학습한다.
모델은 단순히 정답 클래스의 점수를 높이는 것이 아니라 자연스럽게 클래스 간의 상대적 비교를 수행하게 된다.
여기서 핵심은 Softmax가 정답 클래스의 logit이 모든 negative 클래스의 logit보다 크도록 학습한다는 점이다.
다시 말해 정답과 오답 사이의 classification margin 을 최대화하는 구조라고 볼 수 있다.
논문의 저자들은 바로 이 아이디어를 멀티 레이블 분류에도 적용하고자 했다.
멀티 레이블 문제에서는 하나의 샘플에 여러 개의 positive 클래스가 존재한다.
따라서 단일 레이블처럼 하나의 정답 클래스와 여러 개의 오답 클래스를 비교하는 대신, 모든 positive 클래스가 모든 negative 클래스보다 높은 점수를 갖도록 만드는 것이 자연스러운 목표가 된다.
이를 표현하면 $\text{min}_{p\in \mathcal{P}} \ x_p > \text{max}_{n\in \mathcal{N}} \ x_n$로, 가장 점수가 낮은 positive 클래스조차 가장 점수가 높은 negative 클래스보다 커야 한다는 의미다.
이 조건이 만족될수록 positive와 negative가 명확하게 분리되고 classification margin 역시 커진다.
하지만 min/max 연산은 미분이 어렵기 때문에 직접 최적화하기 힘들다.
저자들은 이를 log-sum-exp로 근사한다.
이를 이용하면 positive 집합과 negative 집합 사이의 margin 을 부드럽게 근사할 수 있으며, 이를 Softmax와 동일한 softplus 구조 안에 넣어 멀티 레이블용 손실 함수로 확장할 수 있다.
여기에 Temperature $T$를 도입하면 근사의 강도를 조절할 수 있다.
$T$가 커질수록 log-sum-exp는 실제 max/min에 더 가까워지며, 모델은 상대적으로 어려운 샘플들(hard positives, hard negatives)에 더욱 집중하게 된다.
논문에서는 positive와 negative에 서로 다른 temperature를 적용하여 multi-label loss (14)를 구성한다.
흥미롭게도 실험 결과에서는 negative보다 positive 쪽에만 temperature를 적용하는 것이 가장 효과적이었다.
이는 멀티 레이블 데이터에서 positive 샘플이 상대적으로 희소하기 때문에, positive 클래스 간의 구분을 더욱 강화하는 것이 성능 향상에 중요함을 시사한다.
Sample-wise way
이를 행 방향, 즉 한 샘플 $i$에 적용하면 그 샘플의 positive 클래스들 ($p|y_{ip}=1$)과 negative 클래스들 ($n|y_{in}=0$)을 비교하는 sample-wise loss가 된다.
하나의 샘플 내에서 클래스 간 상대적 순위를 학습하는 구조로, 여기서 샘플 $i$의 logit 벡터는 $\{x_{ic}\}_{c=1}^C$, 라벨 벡터는 $\{y_{ic}\}_{c=1}^C$이다.
Class-wise way
같은 아이디어를 열 방향으로 적용하면, 특정 클래스 $c$의 positive 샘플들 ($i|y_{jc}=1$)과 negative 샘플들 ($i|y_{ic}=0$)을 비교하는 class-wise loss가 된다.
이 두 방향의 손실을 평균내어 구성한 것이 two-way multi-label loss다.
실험 결과
멀티 레이블 이미지 분류 태스크에 대해 평가를 진행하였으며, 성능 지표로는 mAP (mean Average Precision)을 사용했다.
Sample-wise loss는 하나의 이미지 내부에서 positive 클래스와 negative 클래스를 비교하므로 mAP@sample이 높게 나타난다. 반면 class-wise loss는 동일 클래스에 대해 positive 샘플과 negative 샘플을 비교하여 클래스 불균형 문제를 완화하므로 mAP@class 향상에 더 효과적이다.
두 손실을 함께 사용한 Two-Way 방식은 이미지 내부의 클래스 관계와 클래스 전체의 분포 정보를 동시에 활용하여 가장 높은 성능을 달성했다.