클래스 불균형으로 인한 val loss 수렴 문제 해결 방안 : Focal Loss

[EJueon]

⚠️ Problem Statement

이번 대회의 데이터셋은 #10 에서 확인할 수 있듯이 고질적으로 val loss가 급격히 높아지면서도 accuracy는 높아지는 이상한 문제가 발생합니다. 이는 아래와 같이 클래스의 극단적인 편향으로 추측됩니다.

해당 문제를 해결하기 위하여 #22 에서 stratified onefold를 구현하여 validation과 train 데이터셋을 구분하였으나 여전히 문제 현상을 확인할 수 있었습니다.

stratified onefold가 근본적인 해결책이 될 수 없음을 확인. 새로운 해결방안 모색이 필요합니다.

🔧 Methodology

추가적으로 이를 해결하기 위하여 cross entropy의 확장판인 focal loss를 사용해보고자 합니다.
focal loss는 cross entropy와는 달리 쉽게 오분류되는 클래스에 보다 가중치를 주는 것으로 오분류되는 클래스에 대하여 제대로 학습할 수 있도록 구현되어있습니다.

torch.nn 내에서는 해당 loss가 구현되어있지 않아 논문 내 수식을 기반으로 nll_loss를 사용하여 구현하였습니다.

class FocalLoss(nn.Module):
    '''
    Multi-class Focal loss implementation
    '''
    def __init__(self, alpha=1, gamma=2, eps=1e-9, weight=None, reduction='mean', ignore_index: int = -100,):
        super(FocalLoss, self).__init__()
        self.gamma = gamma
        self.alpha = alpha
        self.weight = weight
        self.eps = eps
        self.reduction = reduction
        self.ignore_index = ignore_index

    def forward(self, pred, target):
        logpt = F.log_softmax(pred + self.eps, dim=1)
        pt = torch.exp(logpt)
        
        weight = torch.pow(1.0 - pt, self.gamma)
        logpt = self.alpha * weight * logpt
        loss = F.nll_loss(logpt, target, self.weight, ignore_index = self.ignore_index)
        return loss
    

📄 Related Works

• (2017 ICCV) Focal Loss for Dense Object Detection

추가 고려사항

• focal loss의 경우 alpha와 gamma값이 조정 가능한 하이퍼파라미터인만큼 제대로 조정해보는 것이 중요할 것 같습니다.