제출 파일 관련 문의

[YunseokHan]

안녕하세요, 222Hz 팀의 한윤석입니다.

시드를 고정하여 재현성 관련 실험을 하면서 validation loss가 매 실험마다 상이하게 나오나, train loss는 유사하게 나오는 것을 확인했습니다. train loss의 log를 통해서도 재현성이 검증될 수 있을 것 같은데, 혹시 validation loss 대신 train loss의 log를 제출해도 괜찮을까요?

감사합니다.

[yxxshin]

@YunseokHan 안녕하세요,

통일해서 validation loss 로 재현성 검증을 하게 될 것 같습니다. 따라서, validation loss 를 제출해 주시기 바랍니다. validation 시의 randomness를 최대한 막아 주시기 바랍니다.

숫자가 정확하게 일치할 필요는 없으니, 적은 오차라면 걱정하지 않으셔도 됩니다.
(참고: #271)

감사합니다.

[YunseokHan]

첨부해주신 링크 확인하였습니다.

아무래도 학습 초반부에 validation과 관련된 일부 seed가 고정되지 않았고(현재는 해당 부분 모두 수정된 상태입니다), 상이한 gpu 환경 때문으로 예상됩니다. 그러나 train data에 대한 randomness는 모두 고정되어 있었으며, train loss가 유사하게 출력되는 것을 보아 모델 파라미터가 학습되는 방향은 바뀌지 않을 것이라 생각됩니다.

재현 시 다시 최종적으로 학습된 모델이 공개된 leaderboard data에 대해 같은 final ssim 값을 나타낼 수 있고, 동일하게 코드를 여러 번 실행해도 유사한 val loss를 출력한다면 추가 검증이 요구되어도 reproducibility를 검증할 수 있다고 간주해도 될까요?

감사합니다.

[jslee525]

안녕하세요, 2024 SNU FastMRI Challenge 조교 이준성입니다.

참가자 분들의 형평성과 공정성을 위해 validation loss log를 일괄적으로 받을 예정입니다.
따라서, validation loss log는 필수로 제출하셔야 하며, train loss log는 필요하시다면 추가적으로 제출하셔도 됩니다.
저희가 최종 evaluation 때 제출하신 파일을 바탕으로 reproducibility를 확인할 예정이며, 이에 대해 문제가 있을 시 참가자 분께 연락을 드릴 예정입니다.

감사합니다.
이준성 드림