Skip to content

Conversation

@lsz05
Copy link
Collaborator

@lsz05 lsz05 commented Jul 21, 2025

関連する Issue / PR

N/A

PR をマージした後の挙動の変化

jmteb.jsonnetを更新し,更新版JMTEBを回せるようにしました。
JMTEBの更新履歴はhttps://huggingface.co/datasets/sbintuitions/JMTEB/blob/main/UPDATES.md をご参照ください。
今回は

  • 次の13個のデータセットを追加しました
    • Japanese Sentiment Classification
    • SIB200 Japanese Classification
    • WRIME Classification
    • SIB200 Japanese Clustering
    • NLP Journal Abs-Article Retrieval
    • JaCWIR Retrieval
    • MIRACL Retrieval
    • MLDR Retrieval
    • Mintaka Retrieval
    • JQaRA Reranking
    • JaCWIR Reranking
    • MIRACL Reranking
    • MLDR Reranking
  • 次の1つのデータセットを削除しました
    • PAWS-X-ja PairClassification

Leaderboardを後ほど更新します。

挙動の変更を達成するために行ったこと

  • src/jmteb/configs/tasksにデータセットの追加・削除
  • src/jmteb/configs/jmteb.jsonnetの変更

動作確認

  • テストが通ることを確認した
  • マージ先がdevブランチであることを確認した
  • Leaderboardを更新

@lsz05 lsz05 added the wip Work in progress label Jul 25, 2025
@lsz05 lsz05 changed the title [Feature] Update datasets [Feature] JMTEB v2 Oct 2, 2025
@lsz05
Copy link
Collaborator Author

lsz05 commented Oct 2, 2025

#93

@lsz05 lsz05 closed this Oct 2, 2025
@lsz05 lsz05 added invalid This doesn't seem right and removed wip Work in progress labels Nov 14, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

invalid This doesn't seem right

Projects

None yet

Development

Successfully merging this pull request may close these issues.

2 participants