-
Notifications
You must be signed in to change notification settings - Fork 42
all_patch_reps 分类器参数量过大 #25
Copy link
Copy link
Open
Description
Dr. Wang 您好,非常感谢您在脑电大模型领域的贡献。我在复现FACED数据集微调的过程偶然中发现了一个情况,使用all_patch_reps 分类器时能够获得较好的效果,但是分类器本身的参数量达到了约128.4M params (占模型总参数量96.3%)。
-
这个参数量的来源主要是由于Classifier的input维度为 32 channels * 10 time patches * 200
-
造成Classifier第一层有:64000 × 2000 ≈ 128,000,000 (再加上bias) 的参数。
请问这是有意设计的吗?能否给出一些减少classifier参数量的建议?
Reactions are currently unavailable
Metadata
Metadata
Assignees
Labels
No labels