Skip to content

all_patch_reps 分类器参数量过大 #25

@wjz114

Description

@wjz114

Dr. Wang 您好,非常感谢您在脑电大模型领域的贡献。我在复现FACED数据集微调的过程偶然中发现了一个情况,使用all_patch_reps 分类器时能够获得较好的效果,但是分类器本身的参数量达到了约128.4M params (占模型总参数量96.3%)。

  • 这个参数量的来源主要是由于Classifier的input维度为 32 channels * 10 time patches * 200

  • 造成Classifier第一层有:64000 × 2000 ≈ 128,000,000 (再加上bias) 的参数。

请问这是有意设计的吗?能否给出一些减少classifier参数量的建议?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions