【开源实习】泰语语种的多模态数据资源在昇腾AI开发板上运行应用 #1728

[milkHongYe]

泰语多模态推理应用

本PR为昇腾AI开发板添加了泰语语种的多模态数据资源运行应用。
任务链接：https://gitcode.com/mindspore/community/issues/1728

新增内容

• thai_multimodal_explorer.ipynb: 泰语多模态探索的Jupyter notebook
• wongwian-micro-instruct模型: 包含模型配置和tokenizer文件
• 测试图片: 提供多张样本图片用于测试
• convert_to_bin.py: 模型转换工具脚本
• README.txt: 使用说明文档

技术特性

• 支持泰语文本和图像的多模态处理
• 基于MindSpore框架
• 适配昇腾AI开发板环境
• 提供完整的推理流程示例

注意事项

• pytorch_model.bin 文件因大小限制（517MB > 100MB）暂未包含
• 模型文件可通过Hugging Face或其他渠道单独下载
• 建议在README中添加模型下载说明

测试环境

• Orange Pi AI Pro 20T 12G
• MindSpore框架
• Python 3.x

这个应用扩展了项目对泰语的支持，为多语言AI应用开发提供了参考实现。

[cui0523]

辛苦代码合入master分支的orange-pi-mindspore/Online/community目录下，项目目录和代码文件命名格式参考代码仓中已有项目的格式；同时目录orange-pi-mindspore/Online/，orange-pi-mindspore/Online/community/下的readme文件对应位置补充该项目的相关版本信息

[cui0523]

.py文件转换成.ipynb文件，另外readme文件需要改成markdown

[cui0523]

mindnlp支持直接加载safetensors ，无须把 safetensors 转成 pytorch bin 格式吧？

[milkHongYe]

老师我之前试过直接加载 safetensors，但是MindNLP 0.4.1 在读取 wongwian-micro-instruct 的 safetensors 文件时报错：报错原因是metadata 解析失败，然后才转换为 pytorch_model.bin的

[cui0523]

检查一下safetensors权重文件是否是完整的？

[milkHongYe]

检查一下safetensors权重文件是否是完整的？

老师，我刚看了一下，safetensors文件是完整的，是从 HuggingFace 正常下载的

[milkHongYe]

辛苦代码合入master分支的orange-pi-mindspore/Online/community目录下，项目目录和代码文件命名格式参考代码仓中已有项目的格式;同时目录orange-pi-mindspore/Online/，orange-pi-mindspore/Online/community/下的readme文件对应位置补充该项目的相关版本信息

老师，这个修改完成了，麻烦您看一下

[milkHongYe]

老师，我对比了一下 SHA256 哈希值，本地下载的文件与 HuggingFace 原始文件是一样的

[milkHongYe]

老师，我看了下模型的safetensors的JSON header，它的_metadata_的key不存在，所以MindNLP0.4.1调用f.metadata()时返回None，但是它直接执行metadata.get("format")时没有null判断，

然后我尝试了一下该模型官网的代码，官网加载时不调用f.metadata()，而是直接用f.key()遍历张量，dtype是从每个张量自身使用get_slice().get_dtype()读取的

因为mindnlp0.4.1这个版本无法处理metadata为null的情况，所以加载safetensors时报错

[cui0523]

该段代码取消注释

[cui0523]

实际加载的是qwen模型吗？

[milkHongYe]

实际加载的是qwen模型吗？

实际加载的是wongwian-micro-instruct模型，最开始加载的Qwen，但是因为内存不够，容易卡死，后面改成了wongwian-micro-instruct，这个地方忘了改，但刚刚已经修改好了

[milkHongYe]

该段代码取消注释

老师我修改好了您查收一下

[cui0523]

验收通过，可以合入