工业软件助手

[jinxianwei]

这是一个用于工业复杂操作软件的人工智能助手

初始学习 大模型实战营 第三期

初步设想：

支持互动询问具体操作流程(操作手册数据的投喂)
支持助手代操作(软件function calling的调用)
报错(如有)内容的解析、反馈和修正
背景介绍

工业操作软件具有较高的专业壁垒，操作软件需要特定的领域知识，以力学仿真软件为例，为获取特定材料施加载荷后的力学性能，需要获取材料的力学特性数据(应力应变曲线数据)、对结构划分网格以便有限元离散解析、针对材料机械结构，在特定位置处施加约束和载荷，设定仿真分析步(不同时刻不同载荷)。
专业仿真工程师需要储备大量的领域知识，包括力学、材料等，跨专业工程师或客户在使用时，操作壁垒高。
仿真软件操作步骤环环相扣，大部分的仿真软件来自国外(以Abaqus为例，当某一操作步骤不合理时，会报特定的错误)，当发生报错时，往往需要在网络上搜索相关错误，以更正仿真过程。
能运行起来的仿真过程，未必能起到实际的指导作用，需要对特定的有限元分仿真结果，结合分析的初始案例进行分析(chatgpt或是其他的LLM)(数据包括云图和节点应力应变数据)
以我司扫描电镜操作软件为例，报错不同于有限元软件，无相关文字输出，需要结合电镜图像的变化进行分析，排查软件特定区域内的内容(gpt传图分析)
期望

简单软件操作手册数据的助手模型训练
简单软件内部的function calling的函数调用(国外软件不会提供软件内部的funtion，界面按钮区域识别和点击是一个思路)
特定案例报错时的助手方案提供(文字建议和助手的直接操作)