三个基本参数适配主流平台和模型 #181
Replies: 7 comments
-
OpenAI 的参数获取来源
|
Beta Was this translation helpful? Give feedback.
-
Azure OpenAI 的参数获取来源
|
Beta Was this translation helpful? Give feedback.
-
本地模型的参数获取来源我们很高兴看到 既如此,对我们来说就简单多了。
|
Beta Was this translation helpful? Give feedback.
-
KIMI 的参数获取来源KIMI 是中国的一个平台,它提供了很大的上下文能力。
|
Beta Was this translation helpful? Give feedback.
-
智谱清言 的参数获取来源智谱清言是另外一个中国的平台,官方网站在 https://chatglm.cn/。
|
Beta Was this translation helpful? Give feedback.
-
其他平台或模型理论上,我们支持所有与 OpenAI 兼容的平台和模型,你完全可以通过完整指定这三个参数的方式来实现无缝的适配。 OpenAI 提供的 Chat Completions 的规范,请参考 https://platform.openai.com/docs/api-reference/chat/create 。 |
Beta Was this translation helpful? Give feedback.
-
DBRX 的参数获取来源DBRX 是一款由 Databricks 公司出品的大语言模型,它的快速生成token的能力让我震惊。你可以在Databricks平台上面创建资源并使用。
这个模型目前也能通过 ollama 这个工具在本地运行,请参考 https://ollama.com/library/dbrx 和 #191 的说明。 |
Beta Was this translation helpful? Give feedback.
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
-
这个模块设计的初衷是抹平市面上主流平台和模型之间的差异,让用户可以用一个统一的方式开启 ChatGPT体验或文本/图像生成体验。为了实现这一个目标,我们针对三个基本参数进行了设计,以便它能适配几乎所有主流的平台和模型。
目前我们支持的主流平台和模型包括:
OpenAI
,Azure OpenAI
,Kimi
,智谱清言
,DBRX
, 甚至也支持用ollama
提供支持的本地模型,另外就是任何其他与 OpenAI 适配的平台或模型。这里提到三大参数,是指
api_key
这是平台或模型所需要的密钥,推荐使用
OPENAI_API_KEY
这个环境变量来保存。endpoint
这是平台或模型所使用的服务端点地址,推荐使用
OPENAI_API_ENDPOINT
这个环境变量来保存。model
这是你需要使用的模型,推荐使用
OPENAI_API_MODEL
这个环境变量来保存。默认值是gpt-3.5-turbo
.如果你完整地定义了上面三个环境变量,那么你在具体使用
chat
或gpt
的功能时,就可以非常简单,不需要关心这些琐碎的事情了,你只需要关注具体你想实现什么功能了,否则你就需要在调用时分别指定它们 —— 有时候这也不是问题,例如你在一个自动化系统中使用时,你可能更倾向于直接在指令中指定参数,而不依赖外部的环境变量。所以,你可以视情况选择你最合适的方式。Beta Was this translation helpful? Give feedback.
All reactions