Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[问题]: 关于单个模型添加多个apikey的问题 #563

Open
g1021895463 opened this issue Dec 27, 2024 · 5 comments
Open

[问题]: 关于单个模型添加多个apikey的问题 #563

g1021895463 opened this issue Dec 27, 2024 · 5 comments

Comments

@g1021895463
Copy link

您的问题

自行添加的模型也能通过添加多个ApiKey实现轮流使用吗?
添加的多个ApiKey是在新建话题后自动应用另一个ApiKey吗?还是同一个话题的不同轮次对话过程中也会轮流应用不同的ApiKey?
如果某个ApiKey无法使用是会报错还是自动应用另一个ApiKey重新发起请求?

相关背景

No response

补充信息

No response

优先级

中 (希望尽快得到答复)

@g1021895463
Copy link
Author

此外单个模型添加多个ApiKey的上限是两个吗?因为我添加三个ApiKey之后检查连通性时只显示了两个。
image
实际上图在检查时添加了三个ApiKey

@kangfenmao
Copy link
Collaborator

kangfenmao commented Dec 28, 2024

密钥是每次用的时候取一个,按顺序取。没有设置上限,有可能你的密钥存在重复的。报错也不会自动换密钥。这个是目前的逻辑,后续要不要更进一步改进,需要看看需求量来决定。

@ZzzzRyan
Copy link

Retry 更像是一个网关该干的事。

现在还只是简单每次调用轮换,如果真的要把这套机制融入进来,那么要考虑的问题就很多了,比如 Fallbacks、Timeouts、Cooldowns、Routing 等等要不要加?感觉会是一个比较大的坑。

@kangfenmao
Copy link
Collaborator

应该不会继续深入去做

@miaotouy
Copy link

Retry 更像是一个网关该干的事。

现在还只是简单每次调用轮换,如果真的要把这套机制融入进来,那么要考虑的问题就很多了,比如 Fallbacks、Timeouts、Cooldowns、Routing 等等要不要加?感觉会是一个比较大的坑。

更复杂的还是自己用聚合中转站把多的渠道塞进去吧,newapi啥的这种,指望客户端这么多功能到时候难免又被说臃肿,而且还拖慢其他功能的开发

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants