新增自定义模型接口配置

[Andrawzyf]

如果我自己本地VLLM私有化部署了一个大模型呢？如何接入？而且好像一定要设置api_key？

[shellphy]

vllm 和 ollama 的接口好像是兼容的吧？

[Andrawzyf]

Post "http://192.168.7.200:8079/v1/api/chat": dial tcp 192.168.7.200:8079: connectex: An attempt was made to access a socket in a

vllm 和 ollama 的接口好像是兼容的吧？

是的，这两个都是openai的接口，我再模型服务ollama那里连接本地大模型，但是报错，报错为：
Post "http://192.xxx.xx.xxx:xxx/v1/api/chat": dial tcp: connectex: An attempt was made to access a socket in a way forbidden by its access permissions.
但是我在dify,ragflow都能连上。