Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

功能请求:长期功能计划与讨论 #27

Open
2 tasks
hypergraphUniverse opened this issue Jan 13, 2023 · 0 comments
Open
2 tasks

功能请求:长期功能计划与讨论 #27

hypergraphUniverse opened this issue Jan 13, 2023 · 0 comments
Labels
enhancement New feature or request

Comments

@hypergraphUniverse
Copy link
Collaborator

hypergraphUniverse commented Jan 13, 2023

这个issue负责相关测试和技术的探讨,如果有兴趣和有思路/建议欢迎提出。

计划1:基于微调模型的模型设置

  • 计划1

请求动机

  1. OpenAI中有微调模型这一选项,功能为可以使用部分文本预先训练模型,然后日后调用此模型。
  2. 目前我们的程序,设定的详细程度与token价格之间是不可调和的。

方法描述
采用微调模型来训练人格,加入其中的选项

可能的问题
微调模型的使用价格是正常模型的六倍,因此必须要非常长的设定才赚。同时,微调模型如果输入文字训练失败,可能会导致输出内容错误,这会导致一定资源的浪费。

计划2: 基于某种方案的长期记忆存储

  • 计划2

请求动机

  1. 当前AI的内容都是短期记忆,及前后两句话之间能够记住内容。但是如果希望作为一个合格的私人助理(私人机器人),可能希望有一定的长期记忆,记得住之前的记忆。
  2. 如果直接使用当前的内容作为长期记忆,token价格则会非常高,同时也很快会超出token的上限。但是另一方面,长期记忆不一定非要每一瞬间都发送过去。例如要求回忆第一次见面说的话,不必记住昨天我告诉AI我吃了什么(举个例子)。

可能方案1
直接使用微调模型,将历史记录输入微调模型作为模型的训练。这种操作对于记忆究竟能有多稳固是不太清楚的。

可能方案2
将历史记录的文本记录下来,在发生新对话的时候,使用某种常规的或者是使用AI的方法,将历史记录的文本中相关的文字检索出来,并且贴在前面。这种操作对于记忆的稳固性有保障,但是如何实现新对话检索旧对话,是这个方案的技术难点。

@hypergraphUniverse hypergraphUniverse added the enhancement New feature or request label Jan 13, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

1 participant