任务二主要是使用，把我们需要的大模型：一个用于对话的LLM，一个用于文本向量化的Embedding模型，在里配置好。
不过，很多国内的大模型厂商，为了方便开发者迁移，都提供了与OpenAI完全兼容的API接口。我们可以继续使用Llama-index里为OpenAI设计的类，比如和，只需要在初始化的时候，把参数指向我们国内厂商的服务地址，同时传入对应的和模型名称就行了。
不过，这里有一个坑。Llama-index的OpenAI相关类内部，如果它不认识你传进来的模型名字（比如智谱的），就会报错。
为了绕过这个检查，教程里介绍了两种技巧。第一种是“继承重写”，我们自己新建一个类，比如叫，让它继承自官方的类，然后只重写那个负责返回模型元数据的方法，在里面直接写死一个它认识的上下文窗口大小，从而骗过检查。第二种方法更直接，就是找到Llama-index安装目录里的源代码文件，直接在那个白名单字典里，把我们想用的模型名称手动加进去。修改完源码后，记得重启一下Jupyter内核才能生效。
这种方法几乎适用于所有提供OpenAI兼容接口的模型，适用性非常广。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：Ai探索者，转载请注明出处：https://javaforall.net/270834.html原文链接：https://javaforall.net
