langchain接入国内Embedding——混元Embedding

langchain接入国内Embedding——混元Embedding

使用
LangChain 集成
Embedding 服务或模型
LangChain 是一种用于构建语言处理应用程序的框架,它能够轻松集成各种嵌入(
embedding)服务或模型。以下是关于如何使用
LangChain 连接到
Embedding 服务或模型的一个教程示例。 安装依赖项 为了实现这一功能,首先需要安装 `
langchain` 和所需的嵌入提供者库。例如,如果计划使用 OpenAI 的嵌入服务,则可以运行以下命令来安装必要的包: “`bash pip install
langchain openai “` 初始化
LangChain 并加载
Embedding 模型 下面是一个简单的 Python 脚本,展示如何通过
LangChain 加载并调用一个预定义的嵌入模型: “`python from
langchain.
embeddings import OpenAI
Embeddings # 设置 API 密钥环境变量或其他认证方式 (此处假设已设置 OPENAI_API_KEY)
embeddings = OpenAI
Embeddings() text = “This is an example sentence.” query_result =
embeddings.embed_query(text) print(f”The
embedding vector has {len(query_result)} dimensions.”) “` 上述代码片段展示了如何利用 OpenAI 提供的服务创建文本向量表示[^1]。注意,在实际部署前需确保配置好相应的 API 访问权限。 对于自托管解决方案或者希望减少对外部API依赖的情况,也可以考虑其他本地化选项比如 Hugging Face Transformers 库中的某些预训练模型作为替代方案之一[^3]。 自定义
Embedding 实现 当不适用第三方云平台所提供的在线接口时,还可以基于 PyTorch 或 TensorFlow 构建自己的
embedding 层次结构,并将其封装进
LangChain 流程里去完成相似的任务需求分析过程如下所示: “`python import torch from transformers import AutoTokenizer, AutoModel from
langchain.
embeddings.base import
Embeddings class CustomHFEmbedder(
Embeddings): def __init__(self,model_name=”sentence
transformers/all
MiniLM
L6
v2″): self.tokenizer = AutoTokenizer.from_pretrained(model_name) self.model = AutoModel.from_pretrained(model_name).eval() @torch.no_grad() def embed_documents(self,texts): inputs=self.tokenizer(list(map(str.strip,texts)),return_tensors=’pt’,padding=True,truncation=True,max_length=512) 元宝 混元 Hunyuan 教程 outputs=self.model(inputs)[0][:,0,:].numpy().tolist() return outputs custom_embedder=CustomHFEmbedder() texts=[“First document.”,”Second one.”] result=custom_embedder.embed_documents(texts) for r in result[:2]: print(len(r)) “` 此部分演示了怎样借助 HuggingFace Transformer 创建了一个继承自
LangChain 抽象类 `
Embeddings` 的新类型对象——即我们称之为 “CustomHFEmbedder”。该定制版本允许用户灵活指定任意兼容架构下的具体实例名称来进行初始化操作。 结论 无论是选用远程 RESTful Web Service 形式的插件扩展形式还是完全离线模式下依靠开源社区贡献成果自行搭建私有计算资源池的方式都可以很好地满足不同场景下的应用开发诉求[^1]。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:Ai探索者,转载请注明出处:https://javaforall.net/262290.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月12日 下午10:44
下一篇 2026年3月12日 下午10:44


相关推荐

关注全栈程序员社区公众号