news 2026/5/1 6:28:34

06-FAISS向量数据库

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
06-FAISS向量数据库

①.基于 FAISS(Facebook 开源的高效向量检索库)和 LangChain 构建的中文文本向量检索系统,核心功能是将文本数据向量化后存入 FAISS 向量库,并实现相似性检索。

1.安装FAISS

pip install faiss-cpu,也可以是gpu,看具体使用情况

2.实现代码

import faiss from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_huggingface import HuggingFaceEmbeddings from langchain_core.documents import Document model_name = "BAAI/bge-large-zh-v1.5" model_kwargs = {'device': 'cpu'} encode_kwargs = {'normalize_embeddings': True} # set True to compute cosine similarity bge_hf_embedding = HuggingFaceEmbeddings( model_name=model_name, model_kwargs=model_kwargs, encode_kwargs=encode_kwargs, ) #1.初始化数据库 #先创建索引 #向量维度 index=faiss.IndexFlatL2(1024) vector_store=FAISS( embedding_function=bge_hf_embedding, index=index, docstore=InMemoryDocstore(), index_to_docstore_id={} ) # 2、 准备数据(Document) #page_content里面的数据必须经过向量化,不需要向量化的数据放在metadata document_1 = Document( page_content="今天早餐我吃了巧克力薄煎饼和炒蛋。", metadata={"source": "tweet", "time": "上午"}, ) document_2 = Document( page_content="明天的天气预报是阴天多云,最高气温62华氏度。", metadata={"source": "news"}, ) document_3 = Document( page_content="正在用LangChain构建一个激动人心的新项目——快来看看吧!", metadata={"source": "tweet"}, ) document_4 = Document( page_content="劫匪闯入城市银行,盗走了100万美元现金。", metadata={"source": "news"}, ) document_5 = Document( page_content="哇!那部电影太精彩了,我已经迫不及待想再看一遍。", metadata={"source": "tweet"}, ) document_6 = Document( page_content="新iPhone值得这个价格吗?阅读这篇评测一探究竟。", metadata={"source": "website"}, ) document_7 = Document( page_content="当今世界排名前十的足球运动员。", metadata={"source": "website"}, ) document_8 = Document( page_content="LangGraph是构建有状态智能体应用的最佳框架!", metadata={"source": "tweet"}, ) document_9 = Document( page_content="由于对经济衰退的担忧,今日股市下跌500点。", metadata={"source": "news"}, ) document_10 = Document( page_content="我有种不好的预感,我要被删除了 :(", metadata={"source": "tweet"}, ) documents = [ document_1, document_2, document_3, document_4, document_5, document_6, document_7, document_8, document_9, document_10, ] ids=['id'+str(i+1) for i in range(len(documents))] vector_store.add_documents(documents,ids=ids) #把数据库写入磁盘 vector_store.save_local('../faiss_db') #语言检索 resp=vector_store.similarity_search('今天的投资建议',2) for i in resp: print(i.page_content) print(type(i))

输出:

左边的文件栏也会出现保存的数据库:

②.从保存的向量数据库中进行检索

from langchain_community.docstore import InMemoryDocstore from langchain_community.vectorstores import FAISS from langchain_core.embeddings import Embeddings from sentence_transformers import SentenceTransformer from langchain_core.documents import Document import faiss class CustomQwen3Embeddings(Embeddings): ''' 定义一个Qwen3的Embedding和lang'chain整合的类 ''' def __init__(self,model_name): self.qwen3_embedding = SentenceTransformer(model_name) #输入的问题向量化 def embed_query(self, text: str) -> list[float]: return self.embed_documents([text])[0] #文本内容向量化 def embed_documents(self, texts: list[str]) -> list[list[float]]: return self.qwen3_embedding.encode(texts) qwen3=CustomQwen3Embeddings('Qwen/Qwen3-Embedding-0.6B') #加载数据库 vector_store=FAISS.load_local('../faiss_db',embeddings=qwen3,allow_dangerous_deserialization=True) resp = vector_store.similarity_search_with_score('有美食的内容吗', k=4, filter={"source": 'tweet'}) # 带分数 for i,score in resp: print(type(i)) print(i) print(i.id) print(f"{score:3f}")

输出:

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/29 13:16:29

YOLO实时检测模型在自动驾驶中的应用实践

YOLO实时检测模型在自动驾驶中的应用实践 在城市交通日益复杂的今天,一辆智能汽车每秒都要处理成千上万条视觉信息——突然横穿马路的行人、变道中的车辆、模糊的交通标志……这些都要求感知系统在毫秒级内做出准确判断。而在这背后,YOLO(Yo…

作者头像 李华
网站建设 2026/4/30 12:21:42

TensorRT-8显式量化与QAT实践解析

TensorRT-8显式量化与QAT实践解析 在边缘计算和推理加速日益成为AI落地瓶颈的今天,单纯依靠模型压缩或剪枝已难以满足低延迟、高吞吐的实际需求。真正的性能突破,往往来自于训练与推理之间的闭环协同——而TensorRT-8引入的显式量化支持,正是…

作者头像 李华
网站建设 2026/4/24 21:38:26

零日漏洞的崛起:网络安全的永恒军备竞赛

RISE OF 0-DAY 0day stories Follow 5 min read Dec 24, 2024 1011 Listen Share Press enter or click to view image in full size Hello, Bug Bounty Hunters! 👾 想象一下:你是一名安全研究员(就像我一样&#xf…

作者头像 李华
网站建设 2026/5/1 9:41:58

腾讯云游戏音视频方案如何助力初创公司提升用户粘性?

腾讯云游戏音视频方案通过强化社交属性、提升互动体验、降低流失风险三大核心路径,帮助初创公司显著提升用户粘性。 一、社交功能强化用户关系链 腾讯云GME(游戏多媒体引擎)和TRTC(实时音视频)方案为游戏注入强大的社…

作者头像 李华
网站建设 2026/4/29 22:50:46

Java中List集合的核心概念

Java中List集合的核心概念1. List的本质:是Java集合框架中 Collection 接口的子接口,属于有序集合,元素的存储顺序与添加顺序一致,且允许存储重复元素,也支持存储 null 值。2. 核心特性- 有序性:元素有明确…

作者头像 李华
网站建设 2026/5/1 9:39:02

【Java毕设源码分享】基于springboot+vue的疫情信息管理系统设计与实现(程序+文档+代码讲解+一条龙定制)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华