1、项目介绍
【从内容采集到智能搜索】全栈开源：手把手构建能理解业务逻辑的企业级AI搜索Agent，低代码采集 + 云原生向量库Milvus + MCP协议 + Agent https://youtu.be/i3ul7JAAQIY https://www.bilibili.com/video/BV1whaqzzEK8/
【从内容采集到智能搜索】Milvus Attu图形用户界面可视化管理工具操作指南，创建数据库、定义Schema、创建索引、创建集合、上传本地文件导入数据 https://youtu.be/SaMb4kA7OT0 https://www.bilibili.com/video/BV1sPafzqEEQ/
【从内容采集到智能搜索】N8N低代码平台实现全自动公众号文章内容采集工作流并使用AI Agent自动生成内容摘要 https://youtu.be/bHjI5U3ETLU https://www.bilibili.com/video/BV17mpBz5ELJ/
AI在企业应用的不尽如人意，不仅仅在于工程上的高要求，也在于开发者往往容易沉浸于某些技术细节，却忽视真实场景的复杂性 以看似简单的AI内容搜索为例，用户的需求远非“搜索下关于AI智能体的文章”这样的单维问题，靠着“知识库+向量+LLM”可以轻松解决 而实际情况可能是: "搜索关于AI智能体相关的文章，文章发布时间在2025.09.05之前，发布者是新智元，返回3篇文章并给出文章的标题、链接、发布者" 这类请求融合了向量相似(文本语义)、关键词全文搜索、条件精确过滤、混合搜索等。问题的瓶颈不在LLM，更不是向量数据库。而是: 企业AI应用的大量场景从来都不是孤立的，更多的是与企业的业务紧密联系，这体现在应用、流程与数据多个层面
本项目为大家提供一种解决方案思路，以一个完整的闭环应用案例为大家介绍如何实现如下类似搜索: "搜索关于AI智能体相关的文章，文章发布时间在2025.09.05之前，发布者是新智元，返回3篇文章并给出文章的标题、链接、发布者" 更甚者，存在无关条件信息的干扰，如: 搜索关于AI智能体相关的文章，文章发布时间在2025.09.05之前，发布者是新智元，字数在200字内，价格不超过500元，返回3篇文章并给出文章的标题、链接、发布者
主要实现的功能: (1)使用低代码平台N8N实现对多个微信公众号文章进行自动采集并保存到本地文件 (2)使用主流的开源云原生向量数据库milvus将采集到的数据存储到知识库中并满足语义搜索、全文搜索及混合搜索 (3)将搜索功能封装为标准的MCP Server对外提供服务 (4)大模型(Agent)使用搜索MCP Server进行内容搜索 整体业务流程如下图所示:
2、前期准备工作
2.1 集成开发环境搭建
anaconda提供python虚拟环境,pycharm提供集成开发环境 具体参考如下视频: 【大模型应用开发-入门系列】03 集成开发环境搭建-开发前准备工作 https://youtu.be/KyfGduq5d7w
2.2 大模型LLM服务接口调用方案
(1)gpt大模型等国外大模型使用方案 国内无法直接访问，可以使用代理的方式，具体代理方案自己选择 这里推荐大家使用:https://nangeai.top/register?aff=Vxlp (2)非gpt大模型方案 OneAPI方式或大模型厂商原生接口 (3)本地开源大模型方案(Ollama方式) 具体参考如下视频: 【大模型应用开发-入门系列】04 大模型LLM服务接口调用方案 https://youtu.be/mTrgVllUl7Y
3、项目初始化
3.1 下载源码
GitHub或Gitee中下载工程文件到本地，下载地址如下： https://github.com/NanGePlus/RagWithMilvusTest https://gitee.com/NanGePlus/RagWithMilvusTest
3.2 构建项目
使用pycharm构建一个项目，为项目配置虚拟python环境 项目名称：RagWithMilvusTest 虚拟环境名称保持与项目名称一致
3.3 将相关代码拷贝到项目工程中
将下载的代码文件夹中的文件全部拷贝到新建的项目根目录下
3.4 安装项目依赖
新建命令行终端，在终端中运行如下指令进行安装 pip install pymilvus==2.6.0 pip install openai==1.101.0 pip install mcp==1.8.0 pip install requests==2.32.5 注意: 建议先使用要求的对应版本进行本项目测试，避免因版本升级造成的代码不兼容。测试通过后，可进行升级测试
4、功能测试
详见各个部分的说明文档