PrivateGPT
在本地模型上为 AI 应用提供资料检索和工具接口。
PrivateGPT 是构建私有AI应用的API层，提供消息、资料摄取、引用检索和工具接口；模型推理由另行运行的兼容服务负责。
PrivateGPT 能做什么
当前产品以API为核心，内置/ui工作台用于测试和演示。它不等同于一个已经包含全部模型的桌面聊天软件。
构建应用时需要同时准备推理、嵌入及必要的数据存储，再按任务启用检索、数据库或MCP能力。
提供应用消息接口
API支持消息、流式输出、异步处理和token计数，为自己的应用提供统一的交互层。
摄取资料并返回引用
可接入文件与产物，通过带引用的检索及Agentic RAG组织文档上下文。
连接数据库和工具
提供数据库、CSV、内置工具、自定义工具和MCP连接等能力，可按应用需要组合。
使用工作台检查请求
/ui工作台可选择模型、上传文档、测试引用、启用工具并通过API Debugger观察请求和响应。
- 核心用途
- 消息API、资料摄取、引用检索与工具
- 可完成的工作
- 为本地模型搭建文档问答或业务应用后端
- 如何开始
- 先运行兼容推理服务，再配置PrivateGPT
- 使用条件
- 它本身不运行模型；部分接口能力依赖推理服务
如何使用 PrivateGPT
- 启动推理和嵌入服务
先准备实现相应兼容接口的推理服务；PrivateGPT本身不会加载并运行模型。
- 安装并配置API地址
按系统选择官方安装方式，设置OPENAI_API_BASE及嵌入服务地址后启动服务。
- 打开工作台测试
访问/ui，用短消息、少量文件和明确问题检查模型与引用检索。
- 再连接业务应用
将通过检查的API流程接入客户端，按任务逐项开放工具、数据库或MCP。
搭建私有资料问答原型
适合：开发内部AI应用的人
- 准备输入
- 可用推理服务、嵌入模型和少量测试资料。
- 操作方法
- 编辑建议：配置模型地址后通过工作台上传资料，先检查检索引用，再把通过的流程接入应用。
- 预期交付物
- 可继续开发的资料问答API原型。
- 人工检查
- 核对模型实际运行位置、引用命中和访问范围。
让程序查询表格资料
适合：处理结构化信息的开发者
- 准备输入
- 可供测试的CSV或数据库及只读问题。
- 操作方法
- 编辑建议：配置数据连接，先使用只读小样本检查字段和查询结果，再接应用界面。
- 预期交付物
- 与结构化数据关联的回答。
- 人工检查
- 对照原始行列，确认连接账号没有多余写入权限。
为现有客户端接本地后端
适合：集成AI工具的开发者
- 准备输入
- 客户端协议要求、推理地址与目标模型。
- 操作方法
- 编辑建议：先确认接口兼容范围，再发送基础消息，逐步测试工具和结构化输出。
- 预期交付物
- 适配特定客户端的本地后端。
- 人工检查
- 不能把基础聊天通过推断成所有高级接口兼容。
界面与参考图片
开始前需要了解
模型服务是前置条件
需要能提供/v1/chat/completions及/v1/models等接口的兼容服务；仅安装PrivateGPT无法完成推理。
部分能力有兼容范围
官方矩阵将结构化输出标为推理依赖、视觉标为模型依赖，Skills仅部分支持；不应假设所有端点完全等价。
企业平台能力另属Zylon
Zylon增加完整部署、治理、用户管理等企业能力；不能把这些自动算入PrivateGPT开源API层。
PrivateGPT本身不运行模型，需要独立兼容推理服务；视觉与结构化输出受模型或推理后端限制。
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
常见问题
PrivateGPT会自己运行模型吗？
不会。它连接已有兼容推理服务，模型运行、资源和授权由对应服务与模型决定。
可以只用内置工作台吗？
工作台可以测试、演示或进行本地试用，但核心产品是API，正式应用通常需要自己的界面与业务流程。
有文档引用能力吗？
有，文件摄取和检索支持引用，可在工作台先检查再接入自己的程序。
它包含企业单点登录与完整运维平台吗？
不能这样理解。官方区分PrivateGPT应用API层与Zylon完整企业基础设施，能力和条件分别确认。
