Textgen
提供本地语言模型的桌面应用。
Textgen 是面向本地大语言模型的桌面与 Web 界面，连接模型加载、聊天、文件附件和兼容 API，便于在同一工作区试用不同模型。
Textgen 能做什么
原 text-generation-webui 项目现以 TextGen 名称维护。便携版本主要面向 GGUF 与 llama.cpp；需要其他加载器、训练或扩展时，应使用完整安装路线，避免把两种安装的功能视为相同。
切换聊天与自由生成模式
instruct 面向指令，chat 和 chat-instruct 面向角色对话；Notebook 可自由续写。消息支持编辑、版本切换与分支，便于在同一上下文比较不同走向。
给模型附加文件或图像
可附加文本、PDF 和 docx 讨论其中内容；图像理解还需要兼容的视觉模型。上传后应检查模型实际读取到的内容，扫描件等输入不能仅凭文件扩展名判断可读。
根据模型选择加载后端
完整安装支持 llama.cpp、Transformers、ExLlamaV3 等加载器，可切换模型和后端。便携版对应 GGUF；多文件格式要按要求放入模型子目录。
提供兼容 API 与工具调用
项目提供 OpenAI、Anthropic 兼容接口及工具调用，可接入本地客户端或自定义 Python 工具。开启 API、网络监听或外部工具时，应单独配置连接与认证。
- 核心用途
- 本地聊天、文件分析与 API
- 可完成的工作
- 模型试用、长文处理、客户端接入
- 如何开始
- 选择便携包或完整安装
- 使用条件
- 模型格式与加载器必须对应
如何使用 Textgen
- 选安装路线
只用 GGUF 时可选择对应系统和硬件的便携包；需要训练、其他后端或扩展时按完整安装说明准备依赖。
- 放置模型
将 GGUF 放入 user_data/models；多文件模型放入独立子目录，且使用支持该格式的完整安装。
- 启动并选择模式
便携包启动 textgen；完整安装运行对应系统的 start 脚本。加载模型后选择 instruct、chat 或 Notebook 等工作模式。
- 验证并保存配置
从短提示词开始检查回答，再加入附件或启用 API。持久启动参数可以写入官方指定的 CMD_FLAGS 配置，改动前保留原配置。
比较两种本地模型的回答
适合：模型爱好者
- 准备输入
- 相同提示词、模型与生成设置
- 操作方法
- 编辑建议：固定输入和采样设置，逐一切换模型并记录回答。
- 预期交付物
- 可人工对比的模型输出
- 人工检查
- 区分回答质量和本机推理速度，不用单次回答下结论。
围绕一份文档提问
适合：研究与写作人员
- 准备输入
- 可解析的 PDF、docx 或文本
- 操作方法
- 编辑建议：先让模型概括结构，再问带具体章节的问题。
- 预期交付物
- 文档摘要与问答草稿
- 人工检查
- 回到原文件检查数字、引用与遗漏。
为开发工具提供本地接口
适合：应用开发者
- 准备输入
- 模型、兼容客户端与测试请求
- 操作方法
- 编辑建议：先在 UI 确认生成正常，再开启 API 并发送小请求。
- 预期交付物
- 可调用的本地模型接口
- 人工检查
- 核对接口协议、消息模板、认证和返回格式。
界面与参考图片
开始前需要了解
便携版不含全部能力
ExLlamaV3、Transformers、训练、图像生成和部分扩展需要完整安装；完整安装还会下载 PyTorch 并占用额外磁盘。
视觉与工具能力取决于模型
界面提供图片附件和工具入口，不代表所加载的每个模型都能正确理解图像或调用函数；需检查具体模型支持。
网络入口会改变访问边界
--listen 可使 Web UI 在局域网可访问；API 与管理操作有各自密钥选项。不要把仅在本机测试的配置直接当作公开服务配置。
模型格式与加载器必须对应
账号权限、费用与可用功能请以官方入口的当前说明为准。重要结果应先检查，再用于实际工作。
常见问题
Textgen 与 text-generation-webui 有什么关系？
它们是同一官方项目的现行名称与历史名称，当前仓库为 oobabooga/textgen。
便携版能加载 Transformers 模型吗？
便携版针对 GGUF；Transformers 和 EXL3 等多文件模型需要完整安装及对应加载器。
本地模型也可以作为 API 使用吗？
可以。项目提供兼容端点，启用后让客户端连接本地服务；还要检查具体接口和工具调用支持。
可以通过图片附件让所有模型识图吗？
不可以。附件入口只是传递方式，必须使用兼容的多模态模型和配置。
