通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

将 Open WebUI 与 Foundry Local 集成

重要

  • Foundry Local 以预览版形式提供。 通过公共预览版，可以提前访问正处于开发状态的功能。
  • 正式发布 (GA) 之前，功能、方法和流程可能会发生更改或功能受限。

本教程介绍如何使用 Foundry Local 和 Open WebUI 创建聊天应用程序。 完成后，你将在本地设备上运行一个功能正常的聊天界面。

先决条件

在开始本教程之前，需要：

为聊天设置 Open WebUI

  1. 按照 Open WebUI GitHub 存储库中的说明安装 Open WebUI。

  2. 在终端中使用以下命令启动 Open WebUI：

    open-webui serve

  3. 打开 Web 浏览器并转到 http://localhost:8080。

  4. 启用直接连接：

    1. 在配置文件菜单中选择 “设置 ”和 “管理员设置 ”。
    2. 在导航菜单中选择 “连接 ”。
    3. 通过打开开关启用 直接连接 。 这样，用户就可以连接到自己的 OpenAI 兼容 API 终结点。

  5. 将 Open WebUI 连接到 Foundry 本地：

    1. 在配置文件菜单中选择 “设置 ”。
    2. 在导航菜单中选择 “连接 ”。
    3. 在“管理直接连接”中选择 +。
    4. 对于 URL，输入 http://localhost:PORT/v1，其中 PORT 是 Foundry 本地终结点端口（使用 CLI 命令 foundry service status 来查找该端口）。 请注意，Foundry Local 动态分配端口，因此它并不总是相同的。
    5. 对于 身份验证，请选择“ 无”。
    6. 选择保存

  6. 开始与模型聊天：

    1. 加载的模型显示在顶部的下拉列表中
    2. 从列表中选择任何模型
    3. 在底部的输入框中键入消息

就是这样！ 现在，你正在与在本地设备上完全运行的 AI 模型聊天。

后续步骤