探索连接和运行时

已完成

使用提示流创建大型语言模型(LLM)应用程序时,首先需要配置任何必要的 连接运行时

探索连接

每当希望流连接到外部数据源、服务或 API 时,都需要授权流与该外部服务通信。 创建 连接时,可以在提示流和外部服务之间配置安全链接,确保无缝和安全的数据通信。

显示包含两个节点的流(连接到 Azure AI 搜索和 Azure OpenAI)的示意图。

根据所创建的连接类型,连接会安全地存储终结点、API 密钥或凭据,以便提示流与外部服务通信。 任何必要的机密不会向用户公开,而是存储在 Azure Key Vault 中。

通过设置连接,用户可以轻松地重复使用其流中工具所需的外部服务。

某些内置工具要求配置连接:

连接类型 内置工具
Azure OpenAI LLM 或 Python
OpenAI LLM 或 Python
Azure AI 搜索 矢量数据库查找或 Python
塞尔普 Serp API 或 Python
习惯 Python

提示流连接在两种方案中扮演关键角色。 它们自动执行 API 凭据管理,简化和保护对敏感信息的处理。 此外,它们还支持从各种源进行安全数据传输,对于在不同的环境中维护数据完整性和隐私至关重要。

探索运行时

在创建您的流并且配置工具所需的连接后,您需要运行您的流。 要运行流,需要通过提示流运行时提供的计算

绘制运行时、计算和环境与流相关的关系图。

运行时(1)是一个 计算实例 (2)的组合,提供必要的计算资源,以及一个 环境 (3),用于指定运行流之前需要安装的必要包和库。

使用运行时时,你有一个受控的环境,可在其中运行和验证流,确保一切按预期在稳定设置中工作。 默认环境可用于快速开发和测试。 需要安装其他包时,可以 创建自定义环境