探索变体和监控选项

  • 6 分钟

在生产过程中，需要优化和部署你的流程。 最后，你需要监视你的流，以了解何时需要对其进行改进。

可以使用 变体优化流，可以将流部署到 终结点，还可以通过评估关键指标来监视流。

探索变体

提示流“变体”是具有不同设置的工具节点的版本。 目前，LLM 工具仅支持变体，其中变体可以表示不同的提示内容或连接设置。 变体允许用户自定义特定任务的方法，例如汇总新闻文章。

使用变体的一些好处包括：

  • 提高 LLM 生成的质量：创建 LLM 节点的多样变体有助于找到高质量内容的最佳提示和设置。
  • 节省时间和精力：变体允许轻松管理和比较不同的提示版本，简化历史跟踪并减少在提示优化方面的工作量。
  • 提高工作效率：它们简化了 LLM 节点的优化，从而更快地创建和管理变体，从而缩短了时间。
  • 简化比较：变体支持并行结果比较，有助于根据数据驱动决策选择最有效的变体。

将流部署到终结点

如果对流的性能感到满意，则可以选择将其部署到“联机终结点”。 终结点是可从任何应用程序调用的 URL。 对联机终结点进行 API 调用时，可以期待（几乎）即时响应。

将流部署到联机终结点时，提示流会生成 URL 和密钥，以便可以安全地将流与其他应用程序或业务流程集成。 调用终结点时，将运行流，并实时返回输出。 因此，将流部署到终结点可以（例如）生成希望在另一个应用程序中返回的聊天或代理响应。

监视评估指标

在提示流中，监视评估指标是了解 LLM 应用程序性能的关键，从而确保它们满足实际预期并交付准确的结果。

若要了解应用程序是否满足实际需求，可以收集最终用户反馈并评估应用程序的有用性。 了解应用程序性能是否良好的另一种方法是将 LLM 预测与预期或 地面真相 响应进行比较，以衡量准确性和相关性。 评估 LLM 的预测对于保持 LLM 应用程序可靠且有效至关重要。

指标

用于在提示流中监视评估的每个关键指标都可提供对 LLM 性能的独特见解：

  • 扎根性：评估 LLM 应用程序的输出与输入源或数据库的对齐程度。
  • 相关性：评估 LLM 应用程序的输出与给定输入的关系。
  • 一致性：评估 LLM 应用程序文本的逻辑流和可读性。
  • 流畅性：评估 LLM 应用程序的输出的语法和语言准确性。
  • 相似性：限定 LLM 应用程序的输出与基本真相之间的上下文和语义匹配。

符合性、相关性、一致性、流畅性和相似性等指标是质量保证的关键，可确保与 LLM 应用程序的交互准确有效。 每当 LLM 应用程序未达到预期效果时，需要重新进行实验，通过反复实验探索改进流程的方法。