了解何时微调语言模型

在开始微调模型之前，你需要清楚地了解什么是微调，以及何时应使用它。

使用 Azure AI Foundry 开发聊天应用程序时，可以使用提示流创建与语言模型集成的聊天应用程序来生成响应。 若要提高模型生成的响应的质量，可以尝试各种策略。 最简单的策略是应用“提示设计”。 你可以更改问题的格式，但也可以更新随提示一起发送到语言模型的系统消息。

提示工程是一种快速而简单的方法，可以改进模型的行为方式以及模型需要了解的内容。 若要进一步提高模型的质量，可以使用两种常用技术：

• 检索扩充式生成 (RAG)：在生成响应之前，首先从数据源中检索上下文，以此为基础构建数据。
• 微调：基于数据集训练基本语言模型，然后将其集成到应用程序中。

当你需要模型的响应是真实的并基于特定数据时，通常应用 RAG。 例如，你希望客户询问有关你在旅行预订目录中提供的酒店的问题。 另一方面，当你希望模型以某种方式表现时，微调可以帮助你实现目标。 你还可以使用优化策略的组合（例如 RAG 和微调的模型）来改进你的语言应用程序。

模型需要如何行动主要与模型生成的回复的风格、格式和语气有关。 当你希望模型在回复时遵循特定的风格和格式时，也可以通过提示工程来指示模型这样做。 然而，有时，提示工程可能不会产生一致的结果。 模型仍然可能会忽略你的指示并以不同的方式进行操作。

在提示工程中，用来“强制”模型以特定格式生成输出的一种方法是向模型提供所需输出的各种示例，也称为“单样本”（一个示例）或“少样本”（几个示例）。 尽管如此，你的模型可能并不总是按你指定的风格和格式生成输出。

为了最大限度地提高模型行为的一致性，你可以使用自己的训练数据对基本模型进行微调。