了解 Azure 机器学习中的微调基础模型
若要从 Azure 机器学习中的模型目录中微调基础模型,可以使用工作室、Python SDK 或 Azure CLI 中提供的用户界面。
准备好数据并进行计算
在微调基础模型以提高模型性能之前,需要准备训练数据并创建 GPU 计算群集。
小窍门
在 Azure 机器学习中创建 GPU 计算群集时,将为你创建 GPU 优化虚拟机。 详细了解 Azure 中提供的 GPU 虚拟机大小。
训练数据可以是 JSON 行 (JSONL)、CSV 或 TSV 格式。 数据的要求因要微调模型的特定任务而异。
| 任务 | 数据集要求 |
|---|---|
| 文本分类 | 两列:Sentence(字符串)和 Label(整数/字符串) |
| 标记分类 | 两列:Token(字符串)和 Tag(字符串) |
| 问答 | 五列:Question(字符串)、Context(字符串)、Answers(字符串)、Answers_start(整数)和 Answers_text(字符串) |
| 综述 | 两列:Document(字符串)和 Summary(字符串) |
| 翻译 | 两列:Source_language(字符串)和 Target_language(字符串) |
注释
数据集需要满足必要的条件。 不过,你可以使用不同的列名,并将列映射到相应的要求。
准备好数据集和计算群集后,可以在 Azure 机器学习中配置微调作业。
选择基础模型
导航到 Azure 机器学习工作室中的模型目录时,可以浏览所有基础模型。
可以根据要针对其微调模型的任务筛选可用模型。 对于每个任务,有多个基础模型选项可供选择。 在决定任务的基础模型时,可以查看模型的描述和引用的模型卡。
在微调之前,在决定基础模型时,可能会考虑一些注意事项:
- 模型功能:评估基础模型的功能以及它们与任务的匹配程度。 例如,BERT 之类的模型更善于理解短文本。
- 预训练数据:考虑用于预训练基础模型的数据集。 例如,GPT-2 在互联网上未经筛选的内容上进行训练,这可能会导致产生偏见。
- 限制和偏差:请注意基础模型中可能存在的任何限制或偏差。
- 语言支持:了解哪些模型提供用例所需的特定语言支持或多语言功能。
小窍门
虽然 Azure 机器学习工作室提供了模型目录中每个基础模型的说明,但还可以通过相应的模型卡找到有关每个模型的详细信息。 模型卡在每个模型的概述中引用,并托管在 Hugging Face 的网站上
配置微调作业
若要使用 Azure 机器学习工作室配置微调作业,需要执行以下步骤:
- 选择基础模型。
- 选择 “Finetune ”以打开有助于配置作业的弹出窗口。
- 选择任务类型。
- 选择训练数据并将训练数据中的列映射到数据集要求。
- 让 Azure 机器学习自动拆分训练数据以创建验证和测试数据集,或提供自己的数据集。
- 选择由 Azure 机器学习管理的 GPU 计算群集。
- 选择“完成”以提交微调作业。
小窍门
(可选)可以浏览高级设置以更改设置,例如微调作业和任务参数的名称(例如学习速率)。
提交微调作业后,将创建流水线作业来训练模型。 可以查看所有输入并从作业输出中收集模型。