大型语言模型(LLM)

重要

此功能在 Beta 版中。

本页提供了使用无服务器 GPU 计算微调大型语言模型(LLM)的笔记本示例。 这些示例演示了各种微调方法,包括 Low-Rank 适应(LoRA)和完全监督的微调等参数高效方法。

在运行这些笔记本之前,请参阅 最佳做法清单

微调 Qwen2-0.5B 模型

下面的笔记本提供有关如何使用以下命令有效地微调 Qwen2-0.5B 模型的示例:

  • 用于监督微调的转换器强化学习 (TRL)
  • 用于内存高效训练的Liger内核,结合了优化的Triton内核。
  • 用于参数高效微调的 LoRA。

Notebook

获取笔记本

微调 Llama-3.2-3B 与 Unsloth

此笔记本演示如何使用 Unsloth 库微调 Llama-3.2-3B。

Notebook

获取笔记本

微调嵌入模型

此笔记本演示如何使用gte-large-en-v1.5 在单个 A10G 上微调嵌入模型。

Notebook

获取笔记本