简介

  • 1 分钟

生成 AI 应用程序基于 语言模型构建。 开发过程通常从探索和比较可用的 基础 模型开始，以找到最适合应用程序特定需求的模型。 选择合适的模型后，将其部署到客户端应用程序或 AI 代理可以使用的终结点。

基础模型（如 GPT 模型系列）是最先进的语言模型，旨在理解、生成和与自然语言交互。 模型的一些常见用例包括：

  • 语音转文本和文本转语音的转换。 例如，生成视频字幕。
  • 机器翻译。 例如，将文本从英语翻译为日语。
  • 文本分类。 例如，将电子邮件标记为垃圾邮件或非垃圾邮件。
  • 实体提取。 例如，从文档中提取关键字或名称。
  • 文本摘要。 例如，根据多页文档生成一个简短的单段摘要。
  • 问题解答。 例如，提供“法国的首都是哪里？”等问题的答案
  • 推理。 例如，解决数学问题。

本模块重点介绍用于解答问题的基础模型。 探索的基础模型可用于聊天应用程序，在该应用程序中，可以使用语言模型来生成对用户问题的答复。

注意

生成式 AI 模型的最新突破归功于 转换器 体系结构的开发。 Transformer 是在 2017 年 Vaswani 等人撰写的《Attention is all you need》（注意力是你所需要的一切）论文中引入的。 Transformer 体系结构为 NLP 带来了两项创新，并由此产生了基础模型：

  • Transformer 不是按顺序处理单词，而是通过使用“注意力”独立地并行处理每个单词。
  • 除了单词之间的语义相似性之外，Transformers 还使用位置编码来包含有关单词在句子中的位置的信息。