集成并负责任使用摘要的指南

Microsoft希望帮助你开发和部署以负责任的方式使用摘要功能的解决方案。 Microsoft考虑 AI 系统的以下方面，采取原则性方法来维护个人代理和尊严：公平、可靠性和安全、隐私和安全、包容性、透明度和人类责任。 这些注意事项反映了我们对 开发负责任的 AI 的承诺。

一般准则

准备好集成并负责任地使用 AI 提供支持的产品或功能时，以下活动有助于为成功做好准备。 尽管每个准则都不太可能适用于所有方案，但将它们视为缓解可能风险的起点：

• 了解它可以做什么，以及如何滥用它。 全面评估您所使用任何 AI 系统的能力，以便了解其功能和局限性。 Microsoft执行的特定测试可能不会反映你的方案。 通过用反映您环境的现实条件和多样化数据全面测试，了解它在您的特定场景中将如何表现。 包括公平性注意事项。

• 使用真实、多样化的数据进行测试。 了解你的系统如何在情境中表现。 使用真实情况以及反映用户、地理位置和部署上下文多样性的数据对其进行全面测试。 不反映端到端方案的小型数据集、综合数据和测试不太可能充分表示生产性能。

• 评估系统。 请考虑使用对抗测试，其中受信任的测试人员尝试查找系统故障、性能不佳或不良行为。 此信息可帮助你了解风险以及如何缓解风险。 向利益干系人传达功能和限制。 为了帮助你评估系统，你可能会发现其中一些资源很有用： GitHub 上的清单、 挪威鲑鱼的陈规定型清单：公平基准数据集中的陷阱清单 （Blodgett et al.， 2021 年），以及 《随机性鹦鹉的危险：语言模型是否太大？ （Bender et al.， 2021 年）。

• 了解公平性。 出于各种原因，AI 系统的行为不公平。 有些是社交的，有的是技术性的，有的是两者的组合。 很少有明确的解决方案。 缓解方法通常依赖于上下文。 了解公平性有助于了解预期内容，以及如何减轻潜在危害。 若要详细了解Microsoft使用的方法，请参阅 “负责任的 AI 资源”、“ AI 公平性清单”以及 来自Microsoft研究的资源。

• 尊重个人的隐私权利。 仅出于合法且正当的目的收集个人的数据和信息。 仅将数据和信息用于客户同意的目的。

• 在开发期间进行用户测试，并在部署后征求反馈。 请考虑使用区分价值的设计来识别利益干系人。 与他们协作，确定其值以设计支持这些值的系统。 在开发和评估过程中，寻求来自不同群体的反馈。 使用 社区陪审团等策略。

  与不同的利益干系人进行用户测试。 然后分析利益干系人组细分的结果。 包括来自不同人口群体的利益干系人。 考虑在部署环境中进行在线实验、环形测试、内部测试、现场试验或试点。

• 限制输入和输出的长度、结构、速率和源。 限制输入和输出长度可以减少风险的可能性。 此类风险包括产生不良内容、滥用于超出预期应用用例的过于笼统的用途，或其他有害、不允许或意外的情况。

• 请考虑要求提示词按照某种方式构建。 它们可以局限于特定主题，也可以从经过验证的来源（如下拉列表字段）中选择。 请考虑输出的结构，以免获得过于开放式的结尾。 请考虑从已验证的可靠源材料（如现有支持文章）返回输出，而不是连接到 Internet。 此限制可帮助应用程序继续执行任务并缓解不公平、不可靠或冒犯行为。 实施速率限制可以进一步减少滥用。

• 实现阻止列表和内容审查。 让应用程序保持专注于主题。 考虑阻止列表和内容审查策略，以检查不受欢迎的内容的输入和输出。 不需要的内容的定义取决于你的方案，并且可能会随时间而变化。 它可能包括仇恨言论、包含亵渎字词或短语的文本、错误信息以及与敏感或情感上收费的主题相关的文本。 即使恶意用户尝试生成不需要的内容，检查输入也有助于将应用程序保留在主题上。 通过检查 API 输出，可以检测系统生成的意外内容。 然后，可以替换它，报告它，要求用户输入不同的输入，或提供输入示例。

• 对用户进行身份验证。 若要使滥用更加困难，请考虑要求客户登录，并根据需要链接有效的付款方式。 请考虑仅在开发早期阶段与已知受信任的客户合作。

• 确保人工监督。 特别是在高风险方案中，保持人类在决策中的作用。 披露 AI 的所作所为，而不是人类所做的。

  根据你的方案，生命周期中有一些阶段，你可以在其中添加人工监督。 确保可以对解决方案进行实时人工干预，以防止伤害。 例如，生成摘要时，编辑器应在发布前查看摘要。 理想情况下，请通过用户测试和部署后评估部署前人工监督的有效性。

• 具有客户反馈循环。 提供反馈通道，使用户和个人能够在部署后报告服务问题。 问题可能包括不公平或不良行为。 部署 AI 赋能的产品或功能后，需要持续进行监视和改进。 建立渠道，收集可能直接或间接受到系统影响的利益干系人的问题和关注点，如员工、访问者和公众。 示例包括：

  • 内置于应用体验中的反馈功能。
  • 用于反馈的易记电子邮件地址。

• 进行法律审查。 获取适当的法律建议来查看解决方案，尤其是在敏感或高风险应用程序中使用它时。 了解可能需要在哪些限制内工作。 明确你有责任去解决将来可能出现的任何问题。 确保适当地使用数据集。

• 进行系统审查。 你可能计划将 AI 提供支持的产品或功能集成到现有软件、客户和组织流程系统中并负责任地使用。 如果是这样，请花时间了解系统的每个部分将受到怎样的影响。 考虑 AI 解决方案如何与Microsoft使用的负责任的 AI 原则保持一致。

• 安全性。 确保解决方案安全，并具有足够的控件来保留内容的完整性，并防止任何未经授权的访问。

建议的内容

• 评估应用程序以符合 负责任的 AI 原则。

• 使用 Microsoft HAX 工具包。 该工具包建议 AI 系统在初始交互时、日常交互中、当它们不可避免地出错时以及随着时间变化时应该如何表现的最佳实践。

• 遵循负责任开发对话式 AI 系统的 Microsoft 准则。 开发并部署为聊天机器人或其他聊天 AI 系统提供支持的语言模型时，请使用指南。

• 使用Microsoft 包容性设计准则 来构建非独占解决方案。