通过

你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Foundry Local CLI 参考

重要

  • Foundry Local 以预览版形式提供。 通过公共预览版，可以提前访问正处于开发状态的功能。
  • 正式发布 (GA) 之前，功能、方法和流程可能会发生更改或功能受限。

本文提供了 Foundry Local 命令行接口（CLI）的综合参考。 CLI 将命令组织成逻辑类别，以帮助管理模型、控制服务和维护本地缓存。

概述

使用帮助选项查看所有可用的命令：

foundry --help

CLI 将命令组织为三个主要类别：

  • 模型：用于管理和运行 AI 模型的命令
  • 服务：用于控制 Foundry 本地服务的命令
  • 缓存：用于管理本地模型存储的命令

模型命令

下表总结了与管理和运行模型相关的命令：

注释

可以通过参数model或模型 ID 来指定参数。 使用别名：

  • 为可用硬件选择 最佳模型 。 例如，如果有可用的 Nvidia CUDA GPU，Foundry Local 将选择 CUDA 模型。 如果有受支持的 NPU 可用，Foundry Local 会选择 NPU 模型。
  • 允许使用较短的名称，而无需记住模型 ID。

如果要运行特定模型，请使用模型 ID。 例如，若要在 qwen2.5-0.5b CPU 上运行（无论可用的硬件如何），请使用： foundry model run qwen2.5-0.5b-instruct-generic-cpu

如果在 Windows 上安装了 Intel NPU，请确保安装 Intel NPU 驱动程序以实现最佳 NPU 加速。

命令 说明
foundry model --help 显示所有可用的模型相关命令及其用法。
foundry model run <model> 运行指定的模型，下载它（如果未缓存）并启动交互。
foundry model list 列出所有可用的模型供本地使用。 首次运行时，它会为硬件下载执行提供程序 (EP)。
foundry model list --filter <key>=<value> 列出按指定条件（设备、任务、别名、提供程序）筛选的模型。
foundry model info <model> 显示有关特定模型的详细信息。
foundry model info <model> --license 显示特定模型的许可证信息。
foundry model download <model> 在不运行模型的情况下将模型下载到本地缓存。
foundry model load <model> 将模型加载到服务中。
foundry model unload <model> 从服务中卸载模型。

模型列表筛选

该 foundry model list 命令支持使用 --filter 选项筛选模型。 可以使用键值对基于单个属性筛选模型。

foundry model list --filter <key>=<value>

注释

安装完成后首次运行foundry model list时，Foundry Local会根据您计算机的硬件配置自动下载相关的执行提供程序（EP）。 此时会看到一个进度栏，指示模型列表出现之前下载完成。

支持的筛选器键：

设备 - 硬件设备类型

按其运行的硬件设备筛选模型。

可能的值：

  • CPU - 中央处理单元模型
  • GPU - 图形处理单元模型
  • NPU - 神经处理单元模型

提供者 - 执行提供者

按其执行提供程序/运行时筛选模型。

可能的值：

  • CPUExecutionProvider - 基于 CPU 的执行
  • CUDAExecutionProvider - NVIDIA CUDA GPU 执行
  • WebGpuExecutionProvider - WebGPU 的执行
  • QNNExecutionProvider - 高通神经网络运算 （NPU）
  • OpenVINOExecutionProvider - Intel OpenVINO 执行
  • NvTensorRTRTXExecutionProvider - NVIDIA TensorRT 执行过程
  • VitisAIExecutionProvider - AMD Vitis AI 执行

任务 - 模型任务类型

按其预期用例/任务筛选模型。

常见值：

  • chat-completion：对话式 AI 模型
  • text-generation：文本生成模型

alias - 模型别名

按其别名标识符筛选模型。 支持以 * 为后缀的通配符匹配。

示例值：

  • phi4-cpu
  • qwen2.5-coder-0.5b-instruct-generic-cpu
  • deepseek-r1-distill-qwen-1.5b-generic-cpu
  • phi-4-mini-instruct-generic-cpu

特殊筛选器功能

否定支持： 将任何值作为前缀，以 ! 排除匹配的模型。

foundry model list --filter device=!GPU

通配符匹配（仅限别名）： 在按别名筛选时追加 * 以匹配前缀。

foundry model list --filter alias=qwen*

例子

foundry model list --filter device=GPU
foundry model list --filter task=chat-completion
foundry model list --filter provider=CUDAExecutionProvider

注释

  • 所有比较不区分大小写。
  • 每个命令只能使用一个筛选器。
  • 无法识别的筛选器键会导致错误。

服务命令

下表总结了与管理和运行 Foundry Local 服务相关的命令：

命令 说明
foundry service --help 显示所有可用的服务相关命令及其用法。
foundry service start 启动 Foundry Local 服务。
foundry service stop 停止 Foundry Local 服务。
foundry service restart 重启 Foundry 本地服务。
foundry service status 显示 Foundry 本地服务的当前状态。
foundry service ps 列出 Foundry Local 服务中当前加载的所有模型。
foundry service diag 显示 Foundry 本地服务的日志。
foundry service set <options> 设置 Foundry 本地服务的配置。

缓存命令

下表汇总了用于管理存储模型的本地缓存的命令：

命令 说明
foundry cache --help 显示所有可用的缓存相关命令及其用法。
foundry cache location 显示当前缓存目录。
foundry cache list 列出存储在本地缓存中的所有模型。
foundry cache cd <path> 将缓存目录更改为指定的路径。
foundry cache remove <model> 从本地缓存中删除模型。