你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
重要
- Foundry Local 以预览版提供。 公共预览版提供对活动部署中的功能的早期访问。
- 正式发布 (GA) 之前，功能、方法和流程可能会发生更改或具有受限的功能。
本文列出了 Foundry Local 的最佳做法和故障排除提示。
安全最佳做法
- 仅在符合组织安全策略的环境中运行 Foundry Local。
- 处理敏感数据时，请确保设备满足组织的安全要求。
- 加密缓存包含敏感微调数据的模型的设备上的磁盘。
许可注意事项
查看在 Foundry Local 中运行的模型的许可影响。 运行以下命令，查看目录中每个模型的完整模型许可条款。 在以下命令中，将占位符 <model> 替换为模型名称：
foundry model info <model> --license
生产部署范围
Foundry Local 适用于设备推理、非分布式、容器化或多计算机生产部署。
故障排除
常见问题和解决方案
| 問题 | 可能的原因 | 解决方案 |
|---|---|---|
| 慢推理 | 仅具有大型参数计数的 CPU 模型。 | 当 GPU 优化模型变体可用时，请使用它。 |
| 模型下载失败 | 网络连接问题。 | 检查 Internet 连接并运行 foundry cache list 以验证缓存状态。 |
服务连接错误 （Request to local service failed. Uri:http://127.0.0.1:0/foundry/list） |
端口绑定问题或服务无法访问。 | 运行 foundry service restart 以重启服务并解决端口绑定问题。 |
| 服务无法启动。 | 端口冲突或权限问题。 | 使用 |
| Intel NPU 未检测到或不起作用 | 缺少或过时的 Intel NPU 驱动程序。 | 安装 适用于 Windows 的 Intel NPU 驱动程序 以启用 NPU 加速。 |
高通 NPU 错误 （Qnn error code 5005: "Failed to load from EpContext model. qnn_backend_manager."） |
过时的 Qualcomm NPU 驱动程序或 NPU 资源冲突。 | 安装 Qualcomm NPU 驱动程序。 如果问题仍然存在，请重新启动以清除 NPU 资源冲突，尤其是在使用 Windows Copilot+ 功能之后。 |
winget install Microsoft.FoundryLocal --scope machine 失败并显示“当前系统配置不支持安装此包”。 |
Winget 阻止 MSIX 计算机范围安装，因为使用打包上下文中的预配 API 时出现 OS bug。 | 请改用 Add-AppxProvisionedPackage。
.msix下载及其依赖项，然后在提升的 PowerShell 中运行： Add-AppxProvisionedPackage -Online -PackagePath .\FoundryLocal.msix -DependencyPackagePath .\VcLibs.appx -SkipLicense 此命令为所有用户安装 Foundry Local。 |
改善性能
如果推理速度缓慢，请考虑以下策略：
- 同时从 AI Toolkit for VS Code 运行 ONNX 模型会导致资源争用。 运行 Foundry Local 之前，请停止 AI 工具包推理会话。
- 当 GPU 加速可用时，请使用 GPU 加速。
- 通过在推理期间监视内存使用情况来识别瓶颈。
- 尝试更多量化模型变体（如 INT8 而不是 FP16）。
- 调整非交互工作负荷的批大小。