· · 1 分钟阅读

AI 开发最难的部分已经不再是访问,而是把正确的模型运营好

Foundry 的新指南强有力地说明,如今模型选择、成本控制、评估和生命周期管理才是生产级 AI 系统真正的差异化因素。

Microsoft Foundry AI Models Cost Optimization Evaluations
这篇文章也有其他语言版本:English, Català, Español, Deutsch, Français, Português, Italiano, 日本語, 한국어, Русский, हिन्दी, Polski, Türkçe, العربية, Bahasa Indonesia, Nederlands

本文已自动翻译。查看原文,请点击这里

我们早就过了“只要能访问一个强大的模型就足够”的阶段。

这正是这份新的 Foundry 模型、成本与质量管理指南 抓住的重点。

真正的挑战现在是运营层面的:

  • 为每个 workload 选择正确的模型
  • 用自己的数据对它进行验证
  • 管理延迟和支出
  • 管理升级和回归风险

这正是严肃团队必须擅长的事情。

原文把问题定义得很准确

原文中的一句话非常好地概括了这种变化:

如今构建 AI 系统最难的部分已经不再是获得一个有能力的模型。而是知道如何在真实应用的整个生命周期中选择、验证、优化并运营正确的模型。

这就是完全正确的诊断。

太多团队仍然认为模型选择才是最主要的决定。

并不是。

模型运营才是更大的问题:

  • 哪个 workload 用哪个模型?
  • 质量如何验证?
  • 什么样的成本结构是可接受的?
  • 当新模型出现,或者旧模型开始漂移时,会发生什么?
  • 如何在不破坏真实工作流的情况下测试变更?

这才是现在真正的工程工作。

为什么这篇 Foundry 内容有用

我喜欢这篇文章,因为它谈论 AI 系统的方式,正是有经验的平台工程师真正需要思考的方式。

不是“挑最聪明的模型然后继续”。

而是作为生活在各种权衡下的系统:

  • 能力
  • 延迟
  • 成本
  • 安全
  • 治理
  • 升级压力

这比只看 benchmark 的乐观主义有用得多。

最重要的转变是先看标准

原文建议在打开模型目录之前先定义成功标准。

我认为这是团队最应该养成的习惯之一。

如果先打开目录,你会锚定在声誉上。

如果先定义标准,你会锚定在 workload 的现实上。

这是一种更健康的流程。

因为在 benchmark 中获胜的模型,不一定就是在以下方面获胜的模型:

  • 你的 prompts
  • 你的延迟预算
  • 你的成本 guardrails
  • 你的治理要求

这种区别,正是成熟 AI engineering 的起点。

多模型故事正在变成真正的优势

另一个我喜欢的点,是它明确采用了 model-agnostic 的 framing。

文章把 Foundry રજૂ出来,不是作为单一模型的终点,而是作为一个跨越以下内容的 operational surface:

  • Microsoft 模型
  • 合作伙伴模型
  • 开源模型
  • 后训练变体
  • routing 和 optimization 策略

这很重要,因为模型灵活性已经不再是奢侈品。它是风险管理的一部分。

如果质量变化、价格波动,或者 quota 紧张,团队就需要可选方案。

成本控制不是次要问题

文章把成本看作架构问题,这一点也很对。

这不是“以后再优化”的问题。

如果默认把每个任务都发给最重的模型,它在 demo 里可能表现很好,但在生产经济性面前会崩掉。

所以我认为关于以下内容的部分,比很多人想象的更重要:

  • routing
  • batching
  • caching
  • provisioned throughput
  • quota 管理

把成本纪律当作系统设计的一部分的团队,会比把它当作事后清理工作的团队更能长期发展。

我的看法

这篇 Foundry 内容有用,因为它谈论 AI 系统的方式,正是有经验的工程师真正需要去运营的方式。

不是 demo。 不是一次性原型。 也不是排行榜旅游。

而是面向 workloads、限制、权衡和持续变化的 operating systems。

我们需要继续把讨论提升到这个层次。

如果你正在构建生产级 AI 系统,这正是我希望团队尽早内化的 mindset。

原文链接: A Developer’s Guide to Managing Models, Cost and Quality in Microsoft Foundry

分享:
在GitHub上查看此文章的源代码 ↗
← .NET 11 Preview 4: 模板 MCP 服务器、Runtime-Async 库、进程 API
.NET 11 终于修复了进程 API →