Evaluations | The .NET Blog

Evals model router adalah langkah yang terlalu sering dilewati tim

Emiliano Montesdeoca — Fri, 29 May 2026 00:00:00 +0000

Artikel ini diterjemahkan secara otomatis. Untuk versi aslinya, klik di sini.

Automatic model routing terdengar bagus sampai Anda sadar bahwa Anda masih harus membuktikan bahwa itu adalah pilihan yang tepat untuk workload Anda.

Itulah mengapa model router evaluation repo yang baru ini berguna.

Repo ini memberi tim cara yang lebih konkret untuk menjawab pertanyaan yang benar-benar penting:

apakah routing mempertahankan kualitas?
apakah routing memperbaiki biaya?
apa dampaknya terhadap latensi?
apa yang berubah jika saya membatasi subset model?

Artikel sumber mengajukan pertanyaan yang tepat

Satu hal yang saya suka dari posting asli adalah bahwa ia tidak memperlakukan model router seolah-olah sudah pasti bagus.

Sebaliknya, ia mengajukan pertanyaan yang tidak nyaman tetapi tepat:

“Pada prompt saya, apakah model yang dipilih otomatis oleh model router menyamai atau mengalahkan model tunggal yang akan saya pilih?”
“Apakah saya benar-benar menghemat uang dari ujung ke ujung, atau saya hanya memindahkan pengeluaran dari satu tempat ke tempat lain?”

Itulah sikap yang benar.

Karena routing otomatis memang menarik, tetapi itu tetap keputusan sistem. Dan keputusan sistem harus diukur, bukan dikagumi.

Mengapa repo ini lebih penting daripada yang terlihat pada awalnya

Pada satu tingkat, ini hanya repo evaluasi.

Pada tingkat lain, ini adalah tanda kematangan.

Ini mengatakan: jika Anda ingin mengadopsi routing otomatis, berikut cara yang lebih disiplin untuk menguji:

kualitas
biaya
latensi
trade-off subset
perilaku distribusi model

Itu jauh lebih baik daripada memperlakukan routing sebagai kotak hitam dengan branding yang bagus.

Pendapat saya

Ini adalah contoh yang bagus tentang jenis tooling yang lebih dibutuhkan platform AI: bukan lebih banyak sihir, tetapi lebih banyak cara untuk memvalidasi sihir itu sebelum Anda memercayainya.

Begitulah tim menghindari membangun kepercayaan yang mahal di atas asumsi yang belum diuji.

Artikel asli: How to run evals for the model router

Bagian tersulit dari pengembangan AI bukan lagi akses. Melainkan mengoperasikan model yang tepat dengan baik

Emiliano Montesdeoca — Tue, 26 May 2026 00:00:00 +0000

Tulisan ini diterjemahkan secara otomatis. Untuk versi aslinya, klik di sini.

Kita sudah melewati fase ketika sekadar memiliki akses ke model yang kuat sudah cukup.

Itulah yang benar-benar dipahami dengan baik oleh panduan Foundry baru untuk mengelola model, biaya, dan kualitas ini.

Tantangan sebenarnya sekarang bersifat operasional:

memilih model yang tepat untuk setiap workload
memvalidasinya terhadap data Anda sendiri
mengelola latency dan pengeluaran
mengatur upgrade dan risiko regresi

Itulah yang harus dikuasai oleh tim yang serius.

Artikel sumbernya mendefinisikan masalah dengan benar

Satu kalimat dari artikel asli menangkap perubahan ini dengan sangat baik:

“Bagian tersulit dalam membangun sistem AI saat ini bukan lagi mendapatkan akses ke model yang mumpuni. Melainkan mengetahui cara memilih, memvalidasi, mengoptimalkan, dan mengoperasikan model yang tepat sepanjang siklus hidup penuh sebuah aplikasi nyata.”

Itu diagnosis yang tepat.

Terlalu banyak tim masih mengira model selection adalah keputusan utama.

Bukan.

Model operation adalah masalah yang lebih besar:

workload mana mendapat model yang mana?
bagaimana kualitas diverifikasi?
bentuk biaya seperti apa yang dapat diterima?
apa yang terjadi ketika model baru muncul atau model lama melenceng?
bagaimana menguji perubahan tanpa merusak workflow nyata?

Itulah pekerjaan engineering sebenarnya sekarang.

Mengapa tulisan Foundry ini berguna

Saya suka artikel ini karena ia berbicara tentang sistem AI seperti cara engineer platform berpengalaman benar-benar harus memikirkannya.

Bukan sebagai “pilih model paling pintar lalu lanjut”.

Melainkan sebagai sistem yang hidup di bawah trade-off:

kemampuan
latency
biaya
safety
governance
tekanan upgrade

Itu jauh lebih berguna daripada optimisme berbasis benchmark.

Perubahan terpenting adalah berpikir berdasarkan kriteria terlebih dahulu

Artikel asli menyarankan mendefinisikan kriteria sukses sebelum membuka katalog model.

Menurut saya ini salah satu kebiasaan paling penting yang bisa diadopsi tim.

Kalau Anda membuka katalog dulu, Anda akan berpatokan pada reputasi.

Kalau Anda mendefinisikan kriteria dulu, Anda akan berpatokan pada realitas workload.

Itu proses yang lebih sehat.

Karena model yang menang di benchmark belum tentu model yang menang pada:

prompt Anda
budget latency Anda
guardrail biaya Anda
requirement governance Anda

Perbedaan itu adalah titik awal dari engineering AI yang matang.

Cerita multi-model menjadi keunggulan nyata

Hal lain yang saya suka adalah framing yang agnostik terhadap model.

Artikel ini menampilkan Foundry bukan sebagai tujuan satu model, melainkan sebagai operating surface di atas:

model Microsoft
model partner
model open-source
varian post-trained
strategi routing dan optimisasi

Ini penting karena fleksibilitas model bukan lagi kemewahan. Ia adalah bagian dari manajemen risiko.

Jika kualitas berubah, harga bergerak, atau quota menjadi terbatas, tim butuh opsi.

Cost control bukan perhatian sekunder

Artikel ini juga tepat saat menempatkan biaya sebagai concern arsitektural.

Ini bukan masalah “nanti kita optimalkan”.

Kalau Anda mengirim setiap task ke model terberat secara default, itu bisa bekerja sangat baik di demo dan runtuh di ekonomi produksi.

Itulah sebabnya menurut saya bagian tentang:

routing
batching
caching
provisioned throughput
manajemen quota

lebih penting daripada yang mungkin banyak orang kira.

Tim yang memperlakukan disiplin biaya sebagai bagian dari desain sistem akan bertahan jauh lebih baik daripada tim yang memperlakukannya sebagai pekerjaan bersih-bersih belakangan.

Pendapat saya

Ini adalah tulisan Foundry yang berguna karena ia berbicara tentang sistem AI seperti yang benar-benar harus dioperasikan oleh engineer berpengalaman.

Bukan sebagai demo. Bukan sebagai prototipe sekali pakai. Dan bukan sebagai wisata leaderboard.

Melainkan sebagai sistem operasi untuk workload, kendala, trade-off, dan perubahan terus-menerus.

Itulah tingkat percakapan yang harus terus kita tuju.

Dan jika Anda membangun sistem AI produksi, itulah mindset yang saya ingin tim adopsi sejak awal.

Postingan asli: A Developer’s Guide to Managing Models, Cost and Quality in Microsoft Foundry

Cerita observability-to-ROI Foundry adalah yang dibutuhkan platform agen yang serius

Emiliano Montesdeoca — Mon, 25 May 2026 00:00:00 +0000

Tulisan ini diterjemahkan secara otomatis. Untuk versi aslinya, klik di sini.

Jika AI agents akan hidup di production, observability tidak boleh berhenti di logs dan traces.

Itulah sebabnya cerita baru Foundry dari observability ke ROI terasa penting.

Pesan sebenarnya bukan “kami menambahkan lebih banyak dashboard”.

Pesan sebenarnya adalah bahwa platform agen yang serius membutuhkan loop operasional yang berkelanjutan:

trace apa yang terjadi
evaluate apakah hasilnya baik
optimize bagian yang perlu diperbaiki
hubungkan hasilnya dengan nilai bisnis

Itu jauh lebih kuat daripada retorika platform yang biasa.

Kalimat kunci dari artikel sumber mengatakan semuanya

Postingan asli dibuka dengan satu kalimat yang menurut saya harus diperhatikan oleh setiap tim yang membangun agen:

“Meluncurkan AI agent itu bagian yang mudah. Menjaganya tetap akurat, aman, dan dapat dipertanggungjawabkan di production adalah tempat tim tersangkut.”

Itu tepat sekali.

Kita sudah melewati fase ketika pertanyaan utamanya adalah, “apakah saya bisa membuat agen melakukan sesuatu yang keren?”

Pertanyaan yang lebih sulit dan lebih bernilai adalah:

apakah saya bisa mengoperasikan sistem itu setelah ia mulai berinteraksi dengan pengguna nyata, tools nyata, dan biaya nyata?

Di situlah Foundry mencoba mendorong percakapan.

Mengapa ini lebih penting daripada demo agen lain

Banyak pengumuman AI agent masih berfokus pada creation: bangun agen, hubungkan tools, arahkan tasks, kirim interface.

Itu semua baik.

Tapi pertanyaan operasional adalah titik di mana sebagian besar sistem serius menjadi berkelanjutan atau berubah menjadi eksperimen mahal:

apa yang sebenarnya dilakukan agen di production?
apakah ia melakukan hal yang benar?
apakah performanya memburuk seiring waktu?
apakah biayanya terlalu tinggi dibanding nilai yang ia hasilkan?
perubahan konfigurasi mana yang benar-benar meningkatkan quality?

Itulah sebabnya saya pikir pengumuman Foundry lebih penting daripada ringkasan fitur biasa. Ini mencoba mendefinisikan loop Agent DevOps, bukan hanya cerita pembuatan agen.

Loop empat bagian adalah produk yang sebenarnya di sini

Artikel ini pada dasarnya mengorganisasi platform di sekitar empat capability:

Trace
Evaluate
Monitor
Optimize

Itu bentuk yang tepat.

Saya bahkan berpendapat bahwa platform apa pun yang ingin dianggap serius untuk workload produksi agen pada akhirnya membutuhkan keempatnya.

Tracing saja tidak cukup.

Evaluation saja tidak cukup.

Optimisasi tanpa bukti hanyalah menebak.

Dan membicarakan ROI tanpa telemetry biasanya cuma teater.

Sisi interoperabilitasnya sangat cerdas

Salah satu keputusan terkuat dalam pengumuman ini adalah bahwa Foundry tidak berpura-pura bahwa semua agen akan dibangun dalam satu framework.

Postingan sumber secara eksplisit membahas tracing dan evals yang meluas ke:

LangChain
LangGraph
OpenAI SDK
Microsoft Agent Framework
framework kustom via OpenTelemetry

Ini penting.

Karena platform lock-in adalah salah satu cara tercepat untuk membuat cerita operasi yang sebenarnya berguna menjadi kurang menarik.

Jika tim bisa mempertahankan pilihan framework mereka dan tetap mendapatkan telemetry serta surface evaluation tingkat production, friksi turun secara signifikan.

Rubric evaluation bisa jadi lebih penting daripada yang orang kira

Bagian rubric evaluator juga layak disorot.

Saya pikir ini salah satu tambahan paling praktis di seluruh post.

Mengapa? Karena “baik” itu tergantung konteks.

Artikel mengatakan rubric evaluation menghasilkan “context-aware evaluation criteria dari perilaku yang dimaksudkan untuk agent Anda.” Itu memang arah yang dibutuhkan sistem seperti ini.

Penilaian kualitas generik memang berguna.

Tetapi pada akhirnya tim perlu menilai agen berdasarkan standar mereka sendiri:

tone
task completion
policy adherence
latency expectations
batas biaya
aturan bisnis spesifik domain

Di situlah evaluation mulai menjadi bermakna secara operasional, bukan sekadar menarik secara akademis.

ROI adalah bagian yang paling tidak nyaman, dan justru karena itu penting

Saya juga pikir bagian ROI dari pengumuman ini penting justru karena ia tidak nyaman.

Postingan sumber menanyakan langsung:

“apakah agent ini sepadan dengan biayanya?”

Pertanyaan itu sering dihindari dalam percakapan AI.

Tapi itu pertanyaan yang benar.

Jika platform benar-benar bisa menghubungkan biaya, task completion, waktu yang dihemat, dan production traces di satu tempat, itu memberi engineering dan leadership bahasa bersama yang jauh lebih baik.

Dan jujur saja, bahasa bersama seperti itu sangat dibutuhkan.

Pendapat saya

Ini salah satu pengumuman level platform yang lebih baik dalam batch ini karena fokus pada mengoperasikan agen, bukan hanya membangunnya.

Dan di situlah pekerjaan berat sebenarnya dimulai.

Platform AI terkuat dalam beberapa tahun ke depan bukan hanya yang punya akses ke lebih banyak model atau lebih banyak demo. Mereka adalah yang membantu tim trace perilaku, evaluate hasil, optimize dengan aman, dan membenarkan biaya dengan bukti.

Cerita Foundry ini mencoba bergerak tepat ke arah itu.

Itulah sebabnya cerita ini layak dianggap serius.

Post asli: Build 2026: From observability to ROI for AI agents on any framework