Der wertvollste Teil von VS Codes GPT-5.5-Tuning-Beitrag ist nicht die Siegervariante. Es ist die Methodik. Eine klare Hypothese, kontrollierte Behandlungen, Live-Traffic-Messung und Schutzmetriken – genau so sollte Agent-Qualität in Produktionsumgebungen verbessert werden.
Originalquelle: https://code.visualstudio.com/blogs/2026/07/06/optimizing-vscode-coding-harness-model-providers
Die Kernidee war einfach: explorative Drift reduzieren und früher nach Bearbeitungen validieren. Das klingt offensichtlich, aber der interessante Befund ist, dass strukturelle Prompt-Führung auf der Harness-Ebene statistisch starke Verbesserungen bei Latenz, Tail-Token-Nutzung und Tool-Call-Anzahl ohne größeren Qualitätseinbruch erzielte.
Meine Meinung ist deutlich: Organisationen, die nur Modell-Upgrades jagen, lassen einfache Leistungs- und Kostenverbesserungen auf dem Tisch liegen. Harness-Verhalten und System-Prompt-Design können Geschäftsmetriken schneller bewegen als Modellwechsel, besonders wenn nutzungsbasierte Abrechnung im Spiel ist.
Behandlung B gewann, weil sie den gesamten Kreislauf formalisierte, nicht nur Suchzurückhaltung. Sie lenkte das Modell dazu, eine lokale falsifizierbare Hypothese zu bilden, eine fundierte erste Bearbeitung vorzunehmen und sofort gezielte Validierung durchzuführen. Diese Sequenz spiegelt wider, wie gute menschliche Ingenieure unter Zeitdruck debuggen.
Was von diesem Ansatz zu übernehmen ist
- Definieren Sie Qualitätsschutzvorrichtungen im Voraus, dann optimieren Sie auf Latenz und Kosten unter diesen Einschränkungen.
- Messen Sie sowohl Median- als auch Tail-Verhalten. Die p95-Verbesserungen bei Zeit bis zur ersten Bearbeitung und Token-Nutzung sind für echte Benutzerzufriedenheit oft wertvoller als p50-Gewinne.
- Vermeiden Sie Overfitting auf reine Offline-Evaluierungen. Das VS Code-Team verwendete Offline-Prüfungen, validierte dann auf Live-Traffic vor der Einführung.
Die breitere Lektion ist strategisch. Prompt-Engineering ist nicht “Prompt-Magie”. Es ist Produkt-Engineering: Hypothesen, Experimente, Kontrollen und Deployment-Gates. Teams, die diesen Kreislauf operationalisieren, werden sich kontinuierlich verbessern.
