https://thedotnetblog.com/pl/tags/benchmarking/Articles, tutorials and insights from the .NET community.Hugopl@thedotnetblog (The .NET Blog)@thedotnetblogFri, 17 Jul 2026 00:00:00 +0000https://thedotnetblog.com/pl/news/emiliano-montesdeoca/gpt-5-5-prompt-tuning-vscode-less-wandering/Fri, 17 Jul 2026 00:00:00 +0000Emiliano Montesdeocahttps://thedotnetblog.com/pl/news/emiliano-montesdeoca/gpt-5-5-prompt-tuning-vscode-less-wandering/Eksperyment VS Code z GPT-5.5 pokazuje, że wymierne zyski pochodzą z zdyscyplinowanego projektowania harnessa i iteracji promptów, a nie tylko z wymiany na nowsze modele fundamentowe.<p>Najbardziej wartościową częścią wpisu o strojeniu GPT-5.5 w VS Code nie jest zwycięski wariant. To metodologia. Jasna hipoteza, kontrolowane zabiegi, pomiary na żywym ruchu i metryki barier ochronnych – to dokładnie to, jak jakość agentów powinna być ulepszana w środowiskach produkcyjnych.</p> <p>Oryginalne źródło: <a href="https://code.visualstudio.com/blogs/2026/07/06/optimizing-vscode-coding-harness-model-providers">https://code.visualstudio.com/blogs/2026/07/06/optimizing-vscode-coding-harness-model-providers</a></p> <p>Podstawowa idea była prosta: zmniejszyć dryf eksploracyjny i wcześniej walidować po edycjach. Brzmi oczywiście, ale interesującym odkryciem jest to, że strukturalne wskazówki promptowe na poziomie harnessa przyniosły statystycznie silne ulepszenia w opóźnieniu, zużyciu tokenów ogona i liczbie wywołań narzędzi bez poważnego załamania jakości.</p> <p>Moje zdanie jest dosadne: <strong>organizacje, które gonią tylko za aktualizacjami modeli, zostawiają na stole łatwe zyski wydajnościowe i kosztowe</strong>. Zachowanie harnessa i projekt promptu systemowego mogą przesuwać metryki biznesowe szybciej niż zmiana modelu, zwłaszcza przy rozliczeniach opartych na użyciu.</p> <p><strong>Wariant B wygrał</strong>, ponieważ sformalizował pełną pętlę, a nie tylko ograniczenie wyszukiwania. Zachęcił model do sformułowania lokalnej falsyfikowalnej hipotezy, wykonania ugruntowanej pierwszej edycji i przeprowadzenia natychmiastowej skoncentrowanej walidacji. Ta sekwencja odzwierciedla to, jak dobrzy inżynierowie debugują pod presją czasu.</p> <h3 id="co-skopiować-z-tego-podejścia">Co skopiować z tego podejścia</h3> <ul> <li><strong>Zdefiniuj bariery ochronne jakości z góry</strong>, a następnie optymalizuj pod kątem opóźnienia i kosztów w ramach tych ograniczeń.</li> <li><strong>Mierz zarówno medianę, jak i zachowanie ogona.</strong> Ulepszenia p95 w czasie do pierwszej edycji i zużyciu tokenów są często cenniejsze niż zwycięstwa p50 dla rzeczywistej satysfakcji użytkownika.</li> <li><strong>Unikaj przetrenowania na samych ewaluacjach offline.</strong> Zespół VS Code użył kontroli offline, a następnie walidował na żywym ruchu przed wdrożeniem. Ta kolejność ma znaczenie, ponieważ prawdziwe przepływy pracy ujawniają zachowania, które syntetyczne benchmarki pomijają.</li> </ul> <p>Jeden kompromis zasługuje na uwagę: niewielki ruch w krótkoterminowych metrykach przetrwania. Zespół poradził sobie z tym prawidłowo, ważąc wielkość efektu i istotność statystyczną przeciwko silniejszym, wysoce istotnym zyskom wydajnościowym. To dojrzałe podejmowanie decyzji, a nie wybiórcze dobieranie metryk.</p> <p>Szersza lekcja jest <strong>strategiczna</strong>. Inżynieria promptów to nie „magia promptów&quot;. To <strong>inżynieria produktu</strong>: hipotezy, eksperymenty, kontrole i bramki wdrożeniowe. Zespoły, które operacjonalizują tę pętlę, będą się stale poprawiać. Zespoły, które debatują o rankingach modeli w mediach społecznościowych, nie.</p> <h2 id="konkluzja">Konkluzja</h2> <p>W nadchodzącym roku przewaga konkurencyjna w AI dla programistów będzie pochodzić mniej z dostępu do konkretnej rodziny modeli, a bardziej z <strong>tego, kto potrafi niezawodnie prowadzić tę pętlę optymalizacyjną</strong>. Wyniki VS Code to praktyczny plan: obserwuj, hipotezuj, testuj, wysyłaj, powtarzaj.</p>