Si esteu creant aplicacions amb intel·ligència artificial a Azure en aquest moment, probablement heu notat alguna cosa: la vostra factura al núvol sembla diferent del que abans. No només més alt, sinó més estrany. Espinós. Difícil de predir.
Microsoft acaba de publicar un article fantàstic sobre principis d’optimització de costos del núvol que encara importen, i sincerament, el moment no podria ser millor. Perquè les càrregues de treball d’IA han canviat el joc pel que fa als costos.
Per què les càrregues de treball d’IA són diferents
Aquí està la cosa. Les càrregues de treball.NET tradicionals són relativament previsibles. Coneixeu el vostre nivell de servei d’aplicacions, coneixeu les vostres DTU SQL, podeu estimar la despesa mensual amb força precisió. Càrregues de treball d’IA? No tant.
Esteu provant diversos models per veure quin s’adapta. Esteu creant una infraestructura recolzada per la GPU per ajustar-la. Esteu fent trucades a l’API a Azure OpenAI, on el consum de testimoni varia enormement depenent de la durada del missatge i del comportament de l’usuari. Cada experiment costa diners reals i podeu executar-ne desenes abans d’aconseguir l’enfocament correcte.
Aquesta impredictibilitat és el que fa que l’optimització de costos sigui crítica, no com una idea posterior, sinó des del primer dia.
Gestió vs. optimització: coneixeu la diferència
Una distinció de l’article que crec que els desenvolupadors passen per alt: hi ha una diferència entre gestió de costos i optimització de costos.
La gestió és el seguiment i la presentació d’informes. Configureu pressupostos a Azure Cost Management, rebeu alertes i veureu taulers de control. Això són apostes de taula.
L’optimització és on realment es prenen decisions. Realment necessiteu aquest nivell S3 o S1 gestionaria la vostra càrrega? Aquesta instància informàtica sempre activa està inactiva els caps de setmana? Podríeu utilitzar instàncies puntuals per als vostres treballs de formació?
Com a desenvolupadors de.NET, tendim a centrar-nos en el codi i deixar les decisions sobre la infraestructura a “l’equip d’operacions”. Però si esteu implementant a Azure, aquestes decisions també són les vostres.
El que realment funciona
A partir de l’article i de la meva pròpia experiència, aquí teniu el que mou l’agulla:
Coneix el que gastes i on. Etiqueta els teus recursos. De debò. Si no sabeu quin projecte o experiment s’està consumint el vostre pressupost, no podeu optimitzar res. Azure Cost Management amb l’etiquetatge adequat és el vostre millor amic.
Configureu baranes abans d’experimentar. Utilitzeu la política d’Azure per restringir les SKU cares en entorns de desenvolupament/prova. Establiu límits de despesa als vostres desplegaments d’Azure OpenAI. No espereu fins que arribi la factura per adonar-vos que algú va deixar un clúster de GPU en funcionament durant el cap de setmana.
Mida correctament contínuament. Aquesta màquina virtual que vau triar durant la creació de prototips? Probablement és incorrecte per a la producció. Azure Advisor us ofereix recomanacions; mireu-les. Revisió mensual, no anual.
Penseu en el cicle de vida. Els recursos per a desenvolupadors haurien de baixar. Els entorns de prova no cal que funcionin les 24 hores del dia. Utilitzeu polítiques d’apagada automàtica. Específicament, per a les càrregues de treball d’IA, tingueu en compte les opcions sense servidor on pagueu per execució en lloc de mantenir el càlcul calent.
Mesura el valor, no només el cost. Aquest és fàcil d’oblidar. Un model que costa més però que ofereix resultats significativament millors podria ser la trucada adequada. L’objectiu no és gastar el mínim, sinó gastar intel·ligentment.
El menjar per emportar
L’optimització de costos del núvol no és una neteja puntual. És un hàbit. I amb les càrregues de treball d’IA que fan que la despesa sigui menys predictible que mai, construir aquest hàbit aviat us estalvia de sorpreses doloroses més tard.
Si sou un desenvolupador de.NET que es basa en Azure, comenceu a tractar la vostra factura al núvol com si tracteu el codi: reviseu-lo regularment, refactoritzeu-lo quan estigui desordenat i mai no ho feu sense entendre el que us costarà.
