CodeAct w Agent Framework: Jak zmniejszyć opóźnienie agenta o połowę

Ten post został przetłumaczony automatycznie. Aby zobaczyć oryginalną wersję, kliknij tutaj.

W każdym projekcie agentów przychodzi moment, gdy patrzysz na ślad i myślisz: „Dlaczego to tak długo trwa?" Model działa dobrze. Narzędzia działają. Ale jest siedem rund komunikacji, żeby uzyskać wynik, który można obliczyć za jednym razem.

To właśnie problem, który rozwiązuje CodeAct — a zespół Agent Framework właśnie wydał wsparcie alfa przez nowy pakiet agent-framework-hyperlight.

Czym jest CodeAct?

Wzorzec CodeAct jest elegancko prosty: zamiast dawać modelowi listę narzędzi do wywoływania jedno po drugim, dajesz mu jedno narzędzie execute_code i pozwalasz wyrazić cały plan jako krótki program w Pythonie.

Bezpieczeństwo: Mikro-VM Hyperlight

Pakiet agent-framework-hyperlight używa mikro-VM Hyperlight. Każde wywołanie execute_code otrzymuje własną, świeżo utworzoną mikro-VM. Uruchomienie mierzone jest w milisekundach. Izolacja jest praktycznie bezpłatna.

Twoje narzędzia nadal działają na hoście. Kod kleju wygenerowany przez model działa w piaskownicy. To właściwy podział.

Minimalna konfiguracja

from agent_framework import Agent, tool
from agent_framework_hyperlight import HyperlightCodeActProvider

codeact = HyperlightCodeActProvider(
    tools=[get_weather],
    approval_mode="never_require",
)

agent = Agent(
    client=client,
    name="CodeActAgent",
    instructions="You are a helpful assistant.",
    context_providers=[codeact],
)

Kiedy używać CodeAct (a kiedy nie)

Używaj CodeAct, gdy:

• Zadanie łączy wiele małych wywołań narzędzi (wyszukiwania, łączenia, obliczenia)
• Ważne są opóźnienie i koszt tokenów
• Potrzebujesz silnej izolacji dla kodu generowanego przez model

Zostań przy tradycyjnym wywołaniu narzędzi, gdy:

• Agent robi tylko jedno lub dwa wywołania na turę
• Każde wywołanie ma skutki uboczne wymagające indywidualnego zatwierdzenia
• Opisy narzędzi są skąpe lub niejednoznaczne

Wypróbuj teraz

pip install agent-framework-hyperlight --pre

Przeczytaj pełny post na blogu Agent Framework.