Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, sięga samego rdzenia jego architektury. U fundamentu leży tak zwana pętla odbieranie–układanie planu–wykonywanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg odtwarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu konsultacyjnego agenta. To on interpretuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich realizacji. Otoczenie modelu stanowią dodatkowe narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga precyzyjnych danych spoza swojej wiedzy treningowej.
Ciekawym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje tło bieżącego zadania. Dzięki niej nie gubi wątku nawet wtedy, gdy procedura rozciąga się na wiele etapów i potrzebuje przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który odtwarza jedynie wcześniej ustaloną listę poleceń.
Oddzielną sprawą pozostaje mechanizm oceny własnych działań. Odpowiednio zbudowany agent jest w stanie zidentyfikować, że otrzymany wynik nie zgadza się od zamierzonego, i wrócić do wcześniejszego etapu, by spróbować alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej złożeniem.