Agentyczna AI
Agentyczna AI (agentic AI) to systemy, które autonomicznie planują działania i je wykonują, by osiągnąć cel - zamiast tylko odpowiadać na pojedynczy prompt. To ogromna szansa, ale też nowa klasa ryzyk, które trudno dzisiaj ogarnąć.
Czym jest agentic AI? Czy to już agent Smith z Matrixa?
Agentic AI (agentyczna AI) to systemy oparte na modelach językowych (LLM) lub multimodalnych (np. głosowych czy "z obrazami"), które wykraczają poza pojedynczą odpowiedź na prompt, czyli zapytanie użytkownika.
Agent może samodzielnie:
- planuje sekwencję kroków potrzebnych do realizacji celu (wcześniej je analizując i czasami sam siebie "czelendżując",
- wywołuje narzędzia/konkretne działania (API request, wyszukiwarki, kod, bazy danych - także zewnętrzne, inne modele),
- obserwuje wyniki i adaptuje plan,
- podejmuje decyzje w pętli, czasem na przestrzeni minut, godzin albo dni.
W odróżnieniu od klasycznego chatbota, agent ma stan, pamięć i sprawczość nadaną przez użytkownika (swoistą autonomię) i może realnie wpływać na rzeczywistość użytkownika.
Co może zrobić za nas? Na bank sporo, ale to My o tym decydujemy...
- Automatyzacja procesów związanych z zarządzaniem wiedzą: research, analiza i synteza dokumentów, przygotowanie podsumowań, obsługa zgłoszeń.
- Operacje na systemach i rozwiązaniach IT: integracje między aplikacjami, segregacja incydentów, generowanie i wdrażanie kodu pod nadzorem człowieka (lub bez niego, co może być ryzykowne).
- Obsługa klienta i sprzedaż: prowadzenie wieloetapowych rozmów, kwalifikacja leadów, personalizacja ofert.
- Wsparcie pracowników umysłowych: "drugi pilot" dla prawników, analityków, inżynierów - z dostępem do firmowych źródeł danych.
Ryzyka Skoro może sporo to i ryzyk pewnie sporo?
Nie oszukujmy się - niezależnie czy człowiekowi, czy "automatowi" powierzamy jakieś zadania i przekazujemy uprawnienia, to zawsze wiąże się z pewnym ryzykiem powierzenia.
Autonomia agentów wzmacnia siłę rażenia istniejących ryzyk AI i tworzy nowe kategorie, na które dzisiaj trudno jeszcze "dobrze" odpowiedzieć:
- Prompt injection i hijacking narzędzi: atakujący może przejąć cele agenta przez treść dokumentu, strony internetowej lub wiadomości i doprowadzić do zupełnie czegoś innego niż się spodziewaliśmy ;)
- Niezamierzone działania: błędnie zaplanowane działanie agenta może doprowadzić do realnych skutków (wycieku danych, transakcji, zmiany konfiguracji), które mogą wykraczać poza daną "domenę agenta".
- Eskalacja uprawnień: agent z szerokim dostępem do narzędzi staje się celem ataku o dużej powierzchni rażenia i może być wykorzystany do realizacji celów adwersarzy.
- Brak audytowalności: długie łańcuchy wywołań trudno zrekonstruować po fakcie bez dedykowanego logowania, także w kontekście problematyki wyjaśnialności.
- Halucynacje w pętli: błędne założenia i wyniki, na których bazuje agent, są utrwalane przez kolejne kroki, zamiast wychwytywane i usuwane z pętli działania agenta.
- Ryzyka prawne: odpowiedzialność za decyzje agenta, zgodność z AI Act (klasyfikacja systemów wysokiego ryzyka - tutaj pojawia się wiele wątpliwości), RODO i ochrona danych osobowych (zautomatyzowane decyzje).
Umiejscowienie na planszy Czy agenci są pokrywani naszym AI Governance?
Agentic AI nie jest osobną technologią poza ramami tego co nazywamy AI Governance. Ta technologia wymaga przy tym silniejszych mechanizmów (mówi się nawet o Agentic AI Governance dla podkreślenia wagi, ale i odrębności w pewnych aspektach):
- Inwentaryzacja i klasyfikacja: każdy agent w rejestrze systemów AI z opisanymi narzędziami, danymi i zakresem działania, a także wszelkimi zależnościami i poziomem autonomii.
- Granice działania (guardrails): jawne polityki, do jakich systemów agent ma dostęp, jakie operacje wymagają zatwierdzenia człowieka, jakie są twardo zakazane, co wymaga ułożenia procesów - niekiedy - na nowo.
- Human-in-the-loop (człowiek na każdym etapie decyzji): progi decyzyjne wymagające akceptacji człowieka dla działań nieodwracalnych lub o dużym wpływie z możliwością przeaudytowania.
- Monitoring i audyty: logi, zarządzanie incydentami.
- Testy cybersecurity: red-teaming pod kątem prompt injection, nadużyć narzędzi i manipulacji celami.
- Cykl życia: ocena ryzyka przed uruchomieniem, monitorowanie driftu, jasne kryteria wycofania agenta z produkcji.
To wszystko musimy uwzględnić projektując nasze ramy AI Governance. Jeżeli okaże się, że nie jesteśmy w stanie temu sprostać, to może takie czerwone światło powinno nas na chwilę powstrzymać?
Specyficzny AI Governance? Jak widzi to Palo Alto
Temat opiszę bardziej dokładnie w odrębnej sekcji, ale dzisiaj podrzucam to co wypracowało Palo Alto:
https://www.paloaltonetworks.com/cyberpedia/what-is-agentic-ai-governance
Wdrażasz agentów AI w swojej organizacji?
Pomogę zaprojektować ramy nadzoru, granice działania i mechanizmy kontroli dla agentic AI — tak, by autonomia szła w parze z odpowiedzialnością.
Agentyczna AI — ryzyka i możliwości
Systemy agentowe AI samodzielnie podejmują działania. Co jednak, gdy robią błędy?
Aktualizacja: