ML/AIOps

Praktyki MLOps i AIOps to fundament technicznego wdrożenia AI Governance — bez powtarzalnych pipeline'ów, monitoringu modeli i automatyzacji procesów polityka nie zadziała w praktyce.

Czym są MLOps i AIOps? Z tej części dowiesz się czym jest AI i MLops i jakie mają one znaczenie dla całego podejścia do AI w organizacji.

ML/AIOps (Machine Learning / Artificial Intelligence Operations) to zbiór praktyk łączących uczenie maszynowe, DevOps i inżynierię danych, ale także ogólne podejście do odpowiedzialności za AI w organizacji.

Cel: powtarzalne, automatyzowane i monitorowane działania modeli i systemów AI na produkcji.

Bez tej warstwy wdrożenie AI Governance utknie na poziomie dokumentów - polityki nie przełożą się na działające kontrole produkcyjne.

Moje spojrzenie A jak ja na to patrzę i dlaczego uważam ML/AIops za kluczowe?

MLflow, LangChain, LangSmith, Collibra, Kubeflow.

Jest tego więcej i czasem trudno się połapać w tym jak „ustawić” naszą architekturę, procesy i narzędzia. To może być koszmar w przypadku złożonych i współzależnych systemów. A jest to jeden z ważniejszych obszarów, które powinniśmy zaadresować myśląc o projektach AI. I muszą go zrozumieć zarówno Ci, którzy robią to na codzień (IT), jak i Ci, którzy mogą w przyszłości być w to wciągani. A także Ci, którzy będą tego wymagać. W tym biznes.

To coś co musimy uwzględnić z perspektywy architektury IT, data pipeline'ów, DevSecOps, compliance czy security Monitorowanie systemów AI. Brzmi sexy? Raczej nie i dlatego używamy magicznego „MLOps” albo „AIOps”, aby nadać „znaczenie” i rangę czemuś co wbrew pozorom jest nudnym, powtarzalnym, ale szalenie istotnym aspektem zarządzania inicjatywami AI & Data.

Według Wikipedii: MLOps lub ML Ops to paradygmat, którego celem jest niezawodne i efektywne wdrażanie oraz utrzymywanie modeli uczenia maszynowego w środowisku produkcyjnym.Łączy on rozwój modeli uczenia maszynowego z operacjami produkcyjnymi, zapewniając, że modele są solidne, skalowalne i zgodne z celami biznesowymi.

Brak właściwego nadzoru nad tym jak działają „agenci” czy jak performuje nasz model scoringu dla klientów może być źródłem wielu nieciekawych problemów.

W niektórych przypadkach skończyć się nie tylko wycofaniem rozwiązania, ale wręcz skutkować karami, utratą reputacji czy koniecznością „zapłaty” lub „wypłaty” ;)

Ale jeszcze jedno - to musi działać dobrze, bo za dużo fałszywych alarmów, to koszt dla organizacji. Niewyłapanie dużych potknięć też. No, ale nie może to też zabić naszych możliwości w zakresie przetwarzania danych. Przepustowość ma znaczenie. Damn, łatwo już było, prawda?

Kojarzycie „kejs” AWS, gdzie doszło do przypadku usunięcia bazy danych przez „AI”? Może na razie są to odosobnione przypadki (albo nikt się nimi nie chwali), ale wraz ze wzrostem zastosowań AI/ML/Agentów potencjalnych incydentów może być znacznie więcej. A przecież fakt tworzenia "halucynacji" też musi podlegać jakiemuś mechanizmowi kontroli. Takiemu swoistem systemowi zarządzania jakością.

Panowie, którzy na reddicie przeanalizowali "OpenClaw" - cudowne "dziecko" Petera Steinbergera, które okazało się rzeczywiście mocno otwarte ; ) wręcz rozwarte. I to też przykład niedopilnowania.

ML/AIOps to te działania, które podejmujemy w ramach naszego codziennego (albo i nie) badania czy wszystko działa, jak trzeba.

Drift modelu, niedokładne wyniki, nadmierne poleganie na wynikach AI przez ludzi czy też podatności o "bezpiecznikowym" rodowodzie. A jeżeli nie działa, to trzeba to naprawić. Bez wiedzy na temat niewłaściwego działania czy incydentu nie mamy możliwości poprawy i zabezpieczenia się przed materializacją ryzyk. Proste jak drut.

Filary ML/AIos Na czym oprzeć monitorowanie?

MLOps zaczyna się znacznie wcześniej, bo już na etapie planowania, o czym łatwo zapomnieć.

Jeżeli nie uświadomimy sobie na etapie koncepcyjnym, że takie coś musimy wdrożyć, aby nie wylać dziecka z kąpielą, to później może okazać się, że projekt jest "not-feasible" i trafi do przysłowiowego kosza.

Zarówno ISO 42001, czyli złoty standard dla AI Governance, jak i AI Act wyraźnie od nas tego oczekują i żeby nie być gołosłownym to kilka wyraźnych odniesień:

ISO 42001: rekomendacja. A.6.2.6 [AI system operation and monitoring]: Organizacja powinna zdefiniować i udokumentować niezbędne elementy bieżącego funkcjonowania systemu AI. Co najmniej powinno to obejmować monitorowanie systemu i jego wydajności, naprawy, aktualizacje oraz wsparcie.

AI Act: art. 12 [Systemy AI wysokiego ryzyka muszą dysponować technicznymi możliwościami automatycznego rejestrowania zdarzeń].

To w ogóle dość ciekawy wątek, bo w zasadzie to on stoi na przeszkodzie wielu wdrożeniom, które działają w oparciu o zewnętrznych dostawców - jeżeli nie możesz czegoś kontrolować, to jak możesz brać za to odpowiedzialność? A przecież logi są nam potrzebne nie tylko ze względu na audyty.

AI Act: art. 13 [systemy AI wysokiego ryzyka projektuje się i rozwija w sposób zapewniający wystarczającą przejrzystość ich działania, umożliwiającą podmiotom stosującym interpretację wyników systemu i ich właściwe wykorzystanie].

Ten wątek łączymy też z wyjaśnialnością, która jest szczególnie istotna w tych przypadkach użycia, gdzie AI podejmuje decyzje. Choć dzisiaj sa to jeszcze rzadkie przypadku w bardziej regulowanych sektorach, to o tym fakcie nie możemy zapominać. Stąd ja sam rekomenduję klientom ustanowienie OKREŚLONEJ PROCEDURY działania w kontekście pozyskiwania "logiki" decyzji, jej interpretacji i przełożenia na ludzki język.

AI Act: art. 17 i 72 [W ramach systemu monitorowania po wprowadzeniu do obrotu w aktywny i systematyczny sposób zbiera się, dokumentuje i analizuje stosowne dane dotyczące skuteczności działania systemów AI wysokiego ryzyka w całym cyklu ich życia, które to dane mogą być przekazywane przez podmioty stosujące lub mogą być zbierane z innych źródeł].

Monitoring produkcyjny Dlaczego jest tak ważny i na czym się skupia?

To kluczowy element zarówno z perspektywy MLOps, jak i AI Governance. Monitoring obejmuje:

Zrozumieć problemy Postawić dobre AI/MLops nie jest łatwo, ale da się to zrobić.

Możemy do tego dołożyć NIST AI Risk Management Framework, który równie często odnosi się do kwestii monitorowania pod kątem charakterystycznych dla AI ryzyk.

I mógłbym tak jeszcze długo, ale nie o tym jest post. Wprowadzenie mechanizmów obsługi powdrożeniowej dla projektów AI & Data musi być ważną częścią nasze podejścia. O ile w przypadku tradycyjnego soft’u można w zasadzie puścić na produkcję, doglądać aktualizacji i kontrolować zmiany, tak ML/AIOps wymaga od nas czegoś więcej. To też nie jest zwykłe CI/CD.

Problemem, z którym będziemy się mierzyć jest to, że to wątek wybitnie interdyscyplinarny. Ryzyka i będące ich pochodną incydenty będą miały charakter:

Stworzenie dobrych procedur i procesów jest tutaj równie ważne jak wybór narzędzi. Co ważne, musimy mieć też ludzi, którzy będą chcieli tym zarządzać (lub będą musieli). No, a skoro potencjalne "pitfall'e" mogą wynikać z różnych obszarów, to jak jednoznacznie nakreślić linię odpowiedzialności?

To nie jest „easy task”. Stworzenie takich mechanizmów w dobie potrzeby orkiestracji agentów powinno być naszym (jednym z) priorytetów. Tym bardziej, że wiele projektów wykłada się właśnie na tym – brak możliwości skutecznego monitorowania. Dobrym podejściem jest rozpoczęcie od próby uchwycenia rodzajów ryzyk, z którymi będziemy się mierzyć przy naszych wdrożeniach.

W zasadzie bez tego nie pójdziemy dalej. A to wymaga już pewnej dojrzałości i umiejętności nazwania tego co budzi strach. I wracamy do punktu wyjścia, czyli ryzyka. Jest ono centralnym punktem każdej polityki AI Governance. To czy jest ono zarządzane "jak dawniej, ale z dodatkowymi bonusami", czy też jest to zupełnie nowa działka w organizacji jest szczegółem. Kluczem musi być zrozumienie po co to robimy, czyli musimy odpowiedzieć sobie na jedno bardzo ważne pytanie - co chcemy robić i zacząć to robić ; )

Powiązanie z AI Governance Czy da się dobrze monitorować bez odpowiednich ram?

MLOps i AIOps to nie są wyłącznie tematy techniczne - to operacyjna realizacja polityki, która wymaga interdyscyplinarnego i skoordynowanego podejścia:

Potrzebujesz wsparcia w budowie MLOps/AIOps?

Pomogę zaprojektować architekturę referencyjną, dobrać narzędzia i wdrożyć procesy CI/CD dla modeli oraz monitoring produkcyjny.

MLOps i AI Governance

Jak połączyć MLOps z ładem AI: wersjonowanie modeli, monitoring driftu, audytowalność, rejestr modeli i kontrole wymagane przez AI Act.

Aktualizacja: