Co zrobić, aby twój AI Agent nie powtarzał tych samych błędów

Problem, który znasz

Twój AI Agent się pomylił. I za tydzień pomyli się tak samo

Znasz to. Twój AI Agent robi coś nie tak, ty to wyłapujesz, tłumaczysz mu, on przeprasza i poprawia. Wszystko gra. Tylko że za tydzień, w nowej rozmowie, popełnia dokładnie ten sam błąd. Jakby tamtej poprawki nigdy nie było.

Bo z jego punktu widzenia tamtej poprawki nie było. Twoja poprawka żyła tylko w tamtej jednej rozmowie. Kiedy ją zamknąłeś, zniknęła razem z nią. Następnym razem twój AI Agent zaczyna od zera, z tą samą skłonnością do tego samego błędu.

To nie jest powód, żeby przestać korzystać z AI. To powód, żeby zacząć z nim pracować inaczej. Pokażę ci to na czymś, co wydarzyło się u mnie, bo wyszło na koniec z tego lepiej, niż gdybym to wymyślił.

Tło: co buduję i po co

Z AI możesz pójść o krok dalej niż „napisz mi"

Piszę artykuły dla moich obserwatorów, którzy chcą się uczyć pracy z AI. Zaznaczę tu, że to moja wiedza i moja samodzielna praca: szukam rozwiązań, czytam, testuję w Claude Code i Codex, a potem składam z tego tekst. I tak, Claude Code głównie mi w tym pomaga, ale nie pisze tego za mnie. Jest moim partnerem w całym procesie.

I tu jest rzecz, której wiele osób nie wykorzystuje. Z AI możesz zbudować sobie własnych, wyspecjalizowanych pomocników do konkretnych części swojej pracy. Każdy robi jedno i robi to naprawdę dobrze. Działa to na dwa sposoby.

I właśnie takiego pomocnika sobie zbudowałem.

Pomocnik, którego zbudowałem

Kontroler faktów, czyli pilnujmy, żeby AI nie zmyślało

Modele AI mają jedną słabą cechę: halucynują. Z pełnym przekonaniem podają liczbę, datę albo nazwę raportu, których nikt nigdy nie widział, bo właśnie je wymyśliły. W luźnej rozmowie to drobiazg. W opublikowanym artykule jedna zmyślona liczba potrafi pogrzebać wiarygodność całego tekstu. A na to nie mogę sobie pozwolić.

Więc zbudowałem subagenta, którego nazwałem kontrolerem faktów (po angielsku claim-checker). Jego jedyne zadanie: kiedy w tekście pojawia się jakaś liczba, data albo nazwa źródła, ma to sprawdzić i powiedzieć, czy się zgadza. Mógłbym sprawdzać każdą liczbę sam. Ale skoro AI potrafi mi tu realnie pomóc, to czemu nie postawić jednego AI do pilnowania drugiego.

Żeby ten kontroler mógł cokolwiek zweryfikować, musi wiedzieć, jak znaleźć te fakty w internecie. To proste: najlepiej sprawdzić u źródła. A do szukania w sieci mam osobną, dopracowaną procedurę, czyli zbudowany skill o nazwie web-search. Został więc jeden ruch: podłączyć ten skill do kontrolera faktów.

I tu zaczyna się właściwa historia.

Co poszło nie tak

Poprosiłem Claude Code o jedną rzecz. Zrobił ją źle

Poprosiłem głównego AI Agenta, żeby podłączył procedurę wyszukiwania do mojego kontrolera faktów. Zrobił to od ręki. Wyglądało, że jest gotowe.

Tylko że zrobił to całkowicie źle. Zamiast użyć właściwej, przewidzianej do tego metody, sklecił to na skróty. A teraz najlepsze: właściwa metoda jest oficjalnie opisana w dokumentacji Anthropic. Co więcej, ja mam komplet tych oficjalnych materiałów u siebie na kompie, w tym samym projekcie, w którym pracowaliśmy. Odpowiedź leżała na wyciągnięcie ręki.

Mój AI Agent nie zajrzał ani do jednego, ani do drugiego. Nie sprawdził w internecie, jak należy to zrobić. Nie otworzył moich materiałów, które miał tuż obok. Po prostu zrobił po swojemu, z pamięci, i podał mi to jako gotowe.

Dobrze, że to wyłapałem. Powiedziałem mu wprost: sprawdź, jak to się robi poprawnie. Dopiero wtedy zrobił research oficjalnej dokumentacji Anthropic i znalazł to dedykowane, przewidziane miejsce do podłączenia takiej procedury. Poprawił. Za drugim razem było już super.

Weryfikacja

Nie wierzyłem na słowo. Sprawdziłem na żywo

Mogłem na tym poprzestać. Poprawione, działa, jedziemy dalej. Ale chciałem zobaczyć, czy mój kontroler faktów rzeczywiście korzysta teraz z tej dobrej procedury wyszukiwania, czy tylko to deklaruje.

Więc go przetestowałem. Dałem mu próbny tekst z kilkoma liczbami i datami, częściowo błędnymi, i kazałem sprawdzić, jak naprawdę szuka. Okazało się, że nawet po poprawce wciąż lubił sięgać po najprostszy, byle jaki sposób wyszukiwania zamiast po tę porządną procedurę. Miał pod ręką wygodny skrót, więc z niego korzystał.

Rozwiązanie było proste: usunąłem ten problem, bo wykorzystywał błędnie pewne narzędzie. Przetestowałem jeszcze raz tego AI Agenta na tych samych danych co poprzednio, i tym razem poszedł już dobrą drogą. Wszystkie zmyślone daty wyłapał, każdą sprawdził u oryginalnego źródła.

Wyciągnięcie wniosku

Zapytałem go, czego się nauczył

Kiedy było już po wszystkim, zrobiłem coś, czego warto się nauczyć przy pracy z AI. Zamiast po prostu zamknąć temat, zapytałem mojego AI Agenta wprost: gdzie tu był błąd i czego się z tego nauczyłeś?

I on sam, własnymi słowami, napisał to, co powinienem usłyszeć. Że zadziałał z pamięci w obszarze, w którym jego wiedza najszybciej się starzeje. Że powinien był najpierw sprawdzić oficjalne źródła i moje materiały na komputerze, zanim cokolwiek zrobił. Że podał mi niepewną rzecz jako pewną, zamiast od razu powiedzieć, że nie jest pewien i musi sprawdzić.

Nie musiałem mu tego wkładać w usta. Wystarczyło zapytać i dać mu nazwać własną wpadkę. To samo zadziała u ciebie: po nieudanym podejściu nie kasuj rozmowy od razu, tylko każ AI nazwać, co poszło nie tak. Z tego nazwania bierze się następny krok. Konkretnie możesz wkleić mu coś takiego:

Zatrzymajmy się, zanim ruszymy dalej. Przed chwilą coś poszło nie tak.

Nazwij dokładnie, gdzie był błąd i dlaczego do niego doszło.
Potem powiedz, czego ten błąd uczy cię na przyszłość. Jedno, dwa zdania
konkretu, bez ogólników.

A czyja właściwie była wina? Uczciwie: obu stron. Moja, bo założyłem, że mój AI Agent wie, jak się to robi, i nie wskazałem mu od razu własnych materiałów, które przecież mam. Jego, bo działał z pamięci tam, gdzie nie powinien. Ważniejsze od szukania winnego jest to, co z tym zrobiłem dalej.

Najważniejszy ruch

Zamień wniosek w trwałą zasadę (rule)

Mogłem zostawić to tak. Błąd wyłapany, poprawiony, lekcja odrobiona. Ale wiesz już, co by się stało: za tydzień, w nowej rozmowie, mój AI Agent zrobiłby dokładnie to samo. Bo cała ta lekcja żyła tylko w jednej rozmowie. Więc jej tam nie zostawiłem. Zamieniłem ją w regułę.

To prostszy mechanizm, niż brzmi. W narzędziach pokroju Claude Code możesz w swoim projekcie założyć osobny folder na zasady. Musi mieć nazwę rules. Claude Code czyta ten folder za każdym razem przy nowej sesji. Wrzucasz tam dokument w formacie markdown z tym, jak twój AI Agent ma się zachowywać. Od tej pory czyta te zasady przy każdym uruchomieniu, w każdej nowej rozmowie. To jest ta pamięć, która zostaje, kiedy rozmowa się kończy.

Gdzie dokładnie siedzi ten folder. Żeby to nie było abstrakcją, zobacz, jak od środka wygląda projekt w Claude Code. Każdy rodzaj rzeczy ma w nim swoje miejsce:

Cała ta maszyneria mieszka w jednym ukrytym folderze .claude wewnątrz twojego projektu. Zasady idą do rules, pomocnicy (subagenci) do agents, a procedury (skille) do skills. Swoją nową zasadę zapisujesz po prostu jako plik markdown w folderze rules. Tyle. Claude Code sam zajrzy tam na starcie każdej rozmowy.

Mój AI Agent dokładnie to zrobił, na moją prośbę. Zapisał sobie zasadę: zanim zbudujesz cokolwiek tego typu, najpierw sprawdź materiały na tym komputerze, a potem oficjalną dokumentację. Nie zgaduj z pamięci. Jak jesteś niepewien, powiedz to wprost. Ty robisz to jednym poleceniem. Kiedy AI nazwie już wniosek z poprzedniego kroku, poproś o ten ruch:

Weź wniosek, który przed chwilą nazwałeś, i zamień go w trwałą zasadę.

Zapisz ją jak polecenie: co masz robić, zanim następnym razem weźmiesz się
za podobne zadanie. Umieść ją w projekcie tam, gdzie czytasz ją na starcie
każdej nowej rozmowy, żeby obowiązywała na stałe, a nie tylko teraz.

Dlaczego to zmienia wszystko

Korepetytor kontra szef

Kiedy poprawiasz AI podczas rozmowy, jesteś korepetytorem, który w kółko tłumaczy to samo. Kiedy zamieniasz poprawkę w zasadę, jesteś szefem, który raz ustala reguły gry, a potem ich pilnuje.

I to jest dokładnie ta granica między „używam AI" a „zbudowałem sobie system pracy z AI". Używać może każdy: wpisać polecenie, dostać odpowiedź, poprawić, co nie gra. System zaczyna się tam, gdzie twoje poprawki przestają znikać. Gdzie raz wyłapana wpadka staje się zasadą, a zasady się odkładają.

Co możesz z tym zrobić u siebie

Trzy kroki, jeden zmieniony nawyk

Nie potrzebujesz do tego mojej apki ani umiejętności programowania. Potrzebujesz tylko zmienić jeden nawyk: nie wyrzucać lekcji do kosza razem z rozmową. Za każdym razem, gdy wyłapiesz, że twój AI Agent robi coś nie tak, przejdź przez te trzy kroki.