Zbudowaliśmy cały pipeline: evals, golden set, guardrails, LLM-as-a-Judge. Wygląda jak pełna automatyzacja. Nie jest. Ostatni artykuł serii o tym, dlaczego za każdym skutecznym systemem AI i tak musi stanąć człowiek.
Gemini wymyślił wydarzenie, którego oficjalnie nie było. A jednak telebim stał na plaży i ludzie kibicowali. Historia o tym, jak losowy strzał algorytmu zamienił się w fascynujący edge case z pogranicza ewaluacji AI.
Mamy już Golden Set i wiemy, co chcemy mierzyć. Pozostaje tylko jedno pytanie: kto ma to wszystko oceniać? Dlaczego manualne testowanie LLM-ów nie ma szans na przetrwanie i jak wdrożyć zautomatyzowanego sędziego.
Rozszerzona notatka z mojego występu w podcaście Testing Station. O tym, dlaczego LLM bez człowieka się nie obejdzie, czym naprawdę są guardrails i co zmienia się w roli QA.
W idealnym środowisku testowym model odpowiada perfekcyjnie. Na produkcji użytkownicy robią literówki, wklejają dziwne formaty i piszą bez ładu i składu. Dowiedz się, czym jest robustness i jak testować AI w takich wypadkach.
Twój model AI nie ma kręgosłupa moralnego. Dowiedz się, czym są guardrails, jak testować safety i dlaczego to człowiek musi chronić aplikację przed generowaniem niebezpiecznych treści.
Pora połączyć niedeterministyczność i oceny w proces, który ma sens. Dowiedz się, jak zbudować i wykorzystać Golden Set w testowaniu AI.
Jak zdefiniować kategorie oceny (fidelity, relevance, safety, tone, context), by testować LLM-y wielowymiarowo i skalowalnie.
Modele językowe są niedeterministyczne - nawet przy identycznym promptcie mogą generować różne odpowiedzi. Jak to zmienia podejście QA do testowania?
Shifting left is about building quality from the ground up - during planning, design, and development phases. Learn how to introduce it in your organization.
This is the story of Saleor's path from our early days of automated testing, to adapting to new tools, and finally to where we stand today with a more robust and efficient testing framework.