Czy jeden pies może pilnować drugiego? Jak działa LLM-as-a-Judge w testach AI
AI Testers • Odc. 6 • sie 2026
Wykorzystanie LLM do oceniania innych modeli. Jak wdrożyć podejście LLM-as-a-Judge w testach AI.
Michalina Graczyk
Engineering Manager
O mnie
Engineering Manager z ponad 10-letnim doświadczeniem w IT. Specjalizuję się w QA & Test Automation Strategy, AI-driven Testing i LLM Evaluation. Pasjonatka efektywnej komunikacji i mentoringu, pomagająca innym w rozwoju kariery w IT.
Doświadczenie
Engineering Manager
InPost • lip 2025 - obecnie
- Tworzenie i wdrażanie strategii jakości (Master Test Strategy) dla zespołów produktowych (web, mobile, API)
- Innowacyjne podejścia do testowania – strategia LLM-as-a-judge, Promptfoo, ocena odpowiedzi modeli AI
- Współpraca z zespołami SRE i produktowymi w celu zapewnienia wysokiej jakości usług
- Zarządzanie zespołem QA i rozwój kompetencji w obszarze automatyzacji oraz AI-driven testing
Head of Quality Assurance
Saleor Commerce • lut 2022 - maj 2025 • 3 lata 4 mies.
- Zarządzanie zespołem: rozwój umiejętności zespołu, mentoring i organizacja pracy
- Koordynacja QA Guild: rozwój wewnętrznych praktyk i promowanie kultury jakości
- Projektowanie i optymalizacja procesów zapewniania jakości
- Nadzór nad procesami testowania manualnego i automatycznego
- Zarządzanie procesem rekrutacji w zespole QA
Urlop rodzicielski
2021
Quality Assurance Specialist
Saleor Commerce • mar 2020 - gru 2020 • 10 mies.
- Pierwsza osoba w firmie na stanowisku QA
- Wprowadzenie i implementacja testów automatycznych
- Rozwój strategii i procesów testowych
- Budowanie kultury jakości w organizacji
QA Engineer
Kellton Europe (Tivix) • lis 2018 - lut 2020 • 1 rok 4 mies.
Quality Control Engineer
SoftServe • maj 2018 - lis 2018 • 7 mies.
QA Engineer
Shiji Group • wrz 2016 - kwi 2018 • 1 rok 8 mies.
QA Engineer
EUVIC • lut 2015 - kwi 2018 • 3 lata 3 mies.
Edukacja
Akademia WSB
Magister Informatyki • 2016 - 2018
Politechnika Śląska
Inżynier Zarządzania i Inżynierii Produkcji • 2012 - 2016
Certyfikaty
Human Leader in Feedback with Impact
Human Leaders • wrz 2025
Introduction to Observability
Datadog • cze 2024
ID: eukfvuvi0u
ISTQB Foundation Level
Polish Testing Board • paź 2016
ID: 06281/FLCT/2016
Wystąpienia
Pies na ruchliwej ulicy. Testowanie odporności (Robustness) modeli LLM na chaos
AI Testers • Odc. 5 • sie 2026
Testowanie odporności (Robustness) modeli LLM na chaos. Zobacz jak modele radzą sobie w trudnych warunkach.
Żeby Twój model nie pogryzł użytkowników. Guardrails i Safety w testowaniu AI
AI Testers • Odc. 4 • sie 2026
Jak dbać o bezpieczeństwo modeli językowych? Wprowadzenie do Guardrails i Safety w testowaniu AI.
Golden Retriever w świecie QA? Jak stworzyć Golden Set do testowania LLM
AI Testers • Odc. 3 • sie 2026
Dowiedz się jak stworzyć Golden Set do testowania LLM i dlaczego jest to kluczowe w procesie QA.
Kto tu jest "dobrym pieskiem"? Kategorie Evals, czyli jak oceniać jakość modeli LLM
AI Testers • Odc. 2 • lip 2026
Dlaczego klasyczne asercje zawodzą przy modelach językowych? Poznaj trzy filary Evals — Fidelity, Relevance i Tone & Format — i dowiedz się, jak mierzyć jakość odpowiedzi AI poprawnie.
Dlaczego AI nie słucha komend jak pies? Walka z niedeterministycznością w testach LLM
AI Testers • Odc. 1 • lip 2026
Pierwszy odcinek serii AI Testers: dlaczego testowanie LLM-ów to nie to samo co testowanie klasycznego oprogramowania i jak radzić sobie z niedeterministycznością.
O testowaniu asystenta AI, pracy w InPost i nowych kierunkach QA
Testing Station • S03E01 • maj 2026
Prowadzący: Arkadiusz Jelonek
Rozmowa o testowaniu asystenta AI InPost: human-in-the-loop, golden set, guardrails, LLM-as-a-judge i przyszłości roli QA.
Publikacje
Shift Left Done Right: QA in the Modern SDLC
kwi 2025
From Cypress to Playwright - Saleor's Voyage
lis 2024