Czy raport modl.ai o przyszłości QA, jest tylko pod tezę?

Testujemy gry za mało, niedokładnie, a działy QA są niedofinansowane. Raport modl.ai jasno wskazuje jedyne słuszne rozwiązanie. Czy faktycznie tylko AI pomoże na współczesne bolączki związane z jakością produkowanych gier?

O co chodzi?

Firma modl.ai prowadzona przez Christoffer Holmgård świadcząca usługi testowania gier opartego o AI wyprodukowała raport na podstawie badania przeprowadzonego we wrześniu 2024 roku, obejmującego 303 profesjonalistów z branży gier oraz opinie czterech ekspertów związanych z branżą: Roba Sandberga (Game Production Executive, związany z m.in. Reliance Games i Product Madness), Dajany Dimovskiej (CEO Indium Play), Bena Wibeerleya (Założyciel Digital Age QA, związanym też z Jagex, VMC, Keywords) oraz Henry’ego Goldinga (Senior Test Engineer w Netflix, wcześniej Rare, Epic, Microsoft). Formalnym celem raportu jest ujawnienie obecnego stanu i przyszłych perspektyw QA w gamedevie i… oczywiście podkreślenie istoty testowania z wykorzystaniem sztucznej inteligencji. Czy raport jednak z tego powodu jest bezużyteczny? Niekoniecznie!

Raport przedstawia obraz branży stojącej w obliczu znaczących wyzwań, ale jednocześnie dostrzegając ogromny potencjał w nowych technologiach, szczególnie w sztucznej inteligencji. Badanie ujawniło alarmujące statystyki dotyczące obecnego stanu QA – 77% deweloperów przyznaje się do niedostatecznego testowania w ostatnich projektach, 70% nigdy nie wydało gry całkowicie wolnej od błędów, 50% uważa, iż budżety na QA nie nadążają za rosnącą złożonością gier, 94% jest przekonanych o kluczowej roli AI w przyszłości testowania, a 51% chętniej pracowałoby w studio wykorzystującym AI w procesach QA.

Obecne wyzwania i rola automatyzacji

Współczesne zespoły QA mierzą się z wieloma problemami, wśród których najważniejsze to ograniczenia zasobowe (niewystarczające budżety, zbyt małe zespoły, brak odpowiednich narzędzi), presja czasowa (skrócone cykle rozwoju, częste aktualizacje w modelach GaaS, opóźnione włączanie QA w proces produkcji) oraz rosnąca złożoność (więcej platform do obsługi, bardziej skomplikowane mechaniki, większa ilość contentu). Już 94% studiów wykorzystuje jakąś formę automatyzacji w procesach QA, głównie w obszarach skryptów testowych, automatycznego raportowania błędów oraz playtestów całkowicie bądź częściowo zautomatyzowanych.

Tutaj faktycznie jestem w stanie zgodzić się, iż firmy tworzące gry mobilne czy też gry usługi korzystają z jakiejś formy automatyzacji. Niestety, wiele średnich i małych firm przez cały czas ma problemy z odpowiednim korzystaniem z tej formy testów: brakuje świadomości, wiedzy, czasu lub pieniędzy by coś zmienić. Ponadto tradycyjne podejście proceduralne ma swoje ograniczenia, co skłania branżę do poszukiwania bardziej zaawansowanych rozwiązań.

Potencjał AI i wyzwania we wdrażaniu

Sztuczna inteligencja jest postrzegana jako najważniejsze rozwiązanie obecnych problemów (a jakżeby by inaczej skoro firma która oferuje rozwiązanie opracowała raport), oferując zwiększoną efektywność (szybsze wykrywanie błędów, ciągłe testowanie 24/7, lepsze pokrycie testami), nowe możliwości (zaawansowane stress testy, predykcja potencjalnych problemów, automatyczna analiza zachowań graczy) oraz optymalizację kosztów (89% uważa AI za potencjalnie opłacalne rozwiązanie, redukcja kosztów późnego wykrywania błędów, efektywniejsze wykorzystanie zasobów ludzkich). Główne przeszkody w adopcji AI to wyzwania techniczne (złożoność implementacji, problemy z integracją, potrzeba dostosowania do specyfiki projektów), organizacyjne (opór przed zmianą, brak odpowiednich kompetencji, trudności w mierzeniu ROI) oraz finansowe (wysokie koszty początkowe, niepewny zwrot z inwestycji, koszty szkoleń i utrzymania).

Nie przeczę – AI ma potencjał w usprawnieniu testów w każdej rozciągłości, ale zanim poczynimy ten krok, potrzebne jest kilka działań wcześniej. Studia zarówno mniejsze jak i większe, a w szczególności “ludzie od pieniędzy” powinni zacząć mocniej inwestować w działy QA, gdyż bez nich dostarczenie gry na premierę o odpowiedniej jakości nie jest możliwe. Gdy praca QA będzie odpowiednio wynagradzana, sami testerzy przestaną postrzegać swoją pracę jako trampolinę do innych działów, a dzięki temu będą budowane coraz wyższe kompetencje. Ostatecznie też przejście na automatyzację będzie dzięki temu możliwe i zdecydowanie bardziej sprawne. Można oczywiście ten brak środków tłumaczyć faktem, iż gracze bez namysłu i tak kupują gry przedpremierowo. Co gorsza, niektórzy decydują się na advanced access, czyli dopłacają kilkadziesiąt dolarów by zagrać w tytuł kilka dni przed day-one patchem. Wszystko to jednak przypłaca się hejtem, złym sentymentem graczy, a samych graczy chętnych do kupowania niedopracowanych gier jest z roku na rok coraz mniej. Ktoś więc musi zmienić ten paradygmat by wyjść z tego impasu.

Przyszłość roli testera

Eksperci podkreślają, iż AI nie zastąpi ludzkich testerów, ale zmieni charakter ich pracy poprzez rozwój nowych kompetencji (zarządzanie narzędziami AI, analiza danych, projektowanie strategii testowych), skupienie się na wartości dodanej (testy kreatywne, ocena user experience, złożone przypadki testowe) oraz większą efektywność (mniej zadań rutynowych, lepsze wykorzystanie wiedzy eksperckiej, szybsze iteracje). Dla studiów planujących wdrożenie AI w QA, raport sugeruje stopniowe podejście (rozpoczęcie od prostszych przypadków, pilotażowe projekty, iteracyjne rozszerzanie zakresu), inwestycję w ludzi (szkolenia i rozwój, budowanie kultury innowacji, jasna komunikacja zmian) oraz systematyczne pomiary (określenie KPI, regularna ewaluacja, dostosowywanie strategii).

Tutaj widać, iż choćby entuzjaści AI w QA zauważają, iż nie będzie to proces natychmiastowy i zanim wyda się bez zastanowienia pieniądze na nową technologię, ważne jest odpowiednie zbudowanie fundamentów. Jednym z najgorszych elementów pracy QA jest powtarzalność wykonywanych działań, które sprawiają, iż powoli w każdej iteracji narasta rutyna i znużenie obniżając efektywność. Po to właśnie jest automatyzacja – zamiast marnować czas na manualne docieranie do miejsca problematycznego fragmentu gry, skrypt lub bot robi to za nas. Wtedy właśnie pojawia się rola człowieka, który dokładnie zbada dany punkt zapalny.

Należy pamiętać, iż istnieje szereg elementów, których żadna maszyna nie zweryfikuje. Nie istnieją metryki na ekscytujące doświadczenie gracza, nie ma miary “fajności gry”, a żaden bot AI nie sprawdzi, czy dany element rozgrywki wywoła u nas napięcie, podniecenie czy wzruszenie. Z racji tego, iż gry są sztuką i doświadczeniem emocjonalnym, rola człowieka-testera długo jeszcze nie wyginie.

Wnioski końcowe

Raport pokazuje, iż branża gier musi zwiększyć wysiłki w zakresie inwestycji w dział QA. Tradycyjne metody testowania nie nadążają za rosnącą złożonością i tempem rozwoju gier. Sztuczna inteligencja jawi się jako obiecujące rozwiązanie, mogące znacząco poprawić efektywność i jakość procesów QA. Kluczem do sukcesu będzie znalezienie odpowiedniej równowagi między możliwościami AI a ludzkimi kompetencjami. Studia, które najszybciej i najskuteczniej zaadaptują te rozwiązania, mogą zyskać znaczącą przewagę konkurencyjną. Przyszłość QA w branży gier to nie całkowite zastąpienie ludzkich testerów przez AI, ale raczej synergia między ludźmi a maszynami, gdzie każda strona koncentruje się na tym, co robi najlepiej. AI przejmie zadania powtarzalne i czasochłonne, podczas gdy ludzie skupią się na aspektach kreatywnych i strategicznych, wymagających intuicji i głębokiego zrozumienia doświadczenia gracza. Raport kończy się optymistyczną wizją przyszłości, w której adekwatnie wdrożone rozwiązania AI nie tylko poprawią jakość gier i efektywność procesów QA, ale także uczynią pracę testerów bardziej satysfakcjonującą i wartościową.

Sytuacja jednak nie zmieni się na lepsze, o ile osoby planujące i decydujące o budżetach nie zmienią swojego postrzegania na działy QA. Mam często wrażenie, iż dział zapewnienia jakości jest traktowany jak przykra konieczność, bo nie da się w pełni przerzucić testów na klienta końcowego. Testerzy i wszyscy związani z działem QA to pełnoprawni deweloperzy, których działania budują finalną jakość tworzonych gier. Bez nich osiągnięcie odpowiedniego poziomu rozgrywki, stabilności i wrażeń z gry jest niemożliwe. By więc optymistyczna wizja twórców raportu się ziściła, najpierw należy zainwestować i zmienić myślenie o QA generalnie, potem myśleć o zautomatyzowanej infrastrukturze, a wtedy przejście na rozwiązania bazujące na AI będą po prostu naturalnym krokiem w ewolucji, a nie magiczną rewolucją będącą lekarstwem na wszystkie problemy.

Reasumując czy raport ten jest pisany pod tezę? W wielu miejscach z pewnością tak. Nie umniejsza to jednak wartości zadawanym pytaniom i podkreśleniu jak istotnym jest QA w grach wideo.