Język polski zaskakująco dobrze poradził sobie w jednym konkretnym teście, co jednak nie oznacza przewagi nad innymi językami.
Skąd wzięły się te informacje?
Większość mediów potraktowała ten pojedynczy wynik jako dowód, że polski jest najlepszy dla AI. Jest to podejście całkowicie niezgodne zarówno z metodologią, jak i wnioskami autorów badania. Współautor benchmarku, badacz z Uniwersytetu Stanforda, wyraźnie zaznaczył, że testy te nie pokazują, że język polski jest lepszy do pisania promptów.
Ograniczenia testów One Ruler
Ten zestaw testów nie pokazuje również, że sztuczna inteligencja rozumie język polski lepiej niż angielski. Nie dowodzi on też, że nasz język generuje lepsze wyniki przy tworzeniu odpowiedzi. Testy One Ruler wybierają mikro-umiejętności, takie jak analiza składni, relacje oraz proste zależności logiczne.
Czy to dowód przewagi?
Są to bardzo ważne testy, ale obejmują tylko małą część tego, jak działają modele językowe. Fakt, że język polski dobrze poradził sobie w jednym zadaniu, jest językową ciekawostką, a nie dowodem przewagi naszego języku nad innymi. Tego typu wyniki mogą wynikać z wielu rzeczy, takich jak konstrukcja konkretnego testu czy dane treningowe.
Przypadek w danych treningowych
Wyniki mogą wynikać również z tego, że dane przypadkiem lepiej pasują do czystych przykładów w języku polskim. Należy też wziąć pod uwagę to, jak model uogólnia wzorce między językami. To trochę jak decydowanie, że ktoś jest najlepszy w całym egzaminie końcowym na podstawie dobrej odpowiedzi na jedno pytanie.
Ważny przykład dla nauki
Z punktu widzenia naukowego jest to ważny przykład tego, jak łatwo można źle odczytać badania nad AI, zwłaszcza gdy dotyczą one języka. Sztuczna inteligencja nie działa w taki sposób, że rozumie język polski lepiej niż angielski. Modele są trenowane na ogromnych zbiorach danych i w większości przypadków angielski dominuje bardzo wyraźnie.
Unikanie fałszywych oczekiwań
Powtarzanie takich uproszczeń tylko tworzy szum i fałszywe oczekiwania co do technologii, która i tak jest już wystarczająco skomplikowana. Należy zachować ostrożność przy interpretacji pojedynczych wyników benchmarków i nie generalizować ich na całe możliwości systemów AI.