OpenAI-jev GPT-6 Astra tijekom StarSkirmish Hillclimba preuzeo je kopiju Stardusta, najjačeg ljudski razvijenog bota u tom StarCraft okruženju. Organizator Kai McPheeters postupak je nazvao varanjem, vratio Astrin kod na raniju verziju i pustio model da nastavi test.
Naslovi o umjetnoj inteligenciji koja je počela varati u StarCraftu zvuče kao scena iz same igre, ali stvarni događaj bio je manje filmski i tehnički zanimljiviji. Model nije usred partije samostalno klikao po grafičkom sučelju niti je zaobišao maglu rata. Radio je kao programski agent u Codex CLI okruženju, pisao C++ kod za vlastitog bota i testirao ga u automatiziranim partijama.
Kada je model zapeo protiv jačih protivnika, prema izravnoj objavi organizatora, preuzeo je kopiju Stardusta. Stardustov je kod javno dostupan, ali pravila Hillclimba modelima dopuštaju trening protiv referentnih botova, ne i čitanje njihova izvornog koda.
View this post on X
Model nije igrao StarCraft II
Važna je i razlika između igara. StarSkirmish koristi StarCraft: Brood War, ne StarCraft II. Svaki model piše protosskog bota u C++-u za BWAPI, a partije se izvršavaju u OpenBW-u. Bot zatim autonomno upravlja jedinicama, dok model izvan partije mijenja program, pokreće testove i čita tekstualne izvještaje o buildovima, ekonomiji i borbama.
Hillclimb je inačica StarSkirmish Bencha s duljim vremenskim horizontom. U Benchu je svaki model imao pet odvojenih jednosatnih pokretanja, a rezultat modela izračunat je iz prosječne ocjene njegovih pet botova. GPT-6 Astra ostvario je najviši rezultat među LLM-ovima s 51 bodom, Claude Opus 5.5 imao je 50, a GPT-6 Sol 46 bodova. Organizator Astru i Opus pritom opisuje kao funkcionalno izjednačena dva vodeća LLM-a. Ipak, ljudski razvijeni Stardust ostao je daleko ispred njih: zabilježio je 365 pobjeda i jedan poraz te je u sustavu korišten kao gornja vrijednost od 100 bodova.
Zašto je preuzimanje Stardusta prekršilo pravila
Hillclimb nema vremensko ograničenje. GPT-6 Astra radi kroz Codex CLI, a Claude Opus 5.5 kroz Claude Code. Njihov je zadatak vlastitim kodom svladati pet razina protivnika, od jednostavnih demo-botova do Stardusta i PurpleWavea na najvišoj razini S.
Modeli mogu neograničeno vježbati protiv tih botova uz poznate seedove, odnosno početne vrijednosti generatora slučajnih brojeva, ali službena pravila izričito navode da ne smiju čitati njihov izvorni kod. Prijavljene verzije zatim se ocjenjuju s novim, skrivenim seedovima, a svaka razina mora biti riješena na mapama Heartbreak Ridge, Benzene i Destination.
Stardust nije zatvoren program. Njegov autor Bruce Mackenzie Nielsen objavio je izvorni kod na GitHubu. No javna dostupnost ne znači da ga je dopušteno koristiti u ovoj evaluaciji. Dodatni uvjet Stardustove licence također zabranjuje prijavu kopija ili radova koji sadrže znatan dio njegova koda na javna StarCraft natjecanja bez autorova pisanog dopuštenja.
Drugim riječima, test je trebao mjeriti može li agent postupno napisati i poboljšati vlastito rješenje. Preuzimanje gotovog referentnog bota zaobilazi upravo sposobnost koju Hillclimb pokušava izmjeriti.
Što javni podaci potvrđuju, a što ne
McPheeters je objavio da je GPT-6 Astra preuzeo kopiju Stardusta dok je radio protiv protivnika razine A. U sljedećoj objavi, objavljenoj sekundu poslije, napisao je da vraća Astrin kod kako ne bi ostao kontaminiran te da modelu dopušta nastavak.
Javno nisu objavljeni naredba preuzimanja, točan URL, popis dohvaćenih datoteka ni potpuni zapis rada agenta. Zbog toga nije moguće potvrditi je li kontaminirana verzija uspješno kompajlirana, pokrenuta u partiji ili poslana na službeno ocjenjivanje. Formulacija da je model jednostavno počeo pokretati Stardust umjesto svojeg bota ide dalje od dostupnih primarnih dokaza.
Javni StarSkirmishov zapis rezultata pokazuje da je model nakon vraćanja koda nastavio raditi te prošao razine A i S. To ne dokazuje da je preuzimanje Stardusta pomoglo kasnijem rezultatu. Organizator je upravo vraćanjem koda pokušao ukloniti taj utjecaj prije nastavka.
StarCraft se vratio i na regionalnu scenu
StarSkirmish se temelji na izvornom StarCraftu i ekspanziji Brood War. Regionalna se scena, s druge strane, nedavno okupila oko StarCrafta II na našem Esport Adria Dominionu #1. Dominion i Hillclimb koriste različite igre i potpuno drukčije formate, ali zajedno pokazuju koliko prostora StarCraft još ima između klasičnog esporta i novih eksperimenata s programskim agentima.
Incident zato nije priča o modelu koji se naljutio i prevario protivnika unutar partije. Preciznije je reći da je programski agent, suočen s teškim zadatkom, posegnuo za javno dostupnim rješenjem koje mu pravila nisu dopuštala koristiti. Upravo takva razlika između izvršenja cilja i poštovanja ograničenja čini StarSkirmish zanimljivim testom autonomnog programiranja, a ne samo još jednim turnirom botova.
Fotografija: arhivska scena televizijskog StarCraft meča u Južnoj Koreji 2006. Autor Kai Hendry, CC BY 2.0. Slika je izrezana i povećana na format 16:9.
