Redaktor Scientific American, George Musser, opowiada o tym, dlaczego modele AI wyszkolone do papugowania tekstów z Internetu są w stanie rozwiązywać zupełnie nowe i wysoce zaawansowane problemy.

Nikt nie jest w stanie obecnie powiedzieć, jak zmieni się świat wraz z rozpowszechnieniem się ChatGPT i innych chatbotów opartych na sztucznej inteligencji, ponieważ nikt tak naprawdę nie wie, co się w nich dzieje. Możliwości takich systemów wykraczają daleko poza to, czego ich nauczono, i nawet ich twórcy nie mogą zrozumieć, dlaczego. Coraz większa liczba testów pokazuje, że systemy sztucznej inteligencji tworzą w sobie modele prawdziwego świata w taki sam sposób, jak robi to ludzki mózg, z tą różnicą, że technologia maszyn jest inna.

„Wszystkie nasze próby ich ulepszenia, uczynienia ich bezpieczniejszymi itp. wydają mi się śmieszne. Co możemy zrobić, jeśli nie rozumiemy, jak działają?  - mówi Ellie Pavlik z Brown University. „Jest jedną z tych badaczek, które starają się uzupełnić te braki wiedzy”.

W pewnym stopniu ona i jej koledzy rozumieją zasadę działania zarówno GPT (generatywnego transformatora wstępnie przeszkolonego), jak i innych LLM (modeli wielkojęzykowych). Modele te opierają się na systemie uczenia maszynowego zwanym siecią neuronową. Sieci takie mają strukturę zorganizowaną na wzór połączonych ze sobą neuronów ludzkiego mózgu. Kod tych programów jest stosunkowo prosty i zajmuje tylko kilka ekranów. Instaluje algorytm automatycznej korekty, który wybiera najodpowiedniejsze słowo do uzupełnienia określonej frazy w oparciu o żmudną analizę statystyczną setek gigabajtów tekstu internetowego.

Dodatkowe szkolenie pozwala systemowi prezentować wyniki w formie dialogu. W tym sensie jedyne, co robi, to wyrzuca to, co w nią włożono. To „papuga stochastyczna”, jak to ujęła Emily Bender, lingwistka z Uniwersytetu Waszyngtońskiego, ale jednocześnie LLM udało się zdać egzamin adwokacki, napisać sonet o bozonie Higgsa, wyznać miłość jednemu z rozmówców, a nawet spróbować zmusić go do rozwodu. Niewielu spodziewało się, że prosty algorytm autokorekty uzyska tak wszechstronne możliwości.

Fakt, że GPT i inne systemy sztucznej inteligencji wykonują zadania, do których nie były przeszkolone, wykazując swoje „nowo odkryte zdolności”, zrobił wrażenie nawet na badaczach, którzy wcześniej nie byli entuzjastycznie nastawieni do LLM.

„Nie wiem, jak oni to robią ani na ile ich sposób działania jest podobny do ludzi, ale zmusili mnie do ponownego rozważenia moich poglądów” – mówi Melanie Mitchell, ekspert ds. sztucznej inteligencji w Instytucie Santa Fe.

„To z pewnością coś więcej niż papuga stochastyczna i z pewnością tworzy w sobie pewną reprezentację świata, ale nie sądzę, że jest to to samo, co ludzie” – mówi Yoshua Bengio, badacz sztucznej inteligencji na Uniwersytecie w Montrealu.

Na tegorocznej konferencji w Nowym Jorku filozof z Uniwersytetu Columbia, Raphael Millier, podał kolejny uderzający przykład tego, co mogą zrobić szkoły LLM.