Netačne Predikcije

Istražujem oblast LLM-ova već neko vreme i samo sam hteo da podelim neka razmišljanja kako bismo započeli razgovor na ovu temu. Svaki dan radim sa velikim jezičkim modelima (i, u manjoj meri, modelima za viziju, TTS i STT), kako na poslu, tako i van njega, na različite načine, uključujući ličnu zabavu, lične kreativne projekte i lične praktične projekte. Kodiranje, pisanje, istraživanje i analiza; koristim ove alate svuda. Ovi alati će samo postajati bolji. Hardver potreban za njihovo pokretanje će postajati sve moćniji i jeftiniji za proizvodnju. Nalazimo se na mestu gde su trenutni modeli na vrhuncu već sposobni da obavljaju zadatke u satima koji bi timovima ljudi oduzeli mesece. I dok nije savršeno i zahteva duboko iskustvo i pažljivo kuriranje da bi se dobro koristilo, biće lakše. Velike stvari koje dolaze u AI nisu na radaru većine ljudi. Na primer, korišćenje GPU-a za obuku i inferenciju je uglavnom slučajnost dostupnosti. GPU-ovi su najbolji od mnogih loših instrumenata koji se koriste za izvođenje proračuna potrebnih za LLM inferenciju. To se menja, a posvećen hardver se razvija na različite načine koji će enormno nadmašiti trenutne GPU-ove u snazi, ceni i sposobnostima. Transformerski model - osnovna arhitektura svih velikih jezičkih modela - nije kraj istraživačke linije u velikim jezičkim modelima. Postoje kompanije i timovi koji rade na onome što dolazi nakon transformera, težeći modelima kontinuiranog učenja koji imaju iste sposobnosti, ali nisu ograničeni na svoju prethodnu obuku i mogu učiti u hodu. Takođe postoje modeli koji uključuju Bayesove statističke podjedince sposobne da procene sigurnost i iznenađenje, što su korisni indikatori da model možda nije siguran u ono što će učiniti ili reći. Takođe postoje napori da se modeli učine daleko transparentnijim kako bi se moglo posmatrati kako je do zaključka došlo ili da li se model sprema da se ponaša loše samo da bi napredovao. Sve ovo da kažem: jedna od najtežih stvari u ovom burnom, brzo promenljivom vremenu je proceniti kako će izgledati sledeća godina, a kamoli narednih pet godina. Međutim, imam velika očekivanja.