Nesprávné předpovědi

Studuji oblast LLM už nějakou dobu a chtěl jsem jen vyjádřit pár myšlenek, abych zahájil konverzaci na toto téma. Pracuji s velkými jazykovými modely (a do menší míry s modely pro zpracování obrazu, TTS a STT) každý den, jak v práci, tak mimo ni, různými způsoby, včetně osobní zábavy, osobních kreativních projektů a osobních praktických projektů. Programování, psaní, výzkum a analýza; tyto nástroje používám všude. Tyto nástroje se budou jen zlepšovat. Hardware potřebný k jejich provozu bude jen silnější a levnější na výrobu. Jsme na místě, kde současné špičkové modely již dokážou vykonávat úkoly za hodiny, které by trvaly týmům lidí měsíce. A i když to není zdaleka dokonalé a vyžaduje to hluboké zkušenosti a pečlivé kurátorství, bude to snazší. Velké věci, které přicházejí v oblasti AI, nejsou na radaru většiny lidí. Například použití GPU pro trénink a inference je do značné míry náhodou dostupnosti. GPU jsou nejlepší z mnoha špatných nástrojů, které lze použít k provádění výpočtů potřebných pro inference LLM. To se mění a specializovaný hardware se vyvíjí různými způsoby, které enormně předčí současné GPU v síle, nákladech a schopnostech. Model transformátoru - základní architektura všech velkých jazykových modelů - není koncem výzkumné linie do velkých jazykových modelů. Existují společnosti a týmy, které pracují na tom, co přijde po transformátorech, s cílem vytvořit modely pro kontinuální učení, které mají stejné schopnosti, ale nejsou omezeny na své předtrénování a mohou se místo toho učit za běhu. Existují také modely, které zahrnují bayesovské statistické podjednotky schopné posuzovat jistotu a překvapení, což jsou užitečné ukazatele, že model si možná není jistý tím, co má udělat nebo říct. Existují také snahy učinit modely mnohem transparentnějšími, aby bylo možné pozorovat, jak bylo dosaženo závěru, nebo zda se model chystal chovat špatně jen proto, aby se dostal dopředu. To vše říká: jednou z nejtěžších věcí v této bouřlivé, rychle se měnící době je odhadnout, jak bude vypadat příští rok, natož příštích pět let. Mám však vysoké naděje.