Prediccions Incorrectes

He estat estudiant el món dels LLMs durant un temps i només volia llançar algunes idees per començar una conversa sobre el tema. Treballo amb models de llenguatge grans (i, en menor mesura, models de visió, TTS i STT) cada dia actualment, tant dins com fora de la feina de múltiples maneres, incloent entreteniment personal, projectes creatius personals i projectes pràctics personals. Programació, escriptura, recerca i anàlisi; utilitzo aquestes eines a tot arreu. Aquestes eines només milloraran. El maquinari necessari per executar-les només es tornarà més potent i més barat de fabricar. Estem en un moment en què els models de frontera actuals ja són capaços de realitzar proeses en hores que haurien requerit equips de persones mesos. I encara que no és perfecte en absolut i requereix una experiència profunda i una curació acurada per utilitzar-ho bé, serà més fàcil. Les grans coses que s'aproximen en IA no estan en el radar de la majoria de la gent. Per exemple, l'ús de GPUs per a l'entrenament i la inferència és en gran mesura un accident de disponibilitat. Les GPUs són el millor d'una gran quantitat d'instruments pobres per realitzar els càlculs necessaris per a la inferència dels LLM. Això està canviant, i s'està desenvolupant maquinari dedicat de diverses maneres que superarà enormement les GPUs actuals en potència, cost i capacitat. El model transformer - l'arquitectura subjacent a tots els models de llenguatge grans - no és el final de la línia de recerca en models de llenguatge grans. Hi ha empreses i equips treballant en el que ve després dels transformers, amb l'objectiu de models d'aprenentatge continu que tinguin les mateixes capacitats però que no estiguin restringits al seu pre-entrenament i que puguin aprendre sobre la marxa. També hi ha models que incorporen subunitats estadístiques bayesianes capaces d'avaluar la certesa i la sorpresa, ambdós indicadors útils que el model podria no estar segur del que està a punt de fer o dir. També hi ha esforços per fer que els models siguin molt més transparents perquè com es va arribar a una conclusió o si el model estava a punt de comportar-se malament només per avançar sigui observable. Tot això per dir: una de les coses més difícils de fer en aquest temps tumultuós i de ràpids canvis és avaluar com serà l'any vinent, per no parlar dels pròxims cinc anys. No obstant això, tinc grans esperances.