Неправилни предсказания

Изучавам сферата на LLMs от известно време и просто исках да споделя някои мисли, за да започна разговор по темата. Работя с големи езикови модели (и, в по-малка степен, модели за визия, TTS и STT) всеки ден в наши дни, както в работата, така и извън нея по множество начини, включително лични развлечения, лични креативни проекти и лични практически проекти. Кодиране, писане, изследвания и анализ; използвам тези инструменти навсякъде. Тези инструменти само ще стават по-добри. Хардуерът, необходим за тяхното изпълнение, само ще става по-мощен и по-евтин за производство. Намираме се на място, където текущите авангардни модели вече са способни да извършват подвизи за часове, които биха отнели на екипи от хора месеци. И докато не е съвършено и изисква дълбок опит и внимателно подбиране, за да се използва добре, ще става по-лесно. Големите неща, които идват в AI, не са на радара на повечето хора. Например, използването на GPU за обучение и инференция е до голяма степен случайност на наличността. GPU са най-добрите от много лоши инструменти, които могат да се използват за извършване на изчисленията, необходими за LLM инференция. Това се променя, и се разработва специализиран хардуер по различни начини, който ще надмине текущите GPU значително по мощност, цена и възможности. Моделът трансформер - основната архитектура на всички големи езикови модели - не е краят на изследователската линия в големите езикови модели. Има компании и екипи, които работят върху това, което идва след трансформерите, стремейки се към модели за непрекъснато обучение, които имат същите възможности, но не са ограничени до предварителното си обучение и могат вместо това да учат в движение. Има също модели, които включват байесови статистически подсистеми, способни да оценяват сигурност и изненада, и двете полезни индикатори, че моделът може да не е уверен в това, което е на път да направи или каже. Има и усилия да се направят моделите много по-прозрачни, така че как е достигнато до заключение или дали моделът е на път да се държи неправилно само за да напредне, да бъде наблюдаемо. Всичко това, за да кажа: едно от най-трудните неща в това бурно, бързо променящо се време е да се прецени как ще изглежда следващата година, камо ли следващите пет години. Имам големи надежди, обаче.