Sayop nga mga Prediksyon

Naga-eskwela ko sa kalibutan sa LLMs sulod sa usa ka panahon ug gusto lang nako ipagawas ang pipila ka mga hunahuna aron magsugod ug usa ka panag-istoryahanay sa maong hilisgutan. Naga-trabaho ko uban ang dagkong mga modelo sa sinultian (ug, sa mas gamay nga bahin, mga modelo sa panan-aw, TTS, ug STT) matag adlaw karon, sa sulod ug gawas sa trabaho sa daghang mga paagi, lakip na ang personal nga kalingawan, personal nga mga proyekto sa pagkamamugna, ug personal nga mga praktikal nga proyekto. Pag-code, pagsulat, panukiduki, ug analisis; gigamit nako kini nga mga himan bisan asa. Kini nga mga himan magpadayon nga mahimong mas maayo. Ang hardware nga gikinahanglan aron patakbuhin kini magpadayon nga mahimong mas kusgan ug mas barato ang paghimo. Anaa kita sa usa ka lugar diin ang kasamtangang estado sa arte nga mga modelo sa unahan kay makahimo na sa pagperform sa mga butang sa sulod sa mga oras nga magkinahanglan og mga grupo sa mga tawo og mga bulan. Ug samtang dili kini hingpit sa bisan unsang paagi ug nagkinahanglan og lawom nga kasinatian ug maampingong pag-curate aron magamit kini nga maayo, magaan ra kini. Ang mga dagkong butang nga nag-abot sa AI dili makita sa radar sa kadaghanan. Pananglitan, ang paggamit sa GPUs para sa pagbansay ug inference kay kadaghanan usa ka aksidente sa pagkab-ot. Ang GPUs mao ang labing maayo sa daghang mga pobre nga instrumento nga magamit aron buhaton ang mga kalkulasyon nga gikinahanglan para sa LLM inference. Nag-usab kini, ug ang dedikadong hardware nagadebelop sa nagkalain-laing mga paagi nga molabaw sa kasamtangang GPUs sa dako nga gahum, gasto, ug kapasidad. Ang transformer model - ang nag-unang arkitektura sa tanan nga dagkong mga modelo sa sinultian - dili katapusan sa linya sa panukiduki sa dagkong mga modelo sa sinultian. Anaa ang mga kompanya ug mga grupo nga nagtrabaho sa unsay mosunod human sa transformers, nga nagtinguha alang sa mga modelo sa padayon nga pagkat-on nga adunay parehas nga mga kapasidad apan dili limitado sa ilang pre-training ug makakat-on sa dalan. Anaa usab ang mga modelo nga naglakip sa Bayesian statistical subunits nga makahimo sa pag-ila sa kasiguruhan ug katingalahan, nga parehas nga mapuslanong mga timailhan nga ang modelo tingali dili sigurado sa unsay buhaton o isulti. Anaa usab ang mga paningkamot aron himoon ang mga modelo nga mas hayag aron ang paagi sa pag-abot sa usa ka konklusyon o kung ang modelo hapit na magbuhat og sayop aron makasulong mahimong masusi. Tanang kini aron isulti: usa sa labing lisud nga butang nga buhaton sa kini nga magubot, dali nga nag-usab nga panahon mao ang pag-ila kung unsa ang hitsura sa sunod tuig labaw pa ang sunod nga lima ka tuig. Apan aduna koy taas nga paglaum.