不正確的預測

我已經研究大型語言模型的領域一段時間了，只想拋出一些想法來開始這個話題的對話。 我每天都在工作和生活中以多種方式使用大型語言模型（以及在較小程度上，視覺、TTS 和 STT 模型），包括個人娛樂、個人創意項目和個人實用項目。編碼、寫作、研究和分析；我在各處使用這些工具。 這些工具只會變得更好。運行它們所需的硬體只會變得更強大，製造成本也會更便宜。我們正處於一個當前最先進的前沿模型已經能在幾小時內完成過去需要團隊幾個月才能完成的壯舉的時代。雖然這並不完美，並且需要深厚的經驗和仔細的策劃才能很好地利用，但這將變得更容易。 即將到來的 AI 大事並不在大多數人的雷達上。例如，使用 GPU 進行訓練和推理在很大程度上是可用性的意外。GPU 是執行 LLM 推理所需計算的許多不良工具中最好的。這正在改變，專用硬體正在以多種不同的方式開發，將在功率、成本和能力上大幅超越當前的 GPU。 變壓器模型 - 所有大型語言模型的基礎架構 - 並不是對大型語言模型研究的終點。許多公司和團隊正在研究變壓器之後的東西，旨在開發具有相同能力但不受預訓練限制的持續學習模型，並能夠即時學習。還有一些模型結合了貝葉斯統計子單元，能夠評估確定性和驚訝，這兩者都是模型可能對即將要做或說的事情缺乏信心的有用指標。還有努力使模型變得更加透明，以便能夠觀察到結論是如何得出的，或者模型是否即將為了超越而不當行為。 所有這些都是在說：在這個動盪、快速變化的時代，最困難的事情之一就是評估明年甚至未來五年的情況會是什麼樣子。不過，我對未來抱有很高的期望。