自半導體出現,為電子產品定下重要基石,亦為科技和文明帶來飛躍的進步。而半導體行業有一金科玉律在近60年前由 Intel 創辦人 Gordon Moore 所提出的 摩爾定律 Moore’s law 。時至今日, ChatGPT 之父 Sam Altman 又持另一想法,就住 AI 時代提出了新版摩爾定律。
OpenAI CEO Sam Altman 「ChatGPT之父」在 twitter 發文提出新版摩爾定律,指全球 AI 的運算量每隔18個月就會提升一倍。雖然內文並無詳細解釋,但仍有已引起不少網民留言及過千個 retweet 。
a new version of moore’s law that could start soon:
the amount of intelligence in the universe doubles every 18 months
— Sam Altman (@sama) February 26, 2023
回到1965年,當時身為快捷半導體工程師的 Gordon Moore 的文章在電子學雜誌發表,文章預言每隔18個月,半導體晶片上的電晶體和電阻數量就會以倍數增長,後來被稱為摩爾定律 Moore’s law。後續在1975年又再提交論文,將時間間隔修正為24個月,即是每兩年半導體晶片密度增加一倍,同時成本降低一半。
而 ChatGPT 目前正使用 GPT-3 Model ,有過萬億的參數,並積累了1億用戶,每日活動超過1300萬。訓練階段時總算力消耗大約 3640 PF-days(即1PetaFLOP/s效率運作3640天),成本預計在每次500萬美元。
未來若提升到 GPT-4 Model 將會有100萬億參數, 但運算性能需要進一步的指數級提升。
資料來源:Twitter