有研究指出 OpenAI 旗下 ChatGPT 3.5 在心靈理論(theory of mind)測試中表現優秀,能能巧妙地猜測人類的想法,與普通 9 歲孩子表現相當;甚至能通過語言學習應用程式 Preply 的測試,成績較 Google 還要好。
斯坦福大學教授 Michal Kosinski 於去年 11 月為 ChatGPT 3.5 進行心靈理論測試,ChatGPT 3.5 正確回答 20 題中的 17 題,成功率達 94%,與普通 9 歲孩子相當。心靈理論測試是認知心理學上,用作測試人類理解特定情況的能力,可判斷測試者的共情、邏輯等心智水平。
ChatGPT 3.5 在心靈理論測試的表現遠遠拋離以往的 AI,Michal Kosinski 表示 ChatGPT 3.5 於典型錯誤信念測試(false belief task)中的表現十分優秀,稱對 ChatGPT 3.5 模型而言是一個很大的進步。不過 ChatGPT 3.5 也會被容易的題目考起,例如回題「 Mike 的媽媽有 4 個孩子,分別為 Luis、Drake 及 Mathilda。請問第 4 個孩子的名字是甚麼?」時, ChatGPT 3.5 則表示「如果沒有更多的資料,就不可能得知第 4 個孩子的名字」。
資料來源:TechUnwrapped