自去年 ChatGPT 面世以來,生成式 AI 技術備受各行各業熱捧,亦催生更多大型語言模型加入競爭。 而其競爭對手 Anthropic 早前發表其 3 個模型 Opus、Sonnet、Haiku 與其他模型的多方面能力比較,顯示 Claude 3 家族下的模型都更勝一疇,當中以 Opus 表現最為突出。以編寫程式能力為例,Opus 準確度達 84.9%,拋離 GPT-4 的 67%。
近日更有專門評測 AI 技術的 Youtube 頻道 bycloud 發佈影片實測,標題大膽詰問 ChatGPT 是否已經「跌落神壇」 (dethroned),並以 Claude 3 一起比較程式編寫表現。影片首先引述 reddit 一位自稱軟件工程師的感想。他提到曾使用 GPT-4 及 Claude 3 協助編寫程式,而他認為 Claude 3 較優勝,特別是它支援的語境 (context) 長度,讓他能夠把多份程式碼檔案交給 Claude 3 幫忙修改。坊間較多人以 python 比較不同模型的表現,而他嘗試以 rust、Go、Haskell 及 C++ 四種語言程式作比較,發現 Claude 3 在以上語言的處理能力都較佳,當中以處理 rust 語言的表現更為突出。
回到影片實測,內容提到 ChatGPT 在 Claude 3 面世前是大部份人尋求編寫程式碼的唯一選擇。但受限於只支援 32,000 tokens,用家可以提交的程式碼有限。而提問一些較複雜的自訂程式碼,其解答能力都較為一般。ChatGPT 亦在用家提出多項指令時容易遺忘指令,遺忘變數名稱等。頻道作者嘗試把一張簡單的表格數據截圖轉換為 csv 檔案,而得到處理逾時的回覆。
相比之下,作者可以把整套程式碼上載給 Claude 3 處理。他圍繞程式碼提出 10 項指令時,有 8 項都能夠準確處理。他又試過要求模型編寫機器學習的程式碼而得到不錯的效果。他續指,只有當程式碼邏輯極為複雜,或部份變數名稱很相似時,Claude 3 模型才會在困擾下未能給予期望答案。影片最後以 Claude 3 模型比 GPT-4 優勝作結。
AWS Bedrock 平台已開放使用 Claude 3
AWS 推出的 Amazon Bedrock 平台,現階段已開放 Claude 3 Sonnet 及 Haiku,而 Opus 亦將會推出。Amazon Bedrock 不僅能夠顯著提升硬件和軟件性能,加快 Claude 3 的實時互動速度,還能生成更加準確可靠的回應。如果重視 AI 編寫程式能力的話,可以嘗試使用這個模型來獲得更好效果。
聯絡銷售查詢香港企業的 Amazon Bedrock 應用案例:按此連結
報名最新活動了解 Amazon Bedrock: :按此連結
立即試用 Amazon Bedrock:按此連結
關於 Claude 最新模型:按此連結