快科技8月8日消息，自從ChatGPT等生成式人工智能誕生，就有不少開發者嘗試將其作為編程中的輔助工具。

但近日，美國普渡大學的一項研究指出，ChatGPT在回答編程問題時的錯誤率，出乎預料的高。

據悉，ChatGPT在回答軟件編程問題時，錯誤率超過了50%，并且這些錯誤很高明，足以騙過三分之一的提問者。

該研究團隊分析了ChatGPT對517個Stack Overflow網站上的問題的回答，評估了其正確性、一致性、全面性和簡潔性；并對12為志愿參與者進行了問卷調查。

最終的結論是，ChatGPT的回答雖然語言風格良好，但52%的回答是錯誤的，77%是冗長的。

同時，參與實驗的志愿者只有在回答中存在明顯錯誤時，才能發覺問題存在；其他情況下他們會被AI友好且細致的語言風格誤導。

這無疑意味著，對于開發者來說，現階段的生成式AI距離作為編程時的輔助工具還有著較為遙遠的距離，甚至可能會起到反作用。

不過，需要注意的是，OpenAI很早之前就在官網告知用戶，AI的回答“可能會產生關于人、地點或事實的不準確信息。”