2022年
成立時(shí)間
OpenAI是一家人工智能研究和部署公司,使命是確保人工通用智能造福全人類(lèi)。OpenAI的使命是確保人工通用智能(AGI)——指的是在具有經(jīng)濟(jì)價(jià)值的工作中超越人類(lèi)的高度自治系統(tǒng)——造福全人類(lèi)。OpenAI將試圖直接建設(shè)安全和有益的AGI,但如果工作幫助他人實(shí)現(xiàn)這一結(jié)果,OpenAI也將認(rèn)為我們的使命已經(jīng)完成。OpenAI已經(jīng)訓(xùn)練了一個(gè)名為ChatGPT的模型,它以對(duì)話(huà)的方式進(jìn)行交互。對(duì)話(huà)形式使ChatGPT能夠回答后續(xù)問(wèn)題,承認(rèn)錯(cuò)誤,質(zhì)疑不正確的前提,并拒絕不適當(dāng)?shù)恼?qǐng)求。ChatGPT是說(shuō)明書(shū),它被訓(xùn)練成遵循提示中的指令并提供詳細(xì)的響應(yīng)。
ChatGPT有時(shí)會(huì)寫(xiě)出聽(tīng)起來(lái)合理但不正確或無(wú)意義的答案。解決這個(gè)問(wèn)題是具有挑戰(zhàn)性的,因?yàn)椋海?)在RL訓(xùn)練期間,目前沒(méi)有真實(shí)的來(lái)源;(2)訓(xùn)練模型更加謹(jǐn)慎導(dǎo)致它拒絕它能夠正確回答的問(wèn)題;以及(3)監(jiān)督訓(xùn)練誤導(dǎo)模型,因?yàn)槔硐氪鸢溉Q于模型知道什么,而不是人類(lèi)示威者所知道的。
ChatGPT對(duì)輸入措辭的調(diào)整或多次嘗試相同的提示很敏感。例如,給定一個(gè)問(wèn)題的一種措辭,模型可以聲稱(chēng)不知道答案,但給定一個(gè)輕微的措辭,可以正確地回答。理想情況下,當(dāng)用戶(hù)提供一個(gè)模糊的查詢(xún)時(shí),模型會(huì)問(wèn)一些澄清性的問(wèn)題。相反,我們當(dāng)前的模型通常猜測(cè)用戶(hù)的意圖。
今天ChatGPT的研究發(fā)布是OpenAI的新一步迭代部署越來(lái)越安全和有用的人工智能系統(tǒng)。從早期模型的部署中吸取的許多經(jīng)驗(yàn)教訓(xùn)為此次發(fā)布的安全緩解措施提供了信息,包括通過(guò)使用人類(lèi)反饋強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)的有害和不真實(shí)輸出的大幅減少。