在伊利亞·蘇茨克弗領(lǐng)導(dǎo)下，OpenAI的超級(jí)對(duì)齊團(tuán)隊(duì)探索了指導(dǎo)日益聰明的人工智能模型行為的方法。

自從去年ChatGPT面世以來(lái)，尤其在公司近期的治理危機(jī)中，OpenAI的商業(yè)抱負(fù)變得更加顯著。該公司聲稱，一個(gè)專注于馴服未來(lái)超級(jí)智能AI的新研究小組正在取得初步成果。

OpenAI的研究人員正在檢驗(yàn)一種被稱為監(jiān)督的過(guò)程，該過(guò)程用于調(diào)整像GPT-4這樣的大型語(yǔ)言模型，使其更有幫助、減少危害。目前，這涉及到人類向AI系統(tǒng)提供關(guān)于哪些答案是好的，哪些是壞的反饋。隨著AI的發(fā)展，研究人員正在探索如何自動(dòng)化這一過(guò)程，以節(jié)省時(shí)間，但也因?yàn)樗麄冋J(rèn)為，隨著AI變得更加強(qiáng)大，人類提供有用反饋可能變得不可能。

在一項(xiàng)控制實(shí)驗(yàn)中，研究人員使用OpenAI于2019年首次發(fā)布的GPT-2文本生成器來(lái)教導(dǎo)GPT-4，較新的系統(tǒng)變得能力下降，類似于較低級(jí)的系統(tǒng)。研究人員測(cè)試了兩種解決方案。一種是訓(xùn)練逐漸更大的模型以減少每一步的性能損失。另一種是在GPT-4中添加了一個(gè)算法調(diào)整，允許更強(qiáng)大的模型在不太削弱其性能的情況下遵循較弱模型的指導(dǎo)。這更有效，盡管研究人員承認(rèn)，這些方法不能保證更強(qiáng)大的模型會(huì)完美行為，他們將其描述為進(jìn)一步研究的起點(diǎn)。

阿什徹布倫納和另外兩名超級(jí)智能團(tuán)隊(duì)的成員在接受WIRED采訪時(shí)表示，他們對(duì)這一重要的第一步感到鼓舞，認(rèn)為這是馴服潛在超級(jí)智能AI的重要起點(diǎn)。伊茲梅洛夫說(shuō)：“即使是一個(gè)六年級(jí)的學(xué)生數(shù)學(xué)知識(shí)比大學(xué)數(shù)學(xué)專業(yè)的學(xué)生少，他們?nèi)匀豢梢韵虼髮W(xué)生傳達(dá)他們想要實(shí)現(xiàn)的目標(biāo)。這就是我們現(xiàn)在試圖實(shí)現(xiàn)的。”

該超級(jí)對(duì)齊小組由OpenAI的聯(lián)合創(chuàng)始人、首席科學(xué)家蘇茨克弗共同領(lǐng)導(dǎo)，他是上個(gè)月投票解雇首席執(zhí)行官薩姆·奧特曼的董事會(huì)成員之一，隨后撤銷決定，并威脅如果奧特曼不被重新任命，他將辭職。蘇茨克弗是今天發(fā)布的論文的合著者，但OpenAI拒絕讓他參與討論該項(xiàng)目。

在奧特曼上個(gè)月回歸OpenAI并且大部分董事會(huì)成員辭職的協(xié)議后，蘇茨克弗在公司的未來(lái)似乎不確定。

阿什徹布倫納說(shuō)：“我們非常感謝伊利亞，他一直是這個(gè)項(xiàng)目的巨大動(dòng)力和推動(dòng)力。”

盡管OpenAI正在宣揚(yáng)控制更先進(jìn)AI的第一步，但該公司也熱切希望獲得外部幫助。公司今天宣布，將與影響力投資者、谷歌前首席執(zhí)行官埃里克·施密特合作，向外部研究人員提供1000萬(wàn)美元的資助，以進(jìn)一步研究包括弱對(duì)強(qiáng)監(jiān)督、高級(jí)模型的可解釋性，以及增強(qiáng)模型以抵御旨在破壞其限制的提示等主題。OpenAI還計(jì)劃明年舉辦一次關(guān)于超級(jí)對(duì)齊的會(huì)議，新論文的參與研究人員表示。

蘇茨克弗，作為OpenAI的聯(lián)合創(chuàng)始人和超級(jí)對(duì)齊團(tuán)隊(duì)的共同領(lǐng)導(dǎo)，領(lǐng)導(dǎo)了公司大部分重要的技術(shù)工作，也是越來(lái)越多關(guān)注如何控制越來(lái)越強(qiáng)大的AI的著名AI人物之一。今年，由于ChatGPT的推出，如何控制未來(lái)AI技術(shù)的問(wèn)題引起了新的關(guān)注。蘇茨克弗在杰弗里·辛頓的指導(dǎo)下攻讀博士學(xué)位，辛頓是深度神經(jīng)網(wǎng)絡(luò)的先驅(qū)，他于今年五月離開(kāi)谷歌，以警告AI在某些任務(wù)中接近人類水平的速度。