国产精品久久精品牛牛影视-国产精品久久精品视-国产精品久久九九-国产精品久久久-国产精品久久久99

大型語(yǔ)言模型在生成文本段落、模擬人類對(duì)話和解決數(shù)學(xué)問題方面表現(xiàn)出色，顯然是近年來(lái)AI發(fā)展最受歡迎的領(lǐng)域之一。然而，這種大型語(yǔ)言模型不僅可以自己生成有害內(nèi)容，還可以通過下游應(yīng)用程序傳播。

芯片采購(gòu)網(wǎng)專注于整合國(guó)內(nèi)外授權(quán)IC代理商現(xiàn)貨資源，芯片庫(kù)存實(shí)時(shí)查詢，行業(yè)價(jià)格合理，采購(gòu)方便IC芯片，國(guó)內(nèi)專業(yè)芯片采購(gòu)平臺(tái)。

理論上，更多的人的參與應(yīng)該有助于解決問題。然而，由于語(yǔ)言模型的培訓(xùn)需要大量的數(shù)據(jù)和計(jì)算能力，它們?nèi)匀恢皇谴笮涂萍脊�司的�?dú)特項(xiàng)目。在學(xué)術(shù)界、倫理學(xué)家和社會(huì)科學(xué)家等更廣泛的群體中，只有旁觀者擔(dān)心人工智能濫用。

我相信建立信任的唯一方法就是極其透明。Meta AI常務(wù)董事喬爾·皮諾（Joelle Pineau）說(shuō)。當(dāng)?shù)貢r(shí)間5月3日，Meta AI擁有1750億參數(shù)的大語(yǔ)言模型開放OPT-175B（Open Pretrained Transformer，OPT）。

這對(duì)大型科技公司來(lái)說(shuō)是前所未有的。即使在大語(yǔ)言模型的歷史上，這也是第一次毫無(wú)保留地披露所有的預(yù)訓(xùn)練模型、訓(xùn)練代碼和使用代碼。

我們中的許多人都是大學(xué)的研究人員，皮諾說(shuō)。我們知道，大學(xué)和行業(yè)在建立這些模式的能力上存在著明顯的差距。很明顯，讓研究人員討論這項(xiàng)技術(shù)的好處。她希望其他人能仔細(xì)研究他們的工作，分析它們，或在此基礎(chǔ)上建立它們。她認(rèn)為，當(dāng)更多的人參與進(jìn)來(lái)時(shí)，突破就會(huì)更快地實(shí)現(xiàn)。

OPT語(yǔ)言模型中約有1750億個(gè)參數(shù)(這些參數(shù)是神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中可以調(diào)整的參數(shù))OpenAI開創(chuàng)性的神經(jīng)網(wǎng)絡(luò)GPT-3規(guī)模基本相同，有付費(fèi)服務(wù)GPT-非凡的能力和不可避免的缺陷。

這是經(jīng)過精心設(shè)計(jì)的，皮諾說(shuō)OPT考慮語(yǔ)言任務(wù)的準(zhǔn)確性和有害性GPT-3相匹配。OPT為研究人員提供類似的語(yǔ)言模型進(jìn)行研究。

OpenAI拒絕了對(duì)Meta評(píng)論聲明。

OpenAI谷歌的母公司正在探索在其搜索產(chǎn)品中使用大型語(yǔ)言模型，但也因缺乏透明度而受到批評(píng)。谷歌在人工智能倫理研究員方面存在許多爭(zhēng)議Timnit Gebru如果你想發(fā)表一篇關(guān)于谷歌當(dāng)時(shí)語(yǔ)言系統(tǒng)的論文，你可能會(huì)從網(wǎng)站上學(xué)習(xí)包含偏見和仇恨的論文，最近解雇了另一名反對(duì)發(fā)表研究的員工。

那么，Meta為什么要這樣做？Meta也很少提到臉書和臉書Instagram科技公司背后的算法工作原理利問題而聞名的科技公司背后的算法工作原理。

根據(jù)麻省理工科技評(píng)論，Meta采用不同方法的一個(gè)重要原因是皮諾本人多年來(lái)一直在促進(jìn)人工智能研發(fā)的透明度。

在核心學(xué)術(shù)會(huì)議發(fā)表的研究方法中，皮諾要求研究人員提交包括代碼以及如何進(jìn)行實(shí)驗(yàn)的詳細(xì)信息和結(jié)果。她自2017年加入Meta（當(dāng)時(shí)的Facebook）人工智能實(shí)驗(yàn)室一直倡導(dǎo)這種文化。

“Meta對(duì)開放科學(xué)的承諾條件來(lái)這里工作，皮諾說(shuō)。

除代碼外，Meta開發(fā)日志也公布了。日志包括團(tuán)隊(duì)成員對(duì)數(shù)據(jù)培訓(xùn)的日常更新:如何將其添加到模型中，以及何時(shí)、有效和無(wú)效。在100多頁(yè)的筆記中，研究人員記錄了2021年10月至2022年1月持續(xù)運(yùn)行的三個(gè)月訓(xùn)練過程中的每一個(gè)錯(cuò)誤、崩潰和ILSI代理重啟。

斯坦福大學(xué)基礎(chǔ)模型研究中心主任Percy Liang將大模型的開放程度總結(jié)為四個(gè)層次：

第一層論文開放，證明一些想法的可行性，并提供構(gòu)建思路；第二層API開放允許研究人員探索和評(píng)估現(xiàn)有模型的能力（如推理能力）和限制（如偏見）；第三層模型權(quán)重和培訓(xùn)數(shù)據(jù)的開放允許研究人員逐步改進(jìn)現(xiàn)有模型，開發(fā)更深入的可解釋技術(shù)和更有效的微調(diào)方法，讓研究人員更好地了解培訓(xùn)數(shù)據(jù)在模型行為中的作用；第四層開放的計(jì)算能力允許研究人員嘗試新的系統(tǒng)結(jié)構(gòu)、培訓(xùn)目標(biāo)和過程、數(shù)據(jù)集成，并在不同領(lǐng)域開發(fā)新的模型。

更高層次的開放可以讓研究者關(guān)注更深層次的問題，同時(shí)帶來(lái)更多的風(fēng)險(xiǎn)。Percy Liang明確指出這一點(diǎn)。

Meta在這種程度上，開源其大型語(yǔ)言模型是一項(xiàng)非常大膽的措施，可能會(huì)產(chǎn)生目前無(wú)法想象的風(fēng)險(xiǎn)。OpenAI對(duì)于不發(fā)布GPT-3的前身GPT-給出的原因。

我不能告訴你這個(gè)模型不會(huì)有其他可怕的風(fēng)險(xiǎn)。皮諾駁斥了僅僅因?yàn)樗�太危險(xiǎn)了，所以不應(yīng)該發(fā)布模型的想法。她說(shuō)：我理解這些模型的弱點(diǎn)，但這不是一種研究心態(tài)。

根據(jù)《麻省理工科技評(píng)論》，人工智能倫理研究員瑪格麗特因違反其行為準(zhǔn)則被谷歌解雇·米切爾（Margaret Mitchell）認(rèn)為，OPT發(fā)布是一項(xiàng)積極的措施。但她認(rèn)為透明度是有限的。她問：語(yǔ)言模型是否經(jīng)過了足夠嚴(yán)格的測(cè)試？可預(yù)見的好處是否超過其可預(yù)見的危害？如何避免在這個(gè)過程中產(chǎn)生錯(cuò)誤的信息，或者種族主義和厭惡女性的語(yǔ)言？“

艾米麗，華盛頓大學(xué)的計(jì)算語(yǔ)言學(xué)家·M·本德（Emily M.Bender）她曾在谷歌中心與米切爾合作研究，并擔(dān)心如何處理潛在的危害。降低任何機(jī)器學(xué)習(xí)技術(shù)風(fēng)險(xiǎn)的真正關(guān)鍵是在特定的用例中進(jìn)行評(píng)估和探索，例如，該系統(tǒng)是用來(lái)做什么的？誰(shuí)會(huì)使用它？系統(tǒng)輸出將如何呈現(xiàn)給他們？

對(duì)于皮諾來(lái)說(shuō)，這些擔(dān)憂應(yīng)該通過更多的公開討論來(lái)解決，而不是減少溝通。世界各地的人們對(duì)什么樣的對(duì)話有不同的看法，人工智能是對(duì)話的一部分，皮諾不希望語(yǔ)言模型能說(shuō)出每個(gè)人都同意的話，但我們應(yīng)該如何處理呢？也就是說(shuō)，在討論過程中聽別人的聲音。