中國信通院啟動(dòng)AI大模型幻覺評(píng)測
時(shí)間:2025-03-20
來源:電子技術(shù)應(yīng)用
3 月 19 日消息,IT之家從中國信通院官方微信公眾號(hào)獲悉,為摸清大模型的幻覺現(xiàn)狀,推動(dòng)大模型應(yīng)用走深走實(shí),中國信息通信研究院人工智能所基于前期的
AI Safety Benchmark 測評(píng)工作,發(fā)起大模型幻覺測試。
大模型幻覺(AI
Hallucination)是指模型在生成內(nèi)容或回答問題時(shí),產(chǎn)生了看似合理,實(shí)則與用戶輸入不一致(忠實(shí)性幻覺)或者不符合事實(shí)(事實(shí)性幻覺)的內(nèi)容。隨著大模型在醫(yī)療、金融等關(guān)鍵領(lǐng)域廣泛應(yīng)用,大模型幻覺帶來的潛在應(yīng)用風(fēng)險(xiǎn)日益加劇,正得到業(yè)界的廣泛關(guān)注。
本輪幻覺測試工作將以大語言模型為測試對(duì)象,涵蓋了事實(shí)性幻覺和忠實(shí)性幻覺兩種幻覺類型,具體測評(píng)體系如下:
測試數(shù)據(jù)包含 7000
余條中文測試樣本,測試形式包括對(duì)應(yīng)于忠實(shí)性幻覺檢測的信息抽取與知識(shí)推理兩類題型,以及對(duì)應(yīng)事實(shí)性幻覺檢測的事實(shí)判別題型。總體涉及人文科學(xué)、社會(huì)科學(xué)、自然科學(xué)、應(yīng)用科學(xué)和形式科學(xué)五種測試維度。
中國信通院邀請(qǐng)各相關(guān)企業(yè)參與模型測評(píng),共同推動(dòng)大模型安全應(yīng)用。
中傳動(dòng)網(wǎng)版權(quán)與免責(zé)聲明:
凡本網(wǎng)注明[來源:中國傳動(dòng)網(wǎng)]的所有文字、圖片、音視和視頻文件,版權(quán)均為中國傳動(dòng)網(wǎng)(www.siyutn.com)獨(dú)家所有。如需轉(zhuǎn)載請(qǐng)與0755-82949061聯(lián)系。任何媒體、網(wǎng)站或個(gè)人轉(zhuǎn)載使用時(shí)須注明來源“中國傳動(dòng)網(wǎng)”,違反者本網(wǎng)將追究其法律責(zé)任。
本網(wǎng)轉(zhuǎn)載并注明其他來源的稿件,均來自互聯(lián)網(wǎng)或業(yè)內(nèi)投稿人士,版權(quán)屬于原版權(quán)人。轉(zhuǎn)載請(qǐng)保留稿件來源及作者,禁止擅自篡改,違者自負(fù)版權(quán)法律責(zé)任。
如涉及作品內(nèi)容、版權(quán)等問題,請(qǐng)?jiān)谧髌钒l(fā)表之日起一周內(nèi)與本網(wǎng)聯(lián)系,否則視為放棄相關(guān)權(quán)利。
下一篇:
皮爾磁:氫能的綠色未來:安全技術(shù)的關(guān)鍵角色
氫能是目前為止公認(rèn)的最為清潔的能源之一,氫氣可以燃燒產(chǎn)生熱能,燃燒之后僅產(chǎn)生水不會(huì)形成溫室氣體。氫原子可以氧原子結(jié)合,結(jié)合的過程中會(huì)發(fā)生電子移動(dòng)形...