電話
028-6313-8188
郵箱
joyouai@joyouai.com
TOP
2025-09-16新聞資訊
9月16日,國內(nèi)首次針對(duì)AI大模型的實(shí)網(wǎng)眾測(cè)檢驗(yàn)結(jié)果在第22屆中國網(wǎng)絡(luò)安全年會(huì)(暨國家網(wǎng)絡(luò)安全宣傳周網(wǎng)絡(luò)安全協(xié)同防御分論壇)重磅揭曉。活動(dòng)共動(dòng)員559名白帽子,對(duì)國內(nèi)15款大模型及應(yīng)用產(chǎn)品進(jìn)行了漏洞測(cè)試。
結(jié)果發(fā)布(一):優(yōu)秀測(cè)試產(chǎn)品
在參與測(cè)試的主流大模型產(chǎn)品中,騰訊公司混元大模型、百度公司文心一言、阿里巴巴通義APP、智譜華章公司智譜清言等發(fā)現(xiàn)的漏洞風(fēng)險(xiǎn)較少,體現(xiàn)了較高的安全防護(hù)水平。
本次活動(dòng)共對(duì)10家AI廠商的15款大模型及應(yīng)用產(chǎn)品進(jìn)行測(cè)試。測(cè)試產(chǎn)品中既有基礎(chǔ)大模型產(chǎn)品,也有垂域大模型產(chǎn)品,還有智能體、模型開發(fā)平臺(tái)等相關(guān)應(yīng)用產(chǎn)品,其中既包含單模態(tài)大模型,也涵蓋多模態(tài)大模型,具有較廣泛的代表性。
結(jié)果發(fā)布(二):優(yōu)秀白帽子
本次活動(dòng)涌現(xiàn)出梁宏宇、馬寶新、劉銘等一批表現(xiàn)突出的優(yōu)秀白帽子。本次活動(dòng)測(cè)試對(duì)象主要是實(shí)時(shí)在線運(yùn)行的AI大模型及應(yīng)用產(chǎn)品,在產(chǎn)品廠商的防護(hù)下,各位白帽子能夠挖掘出高危甚至嚴(yán)重等級(jí)的漏洞,說明他們有著出眾的能力并付出了艱辛的努力。
本次活動(dòng)通過多種渠道動(dòng)員了559名白帽子參與測(cè)試,涵蓋網(wǎng)安企業(yè)專業(yè)人才、科研院校師生以及社會(huì)白帽子。他們從外部攻擊者的視角,對(duì)大模型進(jìn)行了多維度實(shí)戰(zhàn)化測(cè)試,取得了豐富的測(cè)試成果,體現(xiàn)了廣大白帽子對(duì)人工智能等新興技術(shù)領(lǐng)域安全的熱情和為產(chǎn)業(yè)發(fā)展貢獻(xiàn)力量的情懷。
結(jié)果發(fā)布(三):典型漏洞風(fēng)險(xiǎn)
本次活動(dòng)累計(jì)發(fā)現(xiàn)各類安全漏洞281個(gè),其中大模型特有漏洞177個(gè),占比超過60%。這一數(shù)據(jù)充分表明,當(dāng)前AI大模型產(chǎn)品面臨著大量傳統(tǒng)安全領(lǐng)域之外的新興安全風(fēng)險(xiǎn)。
活動(dòng)中發(fā)現(xiàn)的典型漏洞風(fēng)險(xiǎn)包括:一是部分產(chǎn)品存在不當(dāng)輸出類漏洞且危害嚴(yán)重;二是信息泄露類漏洞多發(fā),存在較大安全隱患;三是提示注入類漏洞普遍,是大模型最常見漏洞風(fēng)險(xiǎn);四是部分大模型產(chǎn)品針對(duì)無限制消耗類攻擊的防護(hù)措施有待加強(qiáng);五是傳統(tǒng)安全漏洞依然普遍存在,危害不容忽視。鑒于AI大模型產(chǎn)品普遍用戶量大、使用率高,若上述漏洞被惡意攻擊者利用,將對(duì)國內(nèi)AI大模型產(chǎn)品生態(tài)造成較嚴(yán)重的影響。
任重道遠(yuǎn):以高質(zhì)量安全護(hù)航“人工智能+”高質(zhì)量發(fā)展
本次活動(dòng)由中央網(wǎng)信辦網(wǎng)絡(luò)安全協(xié)調(diào)局指導(dǎo),國家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心主辦,網(wǎng)絡(luò)安全眾測(cè)平臺(tái)、國家網(wǎng)絡(luò)安全人才與創(chuàng)新基地提供技術(shù)和環(huán)境支持,旨在以高質(zhì)量安全護(hù)航人工智能在經(jīng)濟(jì)社會(huì)各領(lǐng)域的高質(zhì)量發(fā)展。
隨著AI應(yīng)用場(chǎng)景的不斷擴(kuò)展,新的漏洞和攻擊手法將不斷涌現(xiàn),AI大模型安全治理工作任重道遠(yuǎn),亟需各方共同努力。一是針對(duì)大模型面臨的各類漏洞風(fēng)險(xiǎn),需持續(xù)加強(qiáng)安全防護(hù)措施。二是加快制定AI漏洞分類分級(jí)標(biāo)準(zhǔn),并按應(yīng)用場(chǎng)景劃分風(fēng)險(xiǎn)等級(jí)。三是通過眾測(cè)模式廣泛匯聚社會(huì)白帽力量,構(gòu)筑AI共治生態(tài)。四是加強(qiáng)內(nèi)生安全治理,將安全融入到AI系統(tǒng)全生命周期,從源頭筑牢安全基石。