吳云坤：以全生命周期安全體系守護(hù) AI 創(chuàng)新底線
來(lái)源： 紫牛新聞
2025-11-08 21:48:00
11月8日，2025年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)人工智能技術(shù)創(chuàng)新與治理論壇在浙江烏鎮(zhèn)舉行。來(lái)自阿里巴巴、奇安信、SAP、快手、騰訊、思科的企業(yè)代表出席，圍繞人工智能技術(shù)創(chuàng)新與治理分享實(shí)踐經(jīng)驗(yàn)、共話行業(yè)未來(lái)。
奇安信集團(tuán)總裁吳云坤在《守住安全底線 保障AI創(chuàng)新發(fā)展》的主題分享中表示，安全是AI的底線和紅線，也是AI發(fā)展的基礎(chǔ)和前提，AI創(chuàng)新必須管住“框、數(shù)、人、鏈”四個(gè)關(guān)鍵環(huán)節(jié)，核心方法是系統(tǒng)性、體系化地構(gòu)建AI全生命周期的安全體系。
以奇安信自身為例，設(shè)計(jì)了AI安全治理框架，指導(dǎo)用戶圍繞“安全、合規(guī)、可控、負(fù)責(zé)任”四大目標(biāo)，從模型安全治理、數(shù)據(jù)和隱私、應(yīng)用和運(yùn)營(yíng)、基礎(chǔ)安全、人員與責(zé)任、持續(xù)改進(jìn)六個(gè)維度，構(gòu)建覆蓋AI全生命周期的安全防護(hù)體系，同時(shí)重點(diǎn)管好“框、數(shù)、人、鏈”四個(gè)關(guān)鍵環(huán)節(jié)。
首先對(duì)AI應(yīng)用進(jìn)行場(chǎng)景化防護(hù)，管好“框”和“人”。圍繞AI應(yīng)用及其場(chǎng)景部署大模型衛(wèi)士，構(gòu)建“管控-檢測(cè)-溯源”三位一體的防護(hù)體系，實(shí)現(xiàn)對(duì)大模型系統(tǒng)內(nèi)外部用戶訪問與交互的全流程管控，達(dá)成“管得住、看得清、防得穩(wěn)”的防護(hù)目標(biāo)。
目前，大模型衛(wèi)士已經(jīng)在政府機(jī)構(gòu)、大型央企等近百家客戶完成了驗(yàn)證，能有效防御提示詞注入、敏感內(nèi)容過濾、模型對(duì)抗攻擊、模型竊取、數(shù)據(jù)泄露等多種安全風(fēng)險(xiǎn)。
其次是對(duì)AI核心數(shù)據(jù)資產(chǎn)重點(diǎn)防護(hù)，管好“數(shù)”。圍繞保護(hù)核心數(shù)據(jù)資產(chǎn)，構(gòu)建“大模型安全護(hù)欄”，從“強(qiáng)基礎(chǔ)、控權(quán)限、審數(shù)據(jù)、攔攻擊”等多個(gè)維度構(gòu)建縱深防御與監(jiān)測(cè)能力，對(duì)大模型系統(tǒng)進(jìn)行防護(hù)，控制數(shù)據(jù)安全風(fēng)險(xiǎn)。
奇安信已投入了巨大的資源和成本訓(xùn)練安全模型，積累關(guān)鍵和核心數(shù)據(jù)資產(chǎn)，通過構(gòu)建“大模型安全護(hù)欄”，對(duì)SFT數(shù)據(jù)、標(biāo)注數(shù)據(jù)、RAG數(shù)據(jù)、模型文件、評(píng)估集等核心數(shù)據(jù)資產(chǎn)進(jìn)行強(qiáng)化防護(hù)，守護(hù)住了模型訓(xùn)練成果。
最后是強(qiáng)化AI全生命周期的安全評(píng)估，管好“鏈”。秉持“安全左移”理念，將安全評(píng)估與風(fēng)險(xiǎn)管控貫穿大模型研發(fā)、部署、運(yùn)維全生命周期。在開發(fā)階段，通過代碼審計(jì)、代碼修復(fù)確保模型安全；上在線前，通過實(shí)戰(zhàn)攻防演練檢驗(yàn)應(yīng)用安全；在運(yùn)行中，持續(xù)監(jiān)測(cè)模型的輸出異常、數(shù)據(jù)泄露風(fēng)險(xiǎn)確保業(yè)務(wù)安全。
今年3月，奇安信支撐某電信運(yùn)營(yíng)商進(jìn)行了大模型底座的安全評(píng)估，成功發(fā)現(xiàn)并修復(fù)了其大模型存在的多個(gè)系統(tǒng)漏洞和內(nèi)容防護(hù)機(jī)制缺陷，將隱患扼殺于萌芽狀態(tài)。
據(jù)悉，本次論壇由中央網(wǎng)信辦網(wǎng)絡(luò)管理技術(shù)局發(fā)起，中國(guó)科學(xué)院、中關(guān)村實(shí)驗(yàn)室主辦，中國(guó)科學(xué)院計(jì)算技術(shù)研究所、中國(guó)網(wǎng)絡(luò)空間安全協(xié)會(huì)、百度公司協(xié)辦。
佳佳 曉風(fēng)
校對(duì) 朱亞萍