AI生成虛假案例混入司法審判太荒謬，AI好用也不能哪里都用
來(lái)源： 紫牛新聞
2025-10-30 18:35:00
這兩日，一起略顯荒謬的AI幻覺(jué)事件在法律圈中引發(fā)討論。據(jù)北京市高級(jí)人民法院發(fā)布的消息，近日北京市通州區(qū)人民法院在審理一起由股權(quán)代持引發(fā)的商事糾紛案件中，原告代理人提交給法庭的書(shū)面材料里竟然出現(xiàn)了AI生成的虛假案例。
根據(jù)北京市通州區(qū)人民法院對(duì)這起案件的介紹，原告代理人為了進(jìn)一步佐證其觀點(diǎn)，在向法庭提交的書(shū)面意見(jiàn)中，援引了名為最高法院的某案例及上海一中院的（2022）滬01民終12345號(hào)案件。從代理意見(jiàn)的描述來(lái)看，兩案的事實(shí)細(xì)節(jié)、法律爭(zhēng)議與裁判邏輯都與審理中的案件高度契合，完美佐證了原告代理人的主張觀點(diǎn)，初看之下極具參考價(jià)值。
出于職業(yè)敏感性，承辦法官進(jìn)行了檢索核實(shí)，卻發(fā)現(xiàn)這兩個(gè)案號(hào)所對(duì)應(yīng)的真實(shí)案件事實(shí)與代理人書(shū)面意見(jiàn)中描述的情況完全不同。在承辦法官的質(zhì)詢下，原告代理人承認(rèn)自己是向某AI大模型軟件提問(wèn)，由AI軟件生成了參考案例，代理人沒(méi)有進(jìn)一步核實(shí)案例的真實(shí)性，直接復(fù)制粘貼后提交給法院。承辦法官在判決書(shū)中明確對(duì)原告代理人行為做出批評(píng)，要求原告代理人引以為戒，并表示在向法院提交參考案例、法條時(shí)，應(yīng)當(dāng)進(jìn)行檢查和核驗(yàn)，確保內(nèi)容的真實(shí)性和準(zhǔn)確性，不得放任人工智能模型生成或者編造虛假信息擾亂司法秩序。
這或許是國(guó)內(nèi)首起公開(kāi)的AI幻覺(jué)擾亂司法秩序的案例，所幸的是承辦法官工作態(tài)度嚴(yán)謹(jǐn)，對(duì)案例進(jìn)行了核實(shí)，沒(méi)有造成不良影響，保證了司法的公平公正。在海外已經(jīng)發(fā)生了多起律師被人工智能“背刺”的例子，此前有三名美國(guó)律師在法律文件中引用人工智能生成的虛構(gòu)案例被罰款3000美元到1000美元不等，其中一人被解職。
人工智能工具發(fā)展迅速，操作便捷，正在迅速的改變包括法律部門在內(nèi)的多個(gè)領(lǐng)域，但隨之而來(lái)的AI幻覺(jué)問(wèn)題給各個(gè)領(lǐng)域都帶來(lái)了重大挑戰(zhàn)，人工智能模型生成不正確、捏造或誤導(dǎo)性的信息，并以令人信服的方式呈現(xiàn)，這種幻覺(jué)足以蒙蔽大多數(shù)人，且至今沒(méi)有完全有效的解決辦法。
對(duì)于用戶來(lái)說(shuō)，利用AI工具迅速檢索、整理紛雜的信息，大大的減少了自己的工作量，看起來(lái)真的是很好用，但AI再好用也不能哪里都用，幾乎所有的AI大模型都會(huì)提示用戶，不要輕信AI提供的內(nèi)容，大模型無(wú)法為生成的內(nèi)容的真實(shí)性負(fù)責(zé)，但隨著AI工具頻率不斷提高，普及率也越來(lái)越高，這些提示能起到的作用也變得十分有限，習(xí)慣于AI一鍵輸出的用戶對(duì)AI幻覺(jué)變得視而不見(jiàn)，于是便出現(xiàn)了虛假的案例被有模有樣的寫(xiě)進(jìn)了提交給法庭的書(shū)面材料這樣草臺(tái)班子一樣的事情。AI大模型的生成邏輯基于概率統(tǒng)計(jì)與語(yǔ)境匹配，當(dāng)使用者明確輸入案件細(xì)節(jié)后，其生成的案例往往刻意貼合需求，事實(shí)細(xì)節(jié)、論理結(jié)論可能與使用者需求高度重合，呈現(xiàn)人為定制化特征，越是看起來(lái)“稱心如意”，越是應(yīng)該提高警惕。須知司法活動(dòng)的核心是“以事實(shí)為依據(jù)，以法律為準(zhǔn)繩”。這里的“事實(shí)”，既包括案件事實(shí)，也包括作為先例的裁判事實(shí)，這一起虛假案件靠著法官的火眼金睛這個(gè)被抓出來(lái)了，那么下一個(gè)呢？技術(shù)在不斷進(jìn)步，在試圖減少AI幻覺(jué)的同時(shí)，作為使用者也不能太放心這些靈活好用的AI工具，即便要用二次核查也必不可少，總不能讓工具代替了獨(dú)立思考。
揚(yáng)子晚報(bào)|紫牛新聞?dòng)浾?沈昭
校對(duì) 潘政