【太平洋科技快訊】近日，央視曝光多款生成式 AI 應(yīng)用存在嚴重內(nèi)容安全漏洞，平臺審核機制薄弱，用戶通過簡單修改提示詞即可輕易繞過限制，生成大尺度甚至涉黃圖片與視頻。
據(jù)報道，AI 涉黃已形成分工明確、牟利猖獗的黑色產(chǎn)業(yè)鏈，涵蓋違規(guī)提示詞售賣、生成教程、批量造黃、付費換臉造假等多個環(huán)節(jié)。部分商家公開兜售定制提示詞，并結(jié)合境外工具或本地部署模型進一步規(guī)避監(jiān)管；還有付費 AI 生成工具宣稱充值后可一鍵將普通照片轉(zhuǎn)為涉黃視頻，嚴重突破法律與倫理底線。
此類 AI 濫用行為不僅嚴重污染網(wǎng)絡(luò)生態(tài)，還容易引發(fā)涉黃內(nèi)容傳播、敲詐勒索、造謠誹謗等違法犯罪活動，對未成年人身心健康與網(wǎng)絡(luò)空間秩序造成極大危害。
目前我國已出臺相關(guān)法律法規(guī)，明確要求平臺履行內(nèi)容安全主體責(zé)任，強化算法審核與風(fēng)險防控，嚴禁生成、傳播淫穢色情信息。監(jiān)管部門正通過 " 清朗 " 專項行動持續(xù)整治，嚴厲打擊利用 AI 制作低俗內(nèi)容、違規(guī)提供生成服務(wù)等行為，督促平臺升級審核技術(shù)，封堵提示詞繞過漏洞。
