把握人工智能發展與安全的歷史主動(完整版)
時間:2025年03月13日
編者按:兩會期間,全國政協委員、安天董事長、首席技術架構師肖新光同志就人工智能帶來的安全風險、對網絡安全產業發展機遇、安天在大模型方面所作工作等問題,接受了《南方周末》專訪,訪談于3月11日以《大模型帶來了風險,更帶來了安全助力》為題發表。由于媒體發布篇幅所限,內容發稿有較多刪減。安天公眾號現將訪談全文發布,有少量修訂。(文中斜體部分為媒體未刊發內容)
原文鏈接:https://www.infzm.com/wap/#/content/289425
記者:能不能談談您今年重點關注內容?
肖新光:隨著新技術的不斷涌現,網絡安全領域也面臨著前所未有的挑戰與機遇。如何平衡技術發展與安全風險的關系,也成為了業界關注的焦點。今年我重點關注人工智能技術的安全風險對網絡安全技術和產業的發展價值,以及如何做好網絡安全歷史欠賬環節的補課工作等。
記者:生成式人工智能給國家網絡安全帶來了哪些新的情況?
肖新光:人工智能對安全威脅的加速作用已經產生。過去幾年,我們捕獲和關注到的APT攻擊的釣魚郵件中,已經出現了AI生成內容,金融詐騙中出現了深度偽造的案例。同時,大模型平臺成為新的攻擊目標,例如DeepSeek在年初遭遇的大規模DDoS攻擊,我們也快速跟進和提供了相關的樣本分析,發布了樣本分析報告。由于人工智能熱度很高,惡意軟件偽裝成人工智能App、以及在部署包中捆綁木馬的案例很多,我們此前就依托國家計算機病毒協同分析平臺發現了冒充DeepSeek客戶端的木馬樣本,并進行了分析響應。
針對AI賦能整個攻擊殺傷鏈的特點,我們正積極應對。從我們自身來看,大模型應用也給我們帶來了很多能力升級,我們的引擎在自研的瀾砥威脅分析垂直大模型的運用下,檢測能力和抗免殺變換能力已經達到了非常理想的水平;知識工程的質量和構建效率也取得了很大的提升。
網絡安全工作先天面向數字世界,而數字世界的基礎特性使其能夠率先與人工智能技術實現高效對接。在網絡安全的全流程工作中,從威脅捕獲、分析,到支撐威脅分析的特征工程與知識工程體系,均可借助人工智能技術實現加速發展。在實際防御場景里,鑒于當前用戶資產規模龐大、信息系統應用繁雜且接入泛在,在如此復雜的資產運維體系中保障安全,涉及海量數據的分析、研判,以及相應的響應與決策,對網絡管理者的專業水平要求很高,也給他們帶來了沉重的心智負擔。引入人工智能技術后,有望全面提升網絡安全從保障目標對象體系到產品賦能產業體系的防護效果與水平,提高防護自動化程度,有效降低對網絡安全工作者的經驗依賴,同時解放安全工作者,讓他們得以將精力投入到與人工智能配合開展更深入、有效的工作中。
同時,人工智能在防御場景有效發揮作用要依賴于可靠扎實的基礎能力建設,防御者需要完善識別、塑造(加固)、檢測、防護、響應等能力頻譜。人工智能是基礎安全能力的增益,而無法取代基礎環節。
記者:Sora為代表的生成式視頻大模型,為深度偽造創造了條件。技術上是否可以識別出哪些是人工智能生成的內容?我們普通人應該如何去甄別深度偽造的信息?
肖新光:識別深度偽造目前來看有一些方法,包括基于生理信號比對、基于物理規律分析、基于元數據指紋等,但每種技術方法都有其適用場景和相關前提條件。如基于生理信號分析,主要是驗證微表情等和本人是否一致,前提是需要存儲可對比的樣本;基于物理規律捕捉分析光影效果是否一致等等,需要相關的算力、元數據指紋等,更多只適用于版權保護等相關場景,而且需要非常完善的配套治理體系。
相關攻擊之所以稱為深度偽造,就是它已經超出了普通人依靠肉眼的判斷感知和相關范圍。在遭遇類似有深度偽造在內的攻擊過程中,更多的防范舉措還應來自于相關內容發布方,相關交互的內容和請求是否符合常理,特別是對政企機構的工作人員來說,是否符合相關工作流程和體系。應對相關攻擊,不能只依賴于被攻擊、欺騙者和公眾對深度偽造內容的觀察能力。
面對政企防護場景,需要完善基礎安全能力以及人、物、技結合的三防機制。從社會面看,更需要我們從互聯網治理、反電信詐騙、提升相關供應鏈內生安全建設等多方入手,強化自治理能力,形成協同治理。
記者:大模型技術的突飛猛進是否會降低黑客攻擊的技術門檻?
肖新光:人工智能對攻擊殺傷鏈全過程都有強賦能作用,包括但不限于:提升整理信息情報和挖掘攻擊入口的能力和效率,增強攻擊編排和自動化能力,增強惡意代碼的開發效率和免殺構造能力,增強構建高針對性的社會工程話術以欺騙網管人員及用戶的能力,增強漏洞和脆弱性發現能力,增強對安全機制的規避能力,增加全過程攻擊統籌能力等。我們必須深入分析研究、積極應對。
記者:以大模型為代表的人工智能技術,風險最高的環節是哪一個?
肖新光:風險評價必須基于不同主體的視角,因為大模型應用涉及到多元主體的場景,也涉及不同工作的層面,因此很難敘述哪個是風險最高的環節。從多元主體的角度來看,大模型技術的開發者,要判斷從訓練數據、算法設計和實現,到相關的工程優化等方面的全生命周期的風險問題;平臺發布者,除關注上述問題外,還要從基礎設施、業務應用、數據采集和利用等方面關注相關安全風險;大平臺服務和API使用者,需要關注相關的數據安全,避免將不適宜投放到大模型處理的敏感文件和數據投放到相關平臺的問題,以及大模型數據本身帶來的影響干擾,包括在生成的代碼內容中,可能帶有相關攻擊隱患的問題。私域大模型的部署者,需要關注部署環境相關的安全風險,內部的數據安全保密,相關信息外泄等相關風險。這些風險往往是體系化的、相互連接的,它可能在短時間內會有迫切需要有限解決的問題,但整體上必須以系統工程的思維形成整體解決方案。
記者:使用國外的大模型是否可能導致用戶的隱私數據泄露?類似政府國企和相關敏感部門在部署大模型的過程中,應該如何確保安全?
肖新光:這是一個非常復雜的安全問題。一方面是霸權國家對我們搞“小院高墻”,搞了大量手段禁止中國用戶使用。比如OpenAI阻止來自中國的API使用流量,ChatGPT對中國IP做了訪問限制,在購買服務中禁止來自中國的銀行賬戶支付等等。同時,我國政企機構和用戶如果使用相關平臺或服務更會帶來綜合風險。這不只是一個簡單的隱私泄露問題,更有涉及知識安全、心智安全等問題,更是國家安全的重大風險隱患。相關情報機構建設了“棱鏡”等大規模互聯網平臺和IT廠商的超級權限接口,對全球用戶、設備等進行畫像分析,其軍方更是搭建了基于GPT-4的隔離網部署的大模型平臺,用于進行情報分析。我們要從總體國家安全觀的視角深入分析相關風險,同時也認識到發展我們自己的帶有鮮明基礎設施特點的共性大模型平臺的戰略意義。
同時,我們也要看到,自主研發只是達成安全的重要基礎,由于大模型平臺安全涉及多種因素,涉及多元治理,各主體角色都需要在大模型的運用發展中,實現網絡安全的同步規劃、同步建設、同步運營。針對整個運行體系和全生命周期的各種風險進行積極防范。
這一過程中,本地化部署包括內網部署的大模型平臺,也需要做好自身的基礎安全防護和相應的IT治理策略,特別是這些大模型往往承載著敏感數據分析,一旦成為數據資源的匯聚地,它就可能成為攻擊者試圖竊取關鍵數據資源的最佳攻擊點。DeepSeek平臺和其他的的公共服務平臺,短時間訪問激增、有大量數據交互,這些平臺本身也需要落實好數據管控、隔離等相關工作。
同時,也建議相關部門在安全上的監管能力,需要前出、跟進、賦能、服務,強化相關治理,在讓我國政企機構和用戶獲取大模型應用紅利的同時,減少安全風險。
記者:目前大模型訓練和推理很多還要依賴國外的訓練框架及芯片,這種訓練的階段是否有可能留有后門?大模型產業的全棧技術國產化是否非常急迫?
肖新光:供應鏈的安全風險是長期存在的,只是它是隨著相關的場景變化而演進的。目前來看,此前相關國家就有在供應鏈側進行包括削弱加密標準(NIST SP800/90)、污染開源代碼等諸多不良記錄,其情報作業習慣也會延伸到大模型平臺領域。對相關威脅,我們需要加強防范,需要長期投入,持續跟蹤,開展扎實的分析驗證和研判。
大模型的全棧能力非常復雜,既包括算力芯片的產業鏈,也包括高質量數據源、算法、服務和生態體系綜合體系。中國始終堅持開放,堅持全球化,并不是我們自己想要去建設全棧能力,而是先發國家濫用其供應鏈側優勢,長期采取我們沒有能力時就卡我們的脖子,我們初步發展出相關能力時就低價沖擊我們的產業的打壓措施。現在更是對我們搞“小院高墻”的脫鉤封堵,不斷強化相關的芯片禁令,不斷使用新的打壓干擾手段。導致只要我們不具備完整的自主能力,那么我們缺失的能力環節就會被對手當作一個“卡點”,我國在此問題上只能積極應對。我們追求的不是封閉自保,不是小農經濟的自閉合運行,而是把握自己的命運,為人類文明提供更先進的科學和工程技術成果。一方面我們要避免被對手卡住脖子,另一方面我們需要以更開放的心態,為人類命運共同體輸送更好的高科技服務和成果,這樣才能夠真正掌握主動權。
記者:人工智能的發展有沒有給網絡安全產業帶來哪些新的機會?您所在的企業,有哪些新的創新成果?
肖新光:人工智能的快速部署,會帶來相應的信息化增量,而這個增量能力是需要網絡安全保障的,這是目前我們看到的最直接的對網絡安全產業的促進作用。
安天的核心產業定位是為產業提供共性能力,我們反病毒引擎累計覆蓋了超過四十億部手機終端、PC終端、網絡設備和網絡安全設備等。我們的共性能力依托賽博超腦平臺的自動化和工程師威脅分析工作來持續更新迭代。整個技術體系運行機制依賴于“三大工程體系”,即特征工程、知識工程和模型工程(MBSE)的支撐。我們深入應用大模型技術,來提升特征工程的質量和效率,進行更高水平的知識生產。同時我們依托網絡安全建模,為人工智能提供框架化的邏輯結構和路徑,尋找約束大模型推理幻覺的機制。我們的瀾砥威脅分析垂直大模型,將和我們的反病毒引擎一起構成智能設備、無人設備等的更強安全內核。同時,我們也基于大模型改善我們的知識體系,發布了計算機病毒分類百科全書,成為產業在反病毒和惡意代碼領域的公共知識入口。
我們的重要創新成果是瀾砥威脅分析垂直大模型,我們的研究優勢是擁有海量樣本以及從樣本中提取的向量,并有一套完整的自動化分析處理體系。但早期我們基于開源大模型的部署應用,進行文件樣本的分析工作,發現效果很不理想。我們面對的樣本主要是二進制可執行文件,很多經過了各種加密和免殺處理。而傳統開源模型主要以自然語言,或者具有鮮明可標識特征的數字、圖像、音頻等作為訓練對象,并不適用于處理二進制數據。同時病毒樣本文件體積較大,在現有平臺的短token上下文機制下難以進行有效處理,而且缺乏充足的GPU算力也是我們面臨的瓶頸。于是,我們聚焦自身場景,全力攻克處理二進制數據、突破上下文長度限制、不依賴GPU算力運行等難題。當我們專注于這些細分領域后,在局部垂直細分方向取得了出色成果。自主研發的瀾砥威脅分析垂直大模型已經用于特征工程提取工作和威脅分析產品,并成功通過了中央網信辦的算法備案,成為首個成功備案的威脅檢測垂直大模型。
記者:大模型是一個黑箱,你是否擔心未來人工智能會給人類帶來威脅?
肖新光:人類對新事物的好奇心和恐懼感,都是人的本能之一,前者驅動探索與進步,后者驅動安全和治理。我特別想說明的是,新技術風險的核心從來不是在新技術本身,而是在于技術被誰更好掌握 ,被誰更好使用,以及如何做好技術自身的安全應用。技術掌握在熱愛和平與正義的國家手中,還是掌握在熱衷于戰爭與霸權的國家手中;是更好地運用于社會治理、服務于人民生活,還是為侵害他國、獲取利益。這才是新技術成為福祉紅利,還是風險之源的根本原因。
新技術帶來風險的同時,也會成為應對風險的重要手段。以互聯網和云計算為例,互聯網帶來了安全威脅快速流動的風險,但也為安全能力的分發、安全運營的快速閉環構造了基礎條件。云計算帶來了針對其體系的攻擊會導致整體崩潰的風險,但云的應用,也是重構強治理支撐的統一安全防護的契機,從而構建更具彈性的防御機制。大模型也不例外。
大模型既帶來了風險因素,也帶來了安全助力。無論是提升網絡安全防御的自動化、智能化水平,還是在大型防御體系中更好地實現對數據和信息的判斷整合、對深度偽造的識別等,都是大模型重要的發展方向。
中國的科技工作者、高科技企業要做的工作,是把新技術把握在中國人自己手里,讓技術更好地服務于歷史的進步性和正義性,并為人類文明發展做出更大貢獻。
記者:你認為 DeepSeek 的成功,給國內的創業者帶來了哪些啟示?是否有復制的可能性?
肖新光:所有的重大成功都是以必然性為本質,但同時帶有一定的偶然性。DeepSeek(深度求索)的成功,遵循了創業本身的唯物辯證法。DeepSeek在幻方量化強有力的投入能力支撐下,扎實地建立了自己的算力基礎能力和相關的數據資源,這也是其本身能夠成功的重要物質基礎。DeepSeek團隊敏銳看到了大模型的發展絕不是簡單的算力依賴論,對于更多的政企機構和個人,需要以相對更低的成本,來獲得人工智能時代的潤澤。它通過大量技術創造和工程優化技巧,大規模降低了大模型部署成本,擊穿了西方依靠算力霸權構造出來的高消耗式的創新范本,這就是其創業的辯證法。
在網絡安全領域,也同樣有我們要遵循的唯物辯證法。創造系統、剛性、深度的網絡安全需求,牽引網絡安全長期投入,這是網絡安全能有效發展的需求基礎,同時離不開網絡安全產業人帶有創新精神的艱苦努力,這是我們的歷史主動性和能動性。
與此同時,眾多廠商宣布接入DeepSeek,是網信領域包括網安產業在心態上的一個重要突破。在DeepSeek出現之前,我們還處在國內“百模大戰”的狀態中,各家都宣稱自己擁有通用大模型技術和平臺。網絡安全產業此前存在著非常嚴重的全產品賽道幅寬拓展、橫向生長現象,廠商之間只有賽道競爭,難以進行上下游協同和共享,這不是一個合理的產業業態,包括多家網絡安全企業宣稱擁有自己的通用大模型技術。其實,網絡安全產業本身的產出規模、產出能力有限,安全廠商自研通用大模型,而非垂直模型,并不符合創新規律。但由于原來網絡安全產業的內卷競爭業態,就導致也跟隨“百模大戰”,搞“一家一模”。DeepSeek的異軍突起,讓大家意識到了依托共性技術、共性底座來進行創新,是站在一個更高起點的平臺向上攀登的更有效的過程,打破了原有的網絡安全企業那種必須自己來做全能力的這樣一種封閉心態,驗證了開放合作的可能。使大家看到,與專業的共性方合作,是一個睿智的選擇,術業有專攻,這種合作不會影響客戶對廠商的價值認知,反而能增加客戶信任。
安天長期做威脅檢測共性技術的研發、升級和供應。我們反病毒引擎的設計初衷,就是給網絡安全兄弟廠商使用的一個安全中間件。我們希望的是,使用我們引擎的合作伙伴,不用再關注惡意代碼檢測相關的問題,從而能夠更好地聚焦于做好他們所擅長的威脅對抗和相關的產品功能。DeepSeek的成功,給了我們很大的振奮和激勵。為我們堅定做好產業上游共性能力奠定了信心。