人工智能安全

方濱興

中國工程院院士，中國電子信息產業集團有限公司首席科學家，廣州大學網絡空間先進技術研究院名譽院長，
哈爾濱工業大學（深圳）計算機學院首席學術顧問，信息內容安全技術國家工程實驗室主任；
國務院學位委員會網絡空間安全一級學科評議組召集人，教育部網絡空間安全專業教學指導委員會副主任委員；
目前擔任中國中文信息學會理事長、中國標準化協會網絡與信息安全技術委員會主席、
中國網絡空間安全人才教育論壇理事長、中國網絡空間新興技術安全創新論壇理事長。
曾任北京郵電大學校長、國家計算機網絡應急處理技術協調中心主任、中國網絡空間安全協會首任理事長；
也先後擔任過中國互聯網協會、中國通信學會、中國計算機學會副理事長。
先後獲得國家科技進步一、二等獎六次，省部級獎十餘次，完成著作五本，文章四百餘篇。
目前主要從事社交網絡、網絡靶場、網絡空間新技術安全（如雲安全）等研究工作，
同時從事網絡空間安全人才教育方面的工作，並創建了“方濱興研究生班”。

目錄
第1章人工智能技術發展概述
1.1人工智能的研究方向及起源
1.1.1人工智能的研究方向
1.1.2人工智能起源
1.2人工智能的三次發展高峰
1.2.1人工智能第一次發展高峰
1.2.2人工智能第二次發展高峰
1.2.3人工智能第三次發展高峰
1.3人工智能的三個學術流派
1.3.1符號主義
1.3.2連接主義
1.3.3行為主義
1.3.4關於三個學術流派的評論
1.4人工智能第三次發展高峰的技術推手
1.4.1深度學習的貢獻
1.4.2軟件框架成為人工智能應用的推手
1.4.3解決不同軟硬件的適配
1.4.4算力大幅提升的貢獻
1.4. 5大數據的貢獻
1.4.6移動互聯網與傳感器的貢獻
1.5人工智能帶來的巨大衝擊
1.5.1人工智能對經濟的衝擊
1.5.2人工智能對社會的衝擊
1.5.3人工智能對人類思維的衝擊
1.5.4人工智能對教育與就業的影響
1.5.5人工智能對隱私的衝擊
1.6本章小結
參考文獻

第2章世界各國人工智能發展戰略規劃
2.1美國人工智能發展戰略
2.1.1美國人工智能發展職能機構
2.1.2美國人工智能戰略規劃
2.1.3美國人工智能發展計劃
2.1.4美國人工智能監管政策
2.2歐盟及英國人工智能發展戰略
2.2.1歐盟及英國的人工智能戰略
2.2.2歐盟人工智能發展計劃
2.2.3歐盟及英國的人工智能倫理原則
2.2.4歐盟及英國人工智能立法及監管
2.3其他一些國家人工智能發展戰略
2.3.1日本人工智能發展戰略
2.3.2俄羅斯人工智能發展戰略
2.3.3韓國、新加坡、加拿大、印度等國的人工智能戰略
2.4中國人工智能發展戰略
2.4.1中國人工智能發展的總體要求
2.4.2中國人工智能發展的主要任務
2.4.3中國人工智能產業發展的資源配置
2.4 .4中國人工智能發展的保障措施
2.4.5中國人工智能發展的組織保障
2.4.6中國人工智能人才培養政策
2.5國內外人工智能標準研究
2.5.1國際人工智能標準研究
2.5.2中國人工智能標準研究
2.6本章小結
參考文獻

第3章人工智能安全概述
3.1人工智能與安全的辯證關係
3.2人工智能安全體系架構與分類
3.2.1人工智能安全體系架構
3.2.2人工智能助力安全
3.2.3人工智能內生安全
3.2.4人工智能衍生安全
3.3人工智能安全所處位置及外部關聯
3.3.1人工智能安全性、可靠性和可控性的關係
3.3.2人工智能安全與法律、政策和標準的關係
3.3.3人工智能安全與倫理之間的關係
3.3.4人工智能安全評測與防控
3.4本章小結
參考文獻

第4章人工智能助力安全
4.1人工智能助力安全概述
4.2人工智能助力防禦
4.2.1物理智能安防監控
4.2 .2軍用機器人
4.2.3智能入侵檢測
4.2.4惡意代碼檢測與分類
4.2.5基於知識圖譜的威脅獵殺
4.2.6用戶實體行為分析
4.2.7垃圾郵件檢測
4.3人工智能助力攻擊
4.3.1自動化網絡攻擊
4.3.2助力網絡攻擊，提升網絡攻擊效率
4.3.3助力有害信息的傳播
4.3.4助力虛假信息內容的製作
4.3.5智能惡意代碼
4.3.6神經網絡後門
4.3.7對抗機器學習
4.3. 8智能工具被用於惡意攻擊
4.3.9助力自主武器研發
4.4本章小結
參考文獻

第5章人工智能的內生安全
5.1數據安全
5.1.1數據集質量影響人工智能內生安全
5.1.2數據投毒可人為導致人工智能算法出錯
5.1.3對抗樣本成為人工智能內生安全的新關注點
5.2框架安全
5.3算法安全
5.3.1算法的可解釋性
5.3.2對抗樣本體現出人工智能算法缺乏可解釋性
5.4模型安全
5.4.1模型存儲和管理的安全
5.4.2開源模型被攻擊
5.5運行安全
5.5.1客觀原因導致的運行安全問題
5.5.2主觀原因導致的運行安全問題
5.6本章小結
參考文獻

第6章人工智能衍生安全問題
6.1人工智能係統失誤而引發的安全事故
6.1.1自動駕駛汽車失效
6.1.2智能機器人失效
6.1.3智能音箱失效
6.1.4人工智能係統“失控”
6.1 .5會話人工智能的偏激言論
6.1.6醫療人工智能的危險治療意見
6.2人工智能武器研發可能引發國際軍備競賽
6.2.1各國人工智能武器化發展情況
6.2.2人工智能武器軍備競賽帶來的風險
6.3人們對人工智能技術失控的擔憂
6.4人工智能行為體失控三要素
6.4.1人工智能行為體具有行為能力以及破壞力
6.4.2人工智能行為體具有不可解釋的決策能力
6.4.3人工智能行為體具有進化能力，可進化成自主系統
6.5預防人工智能技術失控的舉措
6.5.1人機協作國際規範
6.5.2阿西洛馬人工智能原則
6.5.3自我終結機制防範系統性失控風險
6.6本章小結
參考文獻

第7章人工智能行為體
7.1人工智能行為體的定義
7.2人工智能行為體類型1——傳統型
7.2.1工業機器人
7.2.2專用服務機器人
7.2.3家用型機器人
7.3人工智能行為體類型2——自動駕駛的交通工具
7.3. 1自動駕駛簡介
7.3.2自動駕駛汽車
7.3.3人工智能無人機
7.3.4無人駕駛船舶
7.4人工智能行為體類型3——人工智能武器
7.4.1人工智能武器簡介
7.4.2“殺人蜂”武器
7.4.3砲塔型AI戰鬥機器人
7.4.4人形戰鬥機器人
7.5人工智能行為體類型4——類人機器人
7.5.1Jules機器人
7.5.2Bina48機器人
7.5.3Sophia機器人
7.6人工智能行為體的特性
7.6.1人工智能行為體的移動特性
7.6.2人工智能行為體的決策特性
7.6.3人工智能行為體的自主特性
7.7本章小結
參考文獻

第8章人工智能行為體保險箍
8.1體系架構
8.2基本功能
8.2.1遠程控制組件
8.2.2能源控制組件
8.2.3宿主交互組件
8.2.4數據記錄組件
8.3安全機制
8.3.1設備安全
8.3.2數據安全
8.3.3運行安全
8.4安全圍欄
8.4.1工作過程
8.4.2移動範圍限制
8.4.3速度與距離監控
8.4.4輸出功率與力約束
8.4.5安全策略
8.5增強功能
8.5.1內置傳感器
8.5 .2人的識別
8.5.3“黑AIA”識別
8.6防控中心
8.6.1態勢感知
8.6.2指揮控制
8.6.3應急處置
8.6.4專家研判
8.7生態環境
8.7.1准入制度
8.7.2標準規範
8.7.3生態基礎
8.8本章小結
參考文獻

第9章人工智能行為體的安全評估與檢測
9.1人工智能行為體的安全管理概述
9.1.1從術語的角度感受個人助理機器人的安全要素
9.1.2個人助理機器人的風險評估要求
9.1.3個人助理機器人的安全要求
9.1.4個人助理機器人的功能安全
9.2人工智能行為體安全評估和檢測的目標
9.2.1動能安全：對AIA動能的評估
9.2.2決策安全：對決策系統安全的評估
9.2.3自主安全：對AIA自主能力失控風險的評估
9.3人工智能行為體安全評估的方法與指標
9.3.1動能安全評估
9.3.2決策安全評估
9.3.3自主安全評估
9.3.4安全評估過程
9.4人工智能行為體檢測能力與檢測方法
9.4.1針對AIA動能的檢測方法
9.4.2針對AIA決策機制的檢測方法
9.4.3針對AIA自主能力的檢測方法
9.5人工智能行為體的檢測流程
9.5. 1針對AIA動能的檢測流程
9.5.2針對AIA決策機制的檢測流程
9.5.3針對AIA自主能力的檢測流程
9.6本章小結
參考文獻

第10章人工智能安全倫理準則
10.1人工智能技術引發的倫理問題
10.1. 1人權問題
10.1.2倫理地位問題
10.1.3責任倫理問題
10.1.4風險問題
10.2人工智能技術發展的倫理準則
10.2.1各國政府及社團組織關於人工智能技術發展的倫理準則
10.2.2國際組織關於人工智能技術發展的倫理準則
10.2.3企業和高等院校關於人工智能技術發展的倫理準則
10.3人工智能行為體的倫理決策
10.3.1人工智能行為體的倫理決策能力
10.3. 2人工智能行為體的倫理決策設計
10.3.3人工智能行為體的倫理決策考量
10.4人工智能行為體的責任歸咎
10.4.1責任主體
10.4.2責任分配
10.4.3無人駕駛汽車的責任追究
10.5本章小結
參考文獻

第11章人工智能前沿技術
11.1學術前沿
11.1.1強化學習
11.1.2遷移學習
11.1.3聯邦學習
11.1.4分佈式機器學習
11.1.5表示學習
11.1.6元學習
11.1.7可解釋的人工智能
11.1.8對抗訓練
11.1.9人工智能芯片
11.1.10技術前沿安全挑戰
11.2應用前沿
11.2.1計算機視覺
11.2.2自然語言處理
11.2.3智能語音
11.2.4智能駕駛
11.2.5擬人和仿生
11.2.6智能攻防
11.2.7應用前沿安全挑戰
11.3交叉領域
11.3.1人工智能與互聯網
11.3.2人工智能與工業互聯網
11.3.3人工智能與醫學生物
11.3.4人工智能與軍事
11.3.5人工智能與商業模式
11.3.6人工智能與人文社會
11.3.7交叉領域安全挑戰
11.4本章小結
參考文獻

第12章人工智能安全的未來展望
12.1人工智能內生安全的未來展望
12.1.1數據是否會制約人工智能內生安全
12.1.2對抗樣本是否會出現在實際應用場景中
12.1.3是否存在安全的智能模型
12.1.4人工智能執行過程是否安全
12.2人工智能衍生安全的未來展望
12.2.1人工智能武器化
12.2.2人工智能濫用導致安全隱患
12.2.3人工智能是否會危害人類
12.3人工智能安全相關的未來焦點
12.3.1人工智能基礎工具應注重自主可控
12.3.2如何看待人工智能自主發明物的專利性問題
12.3.3人工智能對人的影響
12.3.4人工智能挑起的慾望
12.3.5超人工智能是否會危害人類
12.4人工智能的安全可控之路
12.4.1建立保護人類的法律規範和規章制度
12.4.2確立人類優先與安全優先的原則
12.4.3謹慎承認智能機器人的法律主體資格
12.4.4充分尊重社會公眾的知情權
12.4.5人工智能的安全評估與檢測
12.4.6人工智能安全可控需要社會各界共同的努力
12.5本章小結
參考文獻