人工知能（AI）が、人類の生存を脅かす可能性があるという論議がまた高まっている。欧州連合（以下、EU）では、必要なときにロボットの機能を停止する「キルスイッチ（kill switch）」が必要という決議案が採択された。一方、世界経済フォーラム（以下、WEF）は、年次グローバルリスク報告書を発行。人工知能とロボティクスが、人間のコントロールできない範囲に達する危険性があると指摘した。
まずEUは、ロボットを設計する際に、緊急時に動作を停止するためのスイッチを設置する必要があるという内容を含む決議案を採択した。決議案はまた、「キルスイッチ」とロボットのソフトウェアが設計どおりに動作しない場合、再プログラムすることができるようにすべきだとも付け加えている。
Googleディープマインドとオックスフォード大学の科学者たちも、AIに対するキルスイッチを開発している。昨年の論文で「人間のオペレータが、大きな赤いボタンを押して、ロボットが有害な行動をしないようにすることが必要だと」と指摘している。
EU議会司法委員会で可決されたその決議案は、ロボットに対するEUという枠組みでのガイドラインづくりを促すものと見られている。決議案は、ロボットの設計、製造、運用面でアイザック・アシモフが小説で書いた3つの「ロボットの原則」にならうとした。
EU議会ではまた、洗練された自律ロボットの法的地位を「電子人間」（electronic persons）として定めるべきとも指摘。一方で、ロボットと人工知能関連の技術、倫理などの専門知識を持つ機構を新設することを提案した。本会議における同決議案の投票は、来月2月に行われる予定だ。
一方、WEFの報告書では「AIシステムの意思決定の方法について完全に理解できないまま、システムに完全に依存することの危険性」が警告されている。特に軍事用ロボットの開発競争が起きていると指摘したのに続き「超知能（superintelligence）が、人類の生存を脅かす可能性がある」と憂慮を示した。
マイクロソフトのビル・ゲイツ氏も昨年、「私も超知能については懸念を抱く方だ」と話したことがある。彼は「機械は私たちの仕事を多くの代わりを担っており、（現段階では）超知能ではないだろう（中略）私たちがよく制御する場合には肯定的（に作用するだろう）。しかし、数十年が経過すれば人工知能は心配するのに十分値する」とした。
WEFの報告書は、AIが多くの分野で生産性と意思決定を向上させる可能性があるとしながらも、十分な制御が行われないケースには懸念を指摘した。
レポートの著者の一人である、グローバルリスク&スペシャリティーズ（Marsh Global Risk & Specialties）の社長ジョン・ドジック（John Drzik）氏は、「人工知能はどのようにしても決定を下す。プログラムされる代わりに、パターン認識で学習することができる」と述べている。
マシンラーニングの危険性は、昨年、マイクロソフトの「チャットボットがオンライン環境で学習し、人種差別的発言をしたことで注目された。ディープラーニングなどの技術は、人工知能がなぜそのような判断をしたか人間が理解することができない「ブラックボックス化」の問題が焦点となっている。
一方、SNS・リンクドインの共同設立者リード・ギャレット・ホフマン氏、電子商取引企業・eBayの創業者ピエール・オミダイア氏らは、AIから社会を保護するファンドに合計2万ドルを寄付したとも報じられた。ホフマン氏は、「AIを社会に役立て、（一方で）被害を最小限に減らすことが必要」と寄付の理由を明らかにした。
photo by European Parliament
