登陆

科学敞开与危险办理怎么兼得?牛津大学研究员谈安全可靠AI

admin 2019-08-31 126人围观 ,发现0个评论

  “人工智能(AI)应是安全可靠的,而安全则包括算法漏洞、应用层面及使用动机等多方面的风险。”牛津大学人类未来研究所人工智能治理中心(Center for the Governance of AI)政策研究员谢旻希,在日前于深圳举办的第十一届国际青年能源与气候变化峰会间隙,接受澎湃新闻记者的专访时表示。AI在人们生活中应用得越来越广泛,技术更新迭代更快,AI如何安全可靠地发展,亦是技术发展中社会关注的一大问题。

  谢旻希是Partnership on AI的高级顾问,负责中国事务和国际合作;曾为硅谷“钢铁侠”埃隆马斯克(Elon Musk)创立的AI研究机构OpenAI的多个项目做过政策咨询,也是OpenAI纲领中文版的撰写人。

  据了解,AI政策主要分科学敞开与危险办理怎么兼得?牛津大学研究员谈安全可靠AI为短期政策和长期政策。短期的AI政策侧重于当前社会需要解决的问题,包括无人驾驶汽车的责任问题、相对小规模的工人下岗问题、算法偏差以及数据和个人隐私问题。

  长期AI政策则侧重于在未来的AI愈发先进的情况下,出现影响整体甚至更大程度的问题,尤其当AI快速发展的时候。这将产生非常持久的后果,比如强大的AI决策系统可能带来风险或与不稳定性,特别是用在安全关键基础设施,包括电网和核能设施等。

  谢旻希告诉记者,目前牛津人类未来研究所对AI的安全性主要考虑三个方面,事故风险 (Risks from accidents),结构性风险 (Structural risks),和滥用风险 (Risks from misuse)。

  谢旻希提到,OpenAI曾设计过一个强化学习的系统,让一条船经过不同的路径,然后达到目标。但在训练的过程中,这条船一直在拐弯,拐几十次,从没有达到过目标,谢旻希解释,这是因为AI发现,在拐弯的过程中也可以得到分数,多次拐弯后的分数也许比达到目标获得的分数更高,也就是AI找到了游戏设计上的漏洞。

  设想一下把这样一个强化学习系统放到真实的世界中,比如用在自动驾驶上,放到城市里运行。自动驾驶系统在科学敞开与危险办理怎么兼得?牛津大学研究员谈安全可靠AI发现一些漏洞后,就会背离设计者原来的设计初衷。而本来只是在游戏里的设计,就将成为城市设计的一部分,可科学敞开与危险办理怎么兼得?牛津大学研究员谈安全可靠AI能会造成很大的意外风险。

  结构性风险也是AI技术发展落地需要考虑的问题。具体来说,就是随着外部影响因素的增多,AI的安全使用是否与我们现在的社会规则有所冲突。大部分问题在设计考虑时可能过于理想化,而未有效考虑应用层面上的问题。谢旻希举了个例子,2017年美国Uber的无人驾驶发生过一次意外事故,一开始大家只是觉得这款视觉系统还不够好,以至于没有侦测到行进的路人。但此后的调查结果显示,这款系统足够好,并且在事故发生前有足够的时间看到路人并让车停下来。但公司工程师人为把这一系统关闭了。

  谢旻希告诉记者,设计时为了安全,这一系统非常敏感,因而可能会经常触发而使得车辆停下来,这就会导致Uber的运行效率更低,这样的产品投入市场后,相比于其他竞争对手而言就不够有竞争力。“人们很容易不选择安全,而是选择更多的盈利、更多的竞争优势。”

  因为安全而导致的负外部性(Externality),没有在AI落地的商业决策过程中被考虑。另一方面,即便人们有足够的信息,能够预想到之后的问题,也不会有很多行动,因为对他们来说个人利益和为这一“潜在问题”付出的成本是非常不均衡的,谢旻希说,在这一问题上最经典的案例就是气候变化——每个人都可以预想到后果,但落实到个人时,每个人都会觉得自己生活方式的改变过于微不足道,因此失去了做出改变的动力。

  “此外,就算我们可以把这些机器学习的系统做到鲁棒性(Robust)很强,就算把机器学习系统做得非常稳定安全,仍然无法避免人类对这些智能的恶意使用。” 谢旻希表示,OpenAI在大概15个月前做了一款GPT-2语言学习模型,可以“续写”人类创作的文章和诗歌。但随后OpenAI表示,这样的系统亦可能科学敞开与危险办理怎么兼得?牛津大学研究员谈安全可靠AI被拿去生成大量的假新闻(fake news)和垃圾邮件。基于对恶意使用的风险的担忧,OpenAI做了一件不那么“开放(open)”的事情,即不将GPT-2的小龙人整个模型和相关的数据库公开,而只是把一个比较小的模型开放给公众使用。

  当直接把科学开放给社会的价值,与风险管理有直接冲突的时候,必须要考虑如何去解决这一问题。谢旻希进一步提到,OpenAI目前没有完全开放这一模型,但不代表其他的机构或企业研究出来后不会去开放,因此AI的全球协作显得更为重要,需要更好的协调机制,当一个单位发现问题的时候,如何进行对外沟通,如何在行业中做决定,要进行一个怎么样的分布。“不过大家认可的是,我们做的任何重大决定,最好是在整个AI和机器学习研究的社区达到共识,全球性的共识。”

  实际上,在共识方面,全球AI社区在过去两年为AI安全可靠地发展也做出了不少努力。2017年初《艾斯罗马人工智能23定律》正式发布(Asilomar A.I。 Principles),包括马斯克和著名物理学家史蒂芬霍金(Stephen Hawking)在内的892名人工智能或机器人研究人员以及1445名专家在这份定律上签字,以期AI技术的发展符合道德标准。

(责任编辑:DF506)

瞄准转板“大红包” 年内已有16家券商逆市加码新三板 科创板概念股倍受青睐

2019-09-19
  •   有剖析指出,油价忽然

  • 沙特产值康复速度超预期 布油跌幅扩展至6%

    2019-09-19
  •   关于财务收入增速回落,在十三届全国人大常委会第十二次

    减税效应继续 今年前8个月税收首现负增长

    2019-09-19
  • 请关注微信公众号
    微信二维码
    不容错过
    Powered By Z-BlogPHP