▲A Dangerous Master ：How to Keep Technology from Slipping beyond Our Control（《危险的主人：如何防止技术摆脱人类的控制》，Basic Books出版社，2015年6月出版）

▲Machines of Loving Grace : The Quest for Common Ground between Humans and Robots（《慈悲的机器：寻找人和机器人之间的共同点》，HarperCollins出版社，2015年8月出版）

最近问世的两本英文著作有一个共同的思想：未来的技术需要用“心”来设计。

《纽约时报》记者、科学作家John Markoff的新作叫Machines of Loving Grace : The Quest for Common Ground between Humans and Robots（《慈悲的机器：寻找人和机器人之间的共同点》，HarperCollins出版社，2015年8月出版）。书中问道，当自主武器、无人驾驶汽车、机器人管理的工厂成为日常现实的时候，我们是不是应该了解一下，这些技术的设计者到底是怎么想的？他们为人类操作者安排的角色是什么？

人类在未来的角色该是什么样，这主要是个伦理选择问题，而不仅仅是技术选择问题。作为投身媒体事业已经40年的记者，John Markoff有机会查阅很多档案，走访很多测试场，聆听很多学术报告。从麻省理工学院到硅谷，到处都有他的身影。这样，广泛的、广义的调研为这本著作打下了较坚实的学理基础。

在此书中，他仔细梳理了人工智能研究界和人机交互研究界的观点差异，分析了他们各自秉持什么样的价值观。他发现，从20世纪50年代以来，大学实验室和商业实验室就持有针锋相对的哲学理念。简单说来，一方面主张，随着自动化的日益进步，人类就可以走开了；另一方面主张，技术发展为的是增强人的能力，而不是让人走开。关于应该发展载人太空探索还是机器人太空探索的激烈辩论，便是双方观点差异的一个缩影。即使双方都认为，航天器上必须有航天员，也仍会留下一个意见不一的问题：航天员该是主动的监督者，还是被动的乘客？

他还介绍了美国的机器人开发者是如何巧妙利用国防研究经费的，尤其是如何借助国防预研项目署（DARPA）的支持的。尤其要考虑到，美国联邦政府很重视军民两用技术，例如，真空吸尘器的相关技术，也许可用来探测炸弹。这样，他们利用国防科研经费就更有理由了。

也正是在国防领域，John Markoff看到了他认为是危险的征兆：为了追求成本效益，为了追求自主武器的精确性，军方可能越来越逼近这么一条底线：在关涉人的生死的决策中，人反而丧失了发言权。那么，我们不是成了自己所创造的技术的奴隶了吗？

这个问题，也是耶鲁大学生命伦理学跨学科研究中心的伦理学家Wendell Wallach所关切的。他在A Dangerous Master ：How to Keep Technology from Slipping beyond Our Control（《危险的主人：如何防止技术摆脱人类的控制》，Basic Books出版社，2015年6月出版）一书中指出，如果我们不在技术的设计阶段就采取必要的措施来防止和应对相关问题，后果不堪设想。

他在书中分析的技术对象包括网络安全、3D打印、核技术、生物工程、纳米工程、地质工程、监控技术、机器人外科术，等等。这类技术都将对社会发生重大影响，可能是正面的，也可能是负面的。

他杜撰了一个词叫“技术洪流”，指的是复杂的、黑箱式的技术创新快速问世，如滚滚洪流，丧失控制力的人类社会被裹挟而下，进入一个在最好情况下也是令人不爽的未来（最差情形就不敢想象了）。以致命自主武器系统（缩写为LAWS）为例，该系统可在人力干预极少甚至无人干预的情况下发动进攻。他大声呼吁，这样的武器能否上马，应由学者、技术设计者、政策制定者和知情公众一起来讨论、辩论后方能决定。他建议成立一个“治理协调委员会”来跟踪技术开发的潜在影响，沟通相关的利益群体。

他强调，技术预见活动要在相关技术尚未部署的时候就先行开展，否则就可能错过机会窗口，越过难以逆转的拐点。应尽早开展技术预见，使我们对相关技术的利用或滥用前景心中有数，若有必要，就尽快加以干预。

总而言之，两本书都认为，对于“用技术增强人的能力还是代替人？”“我们需要的是自动搜索目标并给以毁灭性打击的机器人，还是自动搜索目标并解救生命的漫游车？”之类的问题，并无非此即彼的、明确的选择性答案，而需要每个人类设计者用“心”来回答。很多科学家和工程师认为，他们的科研或设计成果若带来了棘手的伦理问题或不好的政策后果，那不是他们的责任，而是使用者的责任。两本书的作者却认为，坚持这样的认识，就是有脑而无心。

参考文献：Gods of tomorrow《新科学家》杂志，2015年8月12日