技术奇点 - 版本历史

SyouTK：/* 课程推荐 */

2021-09-18T02:53:04Z

课程推荐

SyouTK：/* 社会生物进化的下一步 */

2021-09-16T13:03:34Z

社会生物进化的下一步

SyouTK：/* 社会生物进化的下一步 */

2021-09-16T12:10:12Z

社会生物进化的下一步

SyouTK：/* 编者推荐 */

2021-09-16T12:06:13Z

编者推荐

2021年9月16日 (四) 04:07 SyouTK

2021-09-16T04:07:56Z

SyouTK：/* 硬起飞与软起飞 */

2021-09-16T03:58:52Z

硬起飞与软起飞

SyouTK：/* 概念史 */

2021-09-16T03:53:44Z

概念史

SyouTK：/* 永生 */

2021-09-16T03:46:44Z

永生

SyouTK：/* 永生 */

2021-09-16T03:46:06Z

永生

SyouTK：/* 对人类社会的影响 */

2021-09-16T03:44:41Z

对人类社会的影响

@@ 第262行： / 第262行： @@
 ===课程推荐===
-*{https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
+*[https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
 ::什么是技术奇点呢？各方看法不一。有人将奇点定义为技术指数爆炸的点，而古尔德的定义则更加深入人心。他认为奇点就是超越人类的人工智能诞生的时刻，因为在这一点上将会产生所谓的“智能爆炸”效应，即人工智能将可以持续地自我进化下去，而不需要人类的干涉。有意思的是，这里面也包含着一个自指的问题，即超级人工智能一旦出现，则按照定义，它必然具备能够创造和自己一样甚至超越自己智能水平的超级人工智能。所以，超级人工智能就是一个临界点，超越它之后，超级人工智能将持续创造出更加智能的机器，这一过程会不断加速永不停息，这就是智能爆炸的含义。为什么这个概念如此重要，我们的世界又遇到了什么问题，这背后有怎样的原因？就在张江老师的2018 年的跨年演讲中。

@@ 第140行： / 第140行： @@
 文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。
-人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5*10的21次幂字节）。
+人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5*10<sup>21</sup>字节）。
-在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1*10的19次幂字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3*10的37次幂碱基对，相当于1.325*10的37次幂字节的信息。
+在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1*10<sup>19</sup>字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3*10<sup>37</sup>碱基对，相当于1.325*10<sup>37</sup>字节的信息。
 如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

@@ 第140行： / 第140行： @@
 文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。
-人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。
+人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5*10的21次幂字节）。
+在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1*10的19次幂字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3*10的37次幂碱基对，相当于1.325*10的37次幂字节的信息。
 如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

@@ 第258行： / 第258行： @@
 ==编者推荐==
 ===集智文章推荐===
 ===课程推荐===
+*{https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
-===文章推荐===
+::什么是技术奇点呢？各方看法不一。有人将奇点定义为技术指数爆炸的点，而古尔德的定义则更加深入人心。他认为奇点就是超越人类的人工智能诞生的时刻，因为在这一点上将会产生所谓的“智能爆炸”效应，即人工智能将可以持续地自我进化下去，而不需要人类的干涉。有意思的是，这里面也包含着一个自指的问题，即超级人工智能一旦出现，则按照定义，它必然具备能够创造和自己一样甚至超越自己智能水平的超级人工智能。所以，超级人工智能就是一个临界点，超越它之后，超级人工智能将持续创造出更加智能的机器，这一过程会不断加速永不停息，这就是智能爆炸的含义。为什么这个概念如此重要，我们的世界又遇到了什么问题，这背后有怎样的原因？就在张江老师的2018 年的跨年演讲中。
 ===视频推荐===
+*[https://www.bilibili.com/video/BV1e4411B77U?from=search&seid=11714956053165550675&spm_id_from=333.337.0.0 技术奇点2029 - AI]
 ----

@@ 第1行： / 第1行： @@
-此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。
+{{#seo:
+  |keywords=奇点，智能
 '''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。
@@ 第254行： / 第256行： @@
 }}
 [[Category:人工智能哲学]]
 [[Category:未来研究]]
 [[Category:末世论]]

←上一版本		2021年9月16日 (四) 03:58的版本
第155行：		第155行：

	==硬起飞与软起飞==		==硬起飞与软起飞==
−
−	[[File:Recursive self-improvement.svg\|thumb\|upright=1.6\|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>\|链接=Special:FilePath/Recursive_self-improvement.svg]]
−
−	[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]
−
	在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>		在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

@@ 第184行： / 第184行： @@
 年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。
-Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>
+Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>
 年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。
@@ 第190行： / 第190行： @@
 年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。
-年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
+年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
 ::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。
-年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>
+年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>
-Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />
+Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />
-年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>
+年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>
-年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>
+年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>
 年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>
-年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。
+年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。
 ==在政治中==

@@ 第177行： / 第177行： @@
 根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>
-除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>
+除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>
 ==概念史==

@@ 第175行： / 第175行： @@
 K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。
-根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>
+根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>
 除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

@@ 第152行： / 第152行： @@
 有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>
-Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。
+Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。
 ==硬起飞与软起飞==