113
个编辑
更改
跳到导航
跳到搜索
第115行：
第115行： − “技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。+ − + − + − +
→不确定性和风险
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。
物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。
Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />
Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />
Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。
按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。
按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。
===社会生物进化的下一步===
===社会生物进化的下一步===