集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织 - 用户贡献 [zh-cn]

吸引子

2021-09-22T00:52:07Z

SyouTK：

此词条暂由水流心不竞初译，由和光同尘审校。

在动力系统的数学领域中，'''吸引子 attractor'''是系统在众多初始条件下所趋向的一组数值。即使稍微受到干扰，与吸引子的值接近的系统值仍然能够保证近似性。

在'''有限维系统 finite-dimensional systems'''中，演化变量可用代数表示为 n 维向量。吸引子是n维空间中的一个区域。在物理系统中，n维可以是一个或多个物理实体的两个或三个位置坐标；在经济系统中，它们可以是单独的变量，如'''通货膨胀率 inflation rate'''和'''失业率 unemployment rate'''。

如果演化变量是二维或三维的，则动态过程的吸引子可以用几何方式表示为二维或三维（例如右图所示的三维情况）。一个吸引子可以是一个点，一个有限的点集，一条曲线，一个流形，甚至是一个具有分形结构的复杂集合——我们称之为'''奇异吸引子 strange attractor'''（见下面的奇异吸引子）。如果变量是标量，那么吸引子就是实数线的子集。描述'''混沌动力学系统 chaotic dynamical systems'''的吸引子是混沌理论的重要成果之一。

动力系统在吸引子中的轨迹除了需要保持时间向前，不必满足任何特殊的约束条件。轨迹可能是周期性的，也可能是混沌的。如果一组点是周期性的或混沌的，但其附近的流远离该集合，则该集合不是吸引子，而是'''排斥点（或斥点） repeller(or repellor)'''

==吸引子的动力机制==
我们通常用一个或多个微分方程或差分方程描述动力系统。一个给定动力系统的方程可以表明它在任何给定短时间内的行为。为了确定系统在较长时间内的行为，我们往往需要通过分析手段或'''迭代 Iteration'''（通常借助于计算机）来对方程进行积分。

物理世界中的动力系统往往产生于'''耗散系统 dissipative system'''：如果没有某种驱动力，运动就会停止。（耗散可能来自内部摩擦，热力学损失，材料损失等许多原因。）当耗散和驱动力趋于平衡时，'''初始瞬态 Initial transients'''会被消除，使系统进入其典型状态。与典型状态相对应的动力系统相空间的子集是吸引子——也称为吸引部分。

不变集和极限集的概念与吸引子类似。不变集是在动力学作用下向自身演化的集合。<ref>{{cite book|author1=Carvalho, A.|author2=Langa, J.A.|author3=Robinson, J.|year=2012|title=Attractors for infinite-dimensional non-autonomous dynamical systems|volume=182|publisher=Springer|p=109}}</ref>不变集可能包含于吸引子。极限集是一组点，这些点存在一定的初始状态，但是随着最终时间趋近无穷远时将任意接近极限集（即收敛到集合的每个点）。吸引子是极限集，但不是所有的极限集都是吸引子: 系统的某些点可能会收敛到极限集，但是稍微偏离极限集的点可能会被敲掉，永远不会回到极限集附近。

例如，'''阻尼摆 damped pendulum'''有两个不变点: 最小高度点{{math|x0}}和最大高度点{{math|x1}}。点{{math|x0}}也是一个极限集,因为轨迹向它收敛；点 {{math|x1}}不是一个极限集。由于空气阻力的耗散，点{{math|x0}}也是吸引子。如果没有耗散，{{math|x0}}就不会出现吸引子。亚里士多德 Aristotle认为物体只有在被推动时才会移动——这是'''耗散吸引子 dissipative attractor'''的早期表述。

有些吸引子是混沌的（参见奇异吸引子），在这种情况下，吸引子的任意两个不同点的演化都会触发指数发散轨迹。此时即使系统中有一点噪声，预测也会因此而变得复杂。<ref>{{cite book|author1=Kantz, H.|author2=Schreiber, T.|year=2004|title=Nonlinear time series analysis|publisher=Cambridge university press}}</ref>

==数学定义==
设t表示时间，设f(t,•)为指定系统动力学的函数。也就是说，如果a是n维相空间中一个表示系统初始状态的点，那么f(0,a)=a。对于t的正值，f(t,a)是该状态在t个时间单位之后演化的结果。例如，如果系统描述了自由粒子在一维空间中的演化，那么相空间是坐标为(x,v)的平面 '''R'''2 ，其中x是粒子的位置，v是粒子的速度，a = (x,v),由以下给出

[[资料图：茱莉亚即时盆地1 3.png |右|拇指|吸引周期-3旋回及其对“f”（“z”）参数化的直接吸引域。三个最暗的点是3循环的点，它们按顺序相互连接，从吸引域中的任何点迭代都会（通常是渐进的）收敛到这三个点的序列。]]

f(z) = z2 + c某一特定参数的吸引3-周期循环及其直接吸引池。最暗的三个点是3-周期循环的点，它们依次引出，从吸引域中的任何一点迭代都会（通常是渐近的）收敛到这三个点的序列。

: <math> f(t,(x,v))=(x+tv,v).\ </math>

吸引子是'''相空间 phase space'''的'''子集 subset'''A——这需要具有以下三个条件：
* “A”是“f”中的“前向不变”：如果“A”是“A”的元素，则对于所有“t”>0，“f”（“t”，“A”）也是。

* 存在一个“A”的邻域称为“A”的“吸引域”，表示为“B”（“A”），它由所有“B”点组成，这些点“B”在极限''t'' → ∞"时“进入”A“。更正式地说，“B”（“A”）是相空间中所有点“B”的集合，具有以下特性：
::对于“A”的任何开邻域“N”，存在一个正常数“T”，使得对所有实数“T”>“T”，有''f''(''t'',''b'')∈''N''，。

* “A”中不存在具有前两个属性的正确（非空）子集。

由于吸引域包含一个含有a的开集合，所以每一个足够接近a的点都会被a吸引。吸引子的定义使用了相空间上的一个度量，但得到的结果通常只取决于相空间的拓扑结构。在Rn的情况下，我们通常会使用'''欧氏范数 Euclidean norm。

在文献中有吸引子的其他定义出现。例如，一些作者要求吸引子具有正测度（防止一个点成为吸引子），另一些作者则弱化了B(A)作为一个邻域的要求。<ref>{{cite journal | author=John Milnor | author-link=John Milnor | title= On the concept of attractor | journal=Communications in Mathematical Physics | year=1985 | volume=99 | pages=177–195| doi= 10.1007/BF01212280 | issue=2}}</ref>

==吸引子的类型==
吸引子是动力系统的相空间的一部分或子集。直到20世纪60年代，吸引子被认为是相空间的简单几何子集——像点、线、面和简单的三维空间。更复杂的吸引子，不能被归类为简单的几何子集，如'''拓扑野生集 topologically wild sets'''——虽然在当时是已知的，但却被认为是脆弱的异常事物。斯蒂芬·斯梅尔 Stephen Smale能够证明他的马蹄映射是稳定的，它的吸引子具有'''康托尔集 Cantor set'''结构。

两个简单的吸引子是一个'''不动点 fixed point'''和一个'''极限环 limit cycle'''。吸引子可以呈现出许多几何形状（相空间子集）。但当这些集合（或其中的运动）不能简单地描述为基本几何对象（例如，直线，曲面，球体，环面，流形）的简单组合（例如，交集和并集）时，这个吸引子就被称为“奇异吸引子”。
===驻点===
[[文件：临界轨道3d.png |右|拇指|根据[[复二次多项式]]演化的复数的弱吸引不动点。相空间是水平复平面；纵轴测量访问复平面中的点的频率。复平面中峰值频率正下方的点是不动点吸引子。]]

函数或变换的不动点是能够通过函数或变换映射到自身的点。如果我们把动力系统的演化看作是一系列的转变，那么在每一转变中，都可能会有一个点是固定的——当然也可能没有。动力系统的最终状态与该系统演化函数的吸引固定点相对应，例如阻尼摆的中心底部位置，玻璃杯中晃动水的水平线和平坦线，在碗的底部中心滚动的大理石。但是动态系统的不动点不一定是系统的吸引子。例如，如果装有滚动大理石的碗被倒置，大理石在碗的顶部达到平衡状态，碗的中心底部（现在是顶部）就是一个固定的状态但不是一个吸引子。这等价于稳定平衡点和不稳定平衡点之差。如果一个大理石在一个倒碗（山）的顶部，这个在碗（山）的顶部的点是一个固定点（平衡），但不是一个吸引子（稳定的平衡）。

此外，由于物理世界动力学的现实性——包括非线性动力学的粘滞，摩擦，表面粗糙度，变形（弹性和塑性），甚至'''量子力学 quantum mechanics'''——至少拥有一个固定点的物理动力系统总是有多个固定点和吸引子。<ref name="Contact of Nominally Flat Surfaces">{{cite journal|last=Greenwood|first=J. A.|author2=J. B. P. Williamson|title=Contact of Nominally Flat Surfaces|journal=Proceedings of the Royal Society|date=6 December 1966|volume=295|issue=1442|pages=300–319|doi=10.1098/rspa.1966.0242}}</ref>回到倒置碗顶上的大理石这一例子，即使碗看起来是完美的半球形，大理石是规范的球形，在显微镜下观察时它们的表面实际上都十分复杂，它们的形状在接触过程中改变。任何物理表面都可以被视作一个由多个山峰、山谷、鞍点、山脊、峡谷和平原组成的崎岖地形。<ref name="NISTIR 89-4088">{{cite book|last=Vorberger|first=T. V.|title=Surface Finish Metrology Tutorial|year=1990|publisher=U.S. Department of Commerce, National Institute of Standards (NIST)|page=5|url=https://www.nist.gov/calibrations/upload/89-4088.pdf}}</ref>在这个表面地形中有许多点（以及在这个微观地形上滚动的同样粗糙的大理石的动力系统）被认为是静止的或不动的，其中一些被归类为吸引子。

===有限点数===
在一个离散时间系统中，吸引子可以以有限数量点的形式出现——这些数量点可以被依次访问。其中每个点都被称为'''周期点'''。'''逻辑图'''说明了这一点，根据其特定参数值，对于任何“n”值，可以有由2''n''点、3×2''n''点等组成的吸引子。

===极限环===
极限环是连续动力系统的周期轨道，它是孤立点。例如时钟的摆动，以及休息时的心跳。（理想摆的极限环不是极限环吸引子的一个例子，因为它的轨道不是孤立的：在理想摆的相空间中，在一个周期轨道的任何一个点附近都有另一个点属于不同的周期轨道，因此前一个轨道不具有吸引力）。

[[文件：VanDerPolPhaseSpace.png|center| 250px |拇指|<center>[[Van der Pol振荡器| Van der Pol]][[相位肖像]]：吸引极限环</center>]]

Van der Pol phase portrait: an attracting limit cycle</center>]]

范德波尔相图: 一个吸引极限环 </center>]]

===极限环===
在处于极限循环状态的系统的周期轨迹中可能存在多个频率。例如，在物理学中，一个频率可以决定一颗行星围绕恒星运行的速率，而第二个频率则描述了两个天体之间的距离振荡。如果其中两个频率形成'''无理分数 irrational fraction'''（即它们是非公度），则轨迹不再闭合，极限循环变成极限环。如果存在{{math|Nt}}非公度频率，这种吸引子被称为{{math|''N''''t''}}环面。例如这个2环面体：

[[File:torus.png|300px]]

与这个吸引子对应的时间序列是一个准周期序列: 具有非公度频率的周期函数（不一定是正弦波）的离散采样和。这样的时间序列不具有严格的周期性，但其功率谱仍然只包含锐线。

===奇异吸引子===

[[文件：洛伦兹吸引子yb.svg公司|thumb | 200px | right | 洛伦兹奇异吸引子的图， ''ρ'' = 28, ''σ'' = 10, ''β'' = 8/3]]

A plot of Lorenz's strange attractor for values ρ = 28, σ = 10, β = 8/3

关于洛伦兹奇异吸引子 ρ = 28，σ = 10，β = 8/3的图

如果吸引子具有分形结构，则称为“奇异”。这种情况通常发生在在当它的动力学系统符合混沌理论时，但是奇异的非混沌吸引子也存在。如果一个奇异吸引子是混沌的，表现出对初始条件的敏感依赖性，那么在吸引子上两个任意接近的备选初始点经过多次迭代后，都会指向任意相距很远的点（受吸引子的限制），而在经历其他次数的迭代之后，会指向任意接近的点。因此，具有混沌吸引子的动态系统是局部不稳定但全局稳定的：一旦一些序列进入吸引子，附近的点就会发散，但不会离开。<ref>{{cite journal | author = Grebogi Celso, Ott Edward, Yorke James A | year = 1987 | title = Chaos, Strange Attractors, and Fractal Basin Boundaries in Nonlinear Dynamics | url = | journal = Science | volume = 238 | issue = 4827| pages = 632–638 | doi = 10.1126/science.238.4827.632 | pmid = 17816542 | bibcode = 1987Sci...238..632G }}</ref>

术语“奇异吸引子”由大卫·吕埃勒 David Ruelle和弗洛里斯·塔肯斯 Floris Takens提出，用来描述吸引子——产生于刻画流体的系统的一系列分叉。<ref>{{cite journal |last=Ruelle |first=David |last2=Takens |first2=Floris |date=1971 |title=On the nature of turbulence |url=http://projecteuclid.org/euclid.cmp/1103857186 |journal=Communications in Mathematical Physics |volume=20 |issue=3 |pages=167–192 |doi=10.1007/bf01646553}}</ref>奇异吸引子通常在几个方向上可微，但有些吸引子与康托尘类似，因此不可微。在噪声条件下，人们也能发现奇异吸引子，这可以用来支持Sinai-Ruelle-Bowen型的不变随机概率测度。<ref name="Stochastic climate dynamics: Random attractors and time-dependent invariant measures">{{cite journal|author1=Chekroun M. D. |author2=Simonnet E. |author3=Ghil M. |author-link3=Michael Ghil |name-list-style=amp |year = 2011 |title = Stochastic climate dynamics: Random attractors and time-dependent invariant measures |Examples of strange attractors include the double-scroll attractor, Hénon attractor, Rössler attractor, and Lorenz attractor. |journal = Physica D |volume = 240 |issue = 21 |pages = 1685–1700 |doi = 10.1016/j.physd.2011.06.005|citeseerx=10.1.1.156.5891 }}</ref>

动力学方程的参数随着方程的迭代而变化，具体值可能取决于初始参数。其中一个例子是得到深入研究的逻辑图，<math>x{n+1}=rx}n（1-xun）</math>，图中显示了参数r各种值的吸引域。如果<math>r=2.6</math>，则<math>x<0</math>的所有起始x值将迅速使函数值变为负无穷大；<math>x>0</math>的起始x值将变为正无穷大。但是对于<math>0<x<1</math>，x值会迅速收敛到<math>x\approx0.615</math>，也就是说，在这个r值下，x的单个值是函数行为的吸引子。对于r的其他值，x可以取多个值：如果r为3.2，<math>0<x<1</math>的起始值将导致函数值在<math>x\approx0.513</math>和<math>x\approx0.799</math>之间交替。在r的某些值处，吸引子是一个单点（“不动点”），在r的其他值处，依次访问x的两个值（倍周期分岔）；在r的其他值处，依次访问任意数量的x值；最后，对于r的某些值，访问无穷多个点。因此，同一个动力学方程可以有不同类型的吸引子，这取决于它的起始参数。

奇异吸引子的例子包括'''双涡卷吸引子 double-scroll attractor'''、'''埃农吸引子 Hénon attractor'''、'''若斯叻吸引子 Rössler attractor'''和'''洛伦兹吸引子 Lorenz attractor'''。

==吸引子表征系统的演化==
吸引子的吸引域是相空间的区域，迭代在这个区域上得到定义，使得该区域中的任何点（任何初始条件）都将渐近地迭代到吸引子中。对于一个稳定的线性系统，相空间中的每一点都在吸引域中。然而，在非线性系统中，有些点可能直接或渐近地映射到无穷大，而另一些点可能位于不同的吸引域中并渐近映射到不同的吸引子；其他初始条件则可能位于或直接映射到非吸引点或循环中。

[[文件：逻辑图分岔图，Matplotlib.svg|350px |拇指|右|分岔图[[逻辑图]]。参数“r”所有的吸引子显示在区间<math>0<x<1</math>的纵坐标上。点的颜色表示在10次6次迭代过程中访问点<math>（r，x）</math>的频率：经常遇到的值用蓝色表示，不太常见的值用黄色表示。在<math>r\approx3.0</math>附近出现[[倍周期分岔|分岔]]，在<math>r\approx3.5</math>附近出现第二个分岔（导致四个吸引子值）。当<math>r>3.6<math>时，行为变得越来越复杂，中间穿插着简单行为区域（白色条纹）。]]

The parameters of a dynamic equation evolve as the equation is iterated, and the specific values may depend on the starting parameters. An example is the well-studied [[logistic map]], <math>x_{n+1}=rx_n(1-x_n)</math>, whose basins of attraction for various values of the parameter ''r'' are shown in the figure. If <math>r=2.6</math>, all starting ''x'' values of <math>x<0</math> will rapidly lead to function values that go to negative infinity; starting ''x'' values of <math>x>0</math> will go to infinity. But for <math>0<x<1</math> the ''x'' values rapidly converge to <math>x\approx0.615</math>, i.e. at this value of ''r'', a single value of ''x'' is an attractor for the function's behaviour. For other values of ''r'', more than one value of x may be visited: if ''r'' is 3.2, starting values of <math>0<x<1</math> will lead to function values that alternate between <math>x\approx0.513</math> and <math>x\approx0.799</math>. At some values of ''r'', the attractor is a single point (a [[#Fixed_point|"fixed point"]]), at other values of ''r'' two values of ''x'' are visited in turn (a [[period-doubling bifurcation]]); at yet other values of r, any given number of values of ''x'' are visited in turn; finally, for some values of ''r'', an infinitude of points are visited. Thus one and the same dynamic equation can have various types of attractors, depending on its starting parameters.

动力学方程的参数随着方程的迭代而变化，具体值可能取决于初始参数。一个例子是得到深入研究的逻辑图，<math>x{n+1}=rx\u n（1-xün）</math>，图中显示了参数r各种值的吸引域。如果<math>r=2.6</math>，则<math>x<0</math>的所有x值将迅速使函数值变为负无穷大；<math>x>0的起始x值将变为正无穷大。但是对于<math>0<x<1</math>，x值会迅速收敛到<math>x\approx0.615</math>，也就是说，在这个r值下，x的单个值是函数行为的吸引子。对于r的其他值，x可以取多个值：如果r为3.2，<math>0<x<1</math>的起始值将导致函数值在<math>x\approx0.513</math>和<math>x\approx0.799</math>之间交替。在r的某些值处，吸引子是一个单点（“不动点”），在r的其他值处，依次访问x的两个值（倍周期分岔）；在r的其他值处，依次访问任意数量的x值；最后，对于r的某些值，访问无穷多个点。因此，同一个动力学方程可以有不同类型的吸引子，这取决于它的起始参数。

齐次形式的单变量（单变量）线性差分方程<math>x_t=ax{t-1}</math>从除0以外的所有初始点| a|>1发散到无穷大；没有吸引子，因此没有吸引池。但是如果|a|<1，则数线图上的所有点渐进地（或在0的情况下直接）趋向0；0是吸引子，整个数线是吸引域。

==吸引池==
同样地，动态向量X中的线性矩阵差分方程，如果a的最大特征值绝对值大于1，则动态向量X中的所有元素<math>X_t=AX_{t-1}</math> 都将发散到无穷大；不存在吸引子和吸引池。但如果最大特征值小于1，则所有初始向量将渐近收敛于零向量，即零为吸引子；潜在初始向量的整个n维空间就是'''吸引池 basin of attraction'''。

吸引子的吸引域是相空间的区域，迭代在这个区域上得到定义，使得该区域中的任何点（任何初始条件）都将渐近地迭代到吸引子中。对于一个稳定的线性系统，相空间中的每一点都在吸引域中。然而，在非线性系统中，有些点可能直接或渐近地映射到无穷大，而另一些点可能位于不同的吸引域中并渐近映射到不同的吸引子；其他初始条件则可能位于或直接映射到非吸引点或循环中。<ref>{{cite journal|last1=Strelioff|first1=C.|last2=Hübler|first2=A.|title=Medium-Term Prediction of Chaos|journal=Phys. Rev. Lett.|date=2006|volume=96|issue=4|doi=10.1103/PhysRevLett.96.044101|pmid=16486826|page=044101}}</ref>

Similar features apply to linear differential equations. The scalar equation <math> dx/dt =ax</math> causes all initial values of x except zero to diverge to infinity if a > 0 but to converge to an attractor at the value 0 if a < 0, making the entire number line the basin of attraction for 0. And the matrix system <math>dX/dt=AX</math> gives divergence from all initial points except the vector of zeroes if any eigenvalue of the matrix A is positive; but if all the eigenvalues are negative the vector of zeroes is an attractor whose basin of attraction is the entire phase space.

类似的特征也适用于线性微分方程。标量方程<math> dx/dt =ax</math> 使得除0以外的所有 x 的初始值在 a > 0时发散到无穷大，但在 a < 0时收敛到吸引子，使整条数线成为0的吸引池。如果矩阵 A 的任何特征值是正的，则该矩阵系统<math>dX/dt=AX</math>从除零向量以外的所有初始点发散; 但如果所有特征值都是负的，则零向量就是吸引池为整个相空间的吸引子。

===Linear equation or system线性方程或系统===

A single-variable (univariate) linear [[difference equation]] of the [[homogeneous equation|homogeneous form]] <math>x_t=ax_{t-1}</math> diverges to infinity if |''a''| > 1 from all initial points except 0; there is no attractor and therefore no basin of attraction. But if |''a''| < 1 all points on the number line map asymptotically (or directly in the case of 0) to 0; 0 is the attractor, and the entire number line is the basin of attraction.

如果除了0以外的所有初始点|“A”>>1，单变量线性齐次方程<math>x|t=ax{t-1}</math>（差分方程）发散到无穷大；没有吸引子，因此没有吸引池。但如果 |''a''| < 1，则数线图上的所有点渐进（或在0的情况下直接映射）到0；0是吸引子，整个数线是吸引池。

Equations or systems that are nonlinear can give rise to a richer variety of behavior than can linear systems. One example is Newton's method of iterating to a root of a nonlinear expression. If the expression has more than one real root, some starting points for the iterative algorithm will lead to one of the roots asymptotically, and other starting points will lead to another. The basins of attraction for the expression's roots are generally not simple—it is not simply that the points nearest one root all map there, giving a basin of attraction consisting of nearby points. The basins of attraction can be infinite in number and arbitrarily small. For example, for the function <math>f(x)=x^3-2x^2-11x+12</math>, the following initial conditions are in successive basins of attraction:

与线性系统相比，非线性方程或系统可以产生更多行为。一个例子是非线性表达式根的牛顿迭代法。如果表达式有多个实根，则迭代算法的某些起始点会渐近地靠近其中一个根，而其他起始点会得出另一个根。表达式根的吸引池通常并不简单，最接近某一个根的点都被映射到那里，从而形成由附近点组成的吸引区。吸引池在数值上可以是无限的，可以任意小。例如，对于函数<math>f(x)=x^3-2x^2-11x+12</math>，以下初始条件在连续的吸引池中：

Likewise, a linear [[matrix difference equation]] in a dynamic [[coordinate vector|vector]] ''X'', of the homogeneous form <math>X_t=AX_{t-1}</math> in terms of [[square matrix]] ''A'' will have all elements of the dynamic vector diverge to infinity if the largest [[eigenvalue]] of ''A'' is greater than 1 in absolute value; there is no attractor and no basin of attraction. But if the largest eigenvalue is less than 1 in magnitude, all initial vectors will asymptotically converge to the zero vector, which is the attractor; the entire ''n''-dimensional space of potential initial vectors is the basin of attraction.

同样的，针对在动态向量''X''中的线性[[矩阵差分方程]]（在[[平方矩阵]]''a'中表现为齐次形式<math>X|t=AX{t-1}</math>），如果“a”的最大特征值在绝对值上大于1，则动态向量的所有元素将发散到无穷大；没有吸引子，也没有吸引池。但如果最大特征值小于1，则所有初始向量将渐近收敛于零向量，即零为吸引子；潜在初始向量的整个n维空间就是吸引池。

Basins of attraction in the complex plane for using Newton's method to solve x5 − 1 = 0. Points in like-colored regions map to the same root; darker means more iterations are needed to converge.

用牛顿法求解 x5 − 1 = 0。相似颜色区域中的点映射到同一个根; 颜色较深意味着需要更多的迭代来收敛。

Similar features apply to linear [[differential equation]]s. The scalar equation <math> dx/dt =ax</math> causes all initial values of ''x'' except zero to diverge to infinity if ''a'' > 0 but to converge to an attractor at the value 0 if ''a'' < 0, making the entire number line the basin of attraction for 0. And the matrix system <math>dX/dt=AX</math> gives divergence from all initial points except the vector of zeroes if any eigenvalue of the matrix ''A'' is positive; but if all the eigenvalues are negative the vector of zeroes is an attractor whose basin of attraction is the entire phase space.

类似的特征也适用于线性微分方程。标量方程<math>dx/dt=ax</math>会导致“x”的所有初始值（除了0）发散到无穷大，如果“a”<0，则收敛到值为0的吸引子，使整条数线成为0的吸引域。如果矩阵“A”的任何特征值都为正，则矩阵系统的dX/dt=AX会从除零向量外所有的初始点发散；但如果所有特征值都为负，则零点向量是一个吸引子，其吸引域是整个相空间。

2.35287527 converges to 4;

2.35287527汇聚到4;

===Nonlinear equation or system非线性方程或系统===

2.35284172 converges to −3;

2.35284172 收敛到 −3;

2.35283735 converges to 4;

2.35283735收敛到4;

Equations or systems that are [[nonlinear system|nonlinear]] can give rise to a richer variety of behavior than can linear systems. One example is [[Newton's method]] of iterating to a root of a nonlinear expression. If the expression has more than one [[real number|real]] root, some starting points for the iterative algorithm will lead to one of the roots asymptotically, and other starting points will lead to another. The basins of attraction for the expression's roots are generally not simple—it is not simply that the points nearest one root all map there, giving a basin of attraction consisting of nearby points. The basins of attraction can be infinite in number and arbitrarily small. For example,<ref>Dence, Thomas, "Cubics, chaos and Newton's method", ''[[Mathematical Gazette]]'' 81, November 1997, 403–408.</ref> for the function <math>f(x)=x^3-2x^2-11x+12</math>, the following initial conditions are in successive basins of attraction:

与线性系统相比，非线性方程或系统可以产生更多行为。一个例子是非线性表达式根的牛顿迭代法。如果表达式有多个实根，则迭代算法的某些起始点会渐近地靠近其中一个根，而其他起始点会得出另一个根。表达式根的吸引池通常并不简单，最接近某一个根的点都被映射到那里，从而形成由附近点组成的吸引区。吸引池在数值上可以是无限的，可以任意小。例如<ref>dance，Thomas，“Cubics，chaos and Newton's method”，“[[mathematic Gazette]]”811997年11月，403–408。</ref>对于函数<math>f(x)=x^3-2x^2-11x+12</math>，以下初始条件在连续的吸引池中
2.352836327 converges to −3;

2.352836327 converges to −3;

2.352836323 converges to 1.

2.352836323汇聚为1。

[[File:newtroot 1 0 0 0 0 m1.png|thumb|Basins of attraction in the complex plane for using Newton's method to solve ''x''5 − 1 = 0. Points in like-colored regions map to the same root; darker means more iterations are needed to converge.]]

[[文件：newtroot 10 0 0 0 m1.png |拇指|复杂平面中的吸引盆地，用于使用牛顿法求解“x”5—1&nbsp；=0。相同颜色区域中的点映射到同一根；较暗表示需要更多迭代才能收敛。]]

Newton's method can also be applied to complex functions to find their roots. Each root has a basin of attraction in the complex plane; these basins can be mapped as in the image shown. As can be seen, the combined basin of attraction for a particular root can have many disconnected regions. For many complex functions, the boundaries of the basins of attraction are fractals.

牛顿法也可以应用于求复变函数的根。在复杂的平面上，每个根部都有一个吸引池; 这些区域可以如图所示绘制出来。可以看出，为一个特定的根而组合成的吸引池可以有许多不相连的地区。对于许多复杂函数来说，吸引池的边界为分形。

:2.35287527 converges to 4;

:2.35284172 converges to −3;

:2.35283735 converges to 4;

Parabolic partial differential equations may have finite-dimensional attractors. The diffusive part of the equation damps higher frequencies and in some cases leads to a global attractor. The Ginzburg–Landau, the Kuramoto–Sivashinsky, and the two-dimensional, forced Navier–Stokes equations are all known to have global attractors of finite dimension.

抛物型偏微分方程可能具有有限维吸引子。在某些情况下，方程的扩散部分会阻抑更高的频率，触发一个全局吸引子。金兹堡－朗道方程 Ginzburg-Landau equations 、 K-S方程 Kuramoto-Sivashinsky equations 和二维强迫纳维-斯托克斯方程forced Navier–Stokes equation都具有有限维的全局吸引子。

:2.352836327 converges to −3;

:2.352836323 converges to 1.

For the three-dimensional, incompressible Navier–Stokes equation with periodic boundary conditions, if it has a global attractor, then this attractor will be of finite dimensions.

对于具有周期边界条件的三维不可压缩方程 Navier-Stokes equation，如果它有一个全局吸引子那么这个吸引子将是有限维的。

Newton's method can also be applied to [[complex analysis|complex functions]] to find their roots. Each root has a basin of attraction in the [[complex plane]]; these basins can be mapped as in the image shown. As can be seen, the combined basin of attraction for a particular root can have many disconnected regions. For many complex functions, the boundaries of the basins of attraction are [[fractal]]s.



-->

Chaotic [[hidden attractor]] (green domain) in [[Chua's circuit|Chua's system]].
[[蔡氏电路|蔡氏系统]]中的混沌隐藏吸引子（绿域）。

Trajectories with initial data in a neighborhood of two saddle points (blue) tend (red arrow) to infinity or tend (black arrow) to stable zero equilibrium point (orange).

带有初始数据的一个邻近鞍点saddle points (蓝色)的轨迹趋向(红色箭头)无穷大或趋向(黑色箭头)稳定的零平衡点(橙色)。

]]

From a computational point of view, attractors can be naturally regarded as ''self-excited attractors'' or

''[[hidden attractor]]s''.

从计算的角度来看，吸引子可以分为“自激吸引子”或''隐藏吸引子''<ref name="2011-PLA-Hidden-Chua-attractor">{{cite journal |author1=Leonov G.A. |author2=Vagaitsev V.I. |author3=Kuznetsov N.V. |

year = 2011 |

title = Localization of hidden Chua's attractors |

journal = Physics Letters A |

volume = 375 |

issue = 23 |

pages = 2230–2233 |

url = http://www.math.spbu.ru/user/nk/PDF/2011-PhysLetA-Hidden-Attractor-Chua.pdf |

doi = 10.1016/j.physleta.2011.04.037}}

</ref><ref>{{cite journal

|author1=Bragin V.O. |author2=Vagaitsev V.I. |author3=Kuznetsov N.V. |author4=Leonov G.A. | year = 2011

| title = Algorithms for Finding Hidden Oscillations in Nonlinear Systems. The Aizerman and Kalman Conjectures and Chua's Circuits

| journal = Journal of Computer and Systems Sciences International

| volume = 50

| number = 5

| pages = 511–543

| last = Ruelle

| last = Ruelle

| url = http://www.math.spbu.ru/user/nk/PDF/2011-TiSU-Hidden-oscillations-attractors-Aizerman-Kalman-conjectures.pdf

| first = David

第一名: David

| doi = 10.1134/S106423071104006X}}

| authorlink = David Ruelle

| authorlink = David Ruelle

</ref><ref name="2012-Physica-D-Hidden-attractor-Chua-circuit-smooth">{{cite journal |author1=Leonov G.A. |author2=Vagaitsev V.I. |author3=Kuznetsov N.V. |

| title = What is...a Strange Attractor?

| title = 什么是... 奇异吸引子？

year = 2012 |

| journal = Notices of the American Mathematical Society

| journal = 美国数学学会公告

title = Hidden attractor in smooth Chua systems |

|date=August 2006

| date = August 2006

journal = Physica D |

| volume = 53

53

volume = 241 |

| issue = 7

第7期

issue = 18 |

| pages = 764–765

| 页 = 764-765

pages = 1482–1486 |

| url = http://www.ams.org/notices/200607/what-is-ruelle.pdf

Http://www.ams.org/notices/200607/what-is-ruelle.pdf

url = http://www.math.spbu.ru/user/nk/PDF/2012-Physica-D-Hidden-attractor-Chua-circuit-smooth.pdf |

| accessdate = 16 January 2008 }}

16 January 2008}}

doi = 10.1016/j.physd.2012.05.016}}

</ref><ref name="2013-IJBC-Hidden-attractors">{{cite journal |author1=Leonov G.A. |author2=Kuznetsov N.V. |

year = 2013 |

title = Hidden attractors in dynamical systems. From hidden oscillations in Hilbert–Kolmogorov, Aizerman, and Kalman problems to hidden chaotic attractor in Chua circuits |

journal = International Journal of Bifurcation and Chaos |

volume = 23 |

issue = 1 |

pages = art. no. 1330002|

doi = 10.1142/S0218127413300024|

doi-access = free }}

</ref> Self-excited attractors can be localized numerically by standard computational procedures, in which after a transient sequence, a trajectory starting from a point on an unstable manifold in a small neighborhood of an unstable equilibrium reaches an attractor, such as the classical attractors in the [[Van der Pol oscillator|Van der Pol]], [[Belousov–Zhabotinsky reaction|Belousov–Zhabotinsky]], [[Lorenz attractor|Lorenz]], and many other dynamical systems. In contrast, the basin of attraction of a [[hidden attractor]] does not contain neighborhoods of equilibria, so the [[hidden attractor]] cannot be localized by standard computational procedures.

自激吸引子可以用标准的计算程序进行数值定域，在一个瞬态序列之后，从不稳定平衡小邻域中不稳定流形上的点出发的轨迹将到达一个吸引子，例如范德波尔振荡器中的经典吸引子Van der Pol oscillator，别洛乌索夫·扎伯廷斯基反应 Belousov–Zhabotinsky reaction，洛伦兹吸引子 Lorenz attractor，以及其他许多动力系统。相比之下，隐藏吸引子的吸引池不包含平衡邻域，因此隐藏吸引子不能用标准的计算程序进行局部化。
-->

== See also 请参阅==
{{commons|Attractor}}

* [[Cycle detection]]

* [[Hyperbolic set]]

* [[Stable manifold]]

* [[Steady state]]

{{常见 |吸引子}}

*[[循环检测]]

*[双曲线集][]

*[[稳定流形]]

*[[稳态]]

Category:Limit sets

类别: 极限集

<noinclude>

This page was moved from [[wikipedia:en:Attractor]]. Its edit history can be viewed at [[吸引子/edithistory]]</noinclude>

[[Category:待整理页面]]

社会复杂性

2021-09-20T11:04:01Z

SyouTK：/* 另见 */

{{#seo:
|keywords=社会复杂性，复杂性，网络
|description=社会复杂性，自组织系统
}}
在社会学中，'''社会复杂性 social complexity'''是用于分析社会的概念性框架工具，科学中关于复杂性的当代定义与系统理论息息相关，而其研究的现象中包含了众多部分，这些部分之间又存在许多可能性的联系。同时，复杂和简单是相对存在的，并会随着时间而改变的。<ref>Waldrop, M. Mitchell (1992.) ''Complexity: The Emerging Science at the Edge of Order and Chaos.'' New York, NY: Simon & Schuster.</ref>

在社会学领域中，“复杂性”术语的当前用法，通常是将社会理论称作复杂适应性系统。然而，贯穿社会思想的整个历史发展进程和社会变迁的研究发现，主要反复出现的却是社会复杂性及其表现的特征。<ref name="CCS-MMT">Eve, Raymond, Sara Horsfall and Mary E. Lee (eds.) (1997). ''Chaos, Complexity and Sociology: Myths, Models, and Theories.'' Thousand Oaks, CA: Sage Publications.</ref>社会学理论的早期奠基者，例如费迪南德·托尼斯 FerdinandTönnies，埃米尔·杜尔克海姆 ÉmileDurkheim，马克斯·韦伯 Max Weber，维尔弗雷多·帕累托 Vilfredo Pareto和乔治·西梅尔 Georg Simmel，都验证过社会交往交换程度呈指数增长，且其相互关联性持续上升这一现象。社会关系中的互联性和社会内部涌现的全新属性，在社会学多个领域的理论思考中都受到了重视。<ref name="AGid-79">Giddens, Anthony (1979). ''Central problems in Social Theory: Action, Structure and Contradiction in Social Analysis.'' London: Macmillan.</ref>社会复杂性作为一种理论工具，是微观和宏观社会现象之间联系的基础，为后期的假设形成提供了中观或中程（又称中层）的理论平台。<ref>Freese, Lee (1980). "Formal Theorizing." ''Annual Review of Sociology'', 6: 187–212 (August 1980).</ref><ref>Cohen, B. P. (1989). ''Developing sociological knowledge: theory and method'' (2nd ed.). Chicago: Nelson–Hall.</ref>从方法上讲，社会复杂性这一特征是无关乎于理论的，这意味着无论是地方性（局部）或全球性（全局）社会学研究都将适用。<ref name="CCS-MMT" />

==理论背景==
[[文件:Penrose tiling.gif|缩略图|右|复杂性插图（Penrose平铺分形）]]
美国社会学家塔尔科特·帕森斯 Talcott Parsons在他早期（1937年）关于行为理论的研究中，接手开展了上述早期创始人的工作。<ref name="Parsons-a">Parsons, Talcott ([1937] 1949). ''The Structure of Social Action: A Study in Social Theory with Special Reference to a Group of European Writers''. New York, NY: The Free Press.</ref>到1951年，帕森斯 Parsons便坚定地将这些早期的想法融入正式的系统理论领域中，并写进了他的书《社会系统》中去。<ref name="Parsons-b">Parsons, Talcott (1951). ''The Social System''. New York, NY: The Free Press</ref>在接下来的几十年中，帕森斯 Parsons的学生罗伯特·K·默顿 Robert K. Merton和其他同行在关于中层（中程）理论，社会结构与能动性的讨论中，将一般系统思维与社会系统理论进一步发展之间的这种协同作用进行了更深入的推进。同一时期（自1970年代后期到1990年代初期），关于系统特性在其他许多研究领域也进行了讨论。其中，各个子部分之间的强相关性导致观察到的行为被不同地描述为自生系统，自组织系统，动力学系统，湍流系统和混乱系统。所有的这些系统行为模式都源于数学复杂性。直到1990年代初，诸如尼古拉斯·卢曼 Niklas Luhmann<ref>Luhmann, Niklas (1990.) ''Essays on Self-Reference'', New York: Columbia University Press.</ref>等社会理论学者的工作才开始反映出这些复杂行为的主题。

在现代组织和管理研究中发现，在社会和行为科学中，“复杂性”一词最早用于专称复杂系统。<ref>Kiel, L. Douglas (1994). ''Managing Chaos and Complexity in Government: A New Paradigm for Managing Change, Innovation and Organizational Renewal.'' Jossey-Bass: San Francisco.</ref>但是在管理研究中，该术语通常以隐喻而不是定性或定量的理论方式使用。<ref name="CCS-MMT" />直到到1990年代中期，社会科学开始向“复杂性转变”<ref name=Urry>Urry, John (2005). "The Complexity Turn." ''Theory, Culture and Society'', 22(5): 1–14.</ref>，因为复杂性科学中通常使用的某些工具同时被纳入社会科学中。到1998年，国际电子期刊《人工社会与社会模拟杂志》创建。在过去的几年中，许多出版物对社会学领域的复杂性理论进行了概述。这一系列工作，还与其他传统理论建立了联系，包括建构主义认识论和现象学，后现代主义和批判现实主义的哲学立场。
===方法论===
从方法上讲，社会复杂性这一特征是无关乎于理论的，这意味着无论是地方性（局部）或全球性（全局）社会学研究都将适用。<ref name="CCS-MMT"/>社会复杂性的想法源于早期社会学家的历史比较方法。显然，这种方法对于发展，定义和完善社会复杂性的理论构造非常重要。由于复杂社会系统包含了许多部分，而且这些部分之间又存在许多可能的关系。因此不同的适用方法在一定程度上取决于不同的分析研究深度<ref>Luhmann, Niklas (1982). ''The Differentiation of Society.'' New York, NY: Columbia University Press.</ref>，再进一步说，便是由研究人员根据研究假设所要求的描述或解释程度来区分。

在地方性（局部）分析中，人种志研究（也称作人类学研究或民族志研究）观察法，参与或非参与观察法，内容分析法和其他定性研究方法可能比较合适。近日，同时适用于地方性（局部）和全球性（全局）的社会学研究法正在开发使用中，它是具有高度复杂的定量研究方法。这样的方法包括（但不限于）分岔图法，网络分析法和非线性建模法；以及包括元胞自动机编程，社会控制论和其他社会仿真在内的计算建模法。

===复杂社交网络分析法===
复杂社交网络分析法用于研究大型复杂社交网络的动态系统（动力学）。其动态网络分析法将网络科学和网络理论中传统的社交网络分析法，链接分析法以及多主体系统结合在一起。<ref>Carley, Kathleen M. (2003), "Dynamic Network Analysis." ''Dynamic Social Network Modeling and Analysis: Workshop Summary and Papers'', Ronald Breiger, Kathleen Carley, and Philippa Pattison (eds.), National Research Council (Committee on Human Factors): Washington, D.C.: 133–145.</ref>通过运用社交网络分析，基于主体的建模，理论物理学和现代数学（尤其是图论和分形几何）中的关键概念和方法，为社会系统的动力学和结构带来了深入见解。通过Duncan Watts，Albert-LászlóBarabási，Nicholas A. Christakis，Kathleen Carley等人的工作，总结出了全新的地方性（局部）社交网络分析计算方法。

通过约翰·乌里 John Urry的工作，加上全球性网络中的学者们对社会学的研究，不断涌现出新的全球性网络分析方法，这些方法同时与曼努埃尔·卡斯特尔 Manuel Castells的工作以及伊曼纽尔·沃勒斯坦 Immanuel Wallerstein的后续工作相关。自1990年代后期以来，Wallerstein越来越多地利用复杂性理论，尤其是Ilya Prigogine的著作。<ref>Barabási, Albert-László (2003). ''Linked: The New Science of Networks.'' Cambridge, MA: Perseus Publishing.</ref><ref>Freeman, Linton C. (2004). ''The Development of Social Network Analysis: A Study in the Sociology of Science.'' Vancouver Canada: Empirical Press.</ref><ref>Watts, Duncan J. (2004). "The New Science of Networks." ''Annual Review of Sociology'', 30: 243–270.</ref>动态社会网络分析与系统思想之外的各种传统方法学相关，包括图论，社会学中的传统社会网络分析和数学社会学。它还通过Duncan Watts和Steven Strogatz的研究与混沌数学和复杂动力学联系在一起，并通过Albert-László Barabási和他在无标度网络上的研究成果发展出分形几何法。

===计算社会学===
计算社会学的发展涉及到以下学者的研究：奈杰尔·吉尔伯特 Nigel Gilbert，克劳斯·G·特罗伊茨 Klaus G.Troitzsch，约书亚·爱泼斯坦 Joshua M.Epstein等。该领域研究的方法的集中包括社会仿真和数据挖掘，它们都是计算社会学的子领域。社会仿真运用计算机创建一个用于研究复杂社会系统的人工实验室；数据挖掘则运用机器智能，在大型、复杂的真实世界数据库中搜索其之间联系的关键点（斑图）。全新的社会人格学方法是计算社会学的一种变体。<ref>Gilbert, Nigel and Klaus G. Troitzsch (2005). ''Simulation for Social Scientists'', 2nd Edition. New York, NY: Open University Press.</ref><ref name=epstein07>Epstein, Joshua M. (2007). ''Generative Social Science: Studies in Agent-Based Computational Modeling''. Princeton, NJ: Princeton University Press.</ref>

计算社会学受到许多微观社会学领域以及系统科学和系统思维的宏观传统的影响。符号互动理论，社会交换理论和理性选择理论的微观影响，以及罗伯特·阿克塞尔罗德 Robert Axelrod等计算政治学家的微观中心思想，共同促进了计算社会学自下而上，基于主体建模方法的发展，进而研究于复杂系统。这就是约书亚·爱泼斯坦 Joshua M. Epstein所称的生成科学。<ref name=epstein07 />其他重要的影响领域包括统计、数学建模和计算机模拟。

===社会控制论===
社会控制论将社会学与二阶控制论和尼古拉斯·卢曼 Niklas Luhmann的工作结合在一起，并结合了复杂性科学的最新成果。在学术研究方面，社会控制论偏重于概念性，弱于方法论或经验实践。<ref>Geyer, Felix and Johannes van der Zouwen (1992). "Sociocybernetics." ''Handbook of Cybernetics'', C.V. Negoita (ed.): 95–124. New York: Marcel Dekker.</ref>社会控制论与社会学内外系统直接相关，特别是在二阶控制论领域。

==应用与分支==
===适用范围===
作为一个中等规模的理论平台，社会复杂性可以应用于任何社会互动或可以观察到这种互动的结果的研究，只需要相关的数据可以用连续或者离散的点来表示即可。关于复杂性科学在社会学中的应用，一个常见的批判问题就是很难获得足够的数据。<ref>Stewart, Peter (2001). "Complexity Theories, Social Theory, and the Question of Social Complexity." ''Philosophy of the Social Sciences'', 31(3): 323–360.</ref>尽管如此，社会复杂性概念的应用以及对这种复杂性的分析已经开始并将继续成为社会学研究的必要研究领域。从儿时的友谊<ref name="CCS-MMT" />和少女怀孕<ref>Lee, Ju-Sung. (2001). "Evolving Drug Networks." [http://www.casos.cs.cmu.edu/ Carnegie Mellon Center for Computational Analysis of Social and Organizational Systems (CASOS)] Conference Presentation (unpublished).</ref>到犯罪学和反恐怖主义，<ref>Carley, Kathleen (2003). "Destabilizing Terrorist Networks." ''Proceedings of the 8th International Command and Control Research and Technology Symposium''. Conference held at the National Defense War College: Washington D.C., Evidence Based Research, Track 3. [http://www.dodccrp.org/events/2003/8th_ICCRTS/pdf/021.pdf (Electronic Publication).]</ref>社会复杂性理论几乎应用于社会学研究的所有方面。

在通信研究和信息计量学领域，自组织系统的概念出现在20世纪90年代中期与科学通信有关的研究中，<ref>Loet Leydesdorff|Leydesdorff, Loet (1995). ''The Challenge of Scientometrics: The development, measurement, and self-organization of scientific communications''. Leiden: DSWO Press, Leiden University.</ref>主要得益于科学计量学，文献计量学，社会语言学都是可以获得离散数据的研究领域，<ref name="CCS-MMT" />社会复杂性也是符号学中使用的一个概念。<ref>Dimitrov, Vladimir and Robert Woog (1997). "Studying Social Complexity: From Soft to Virtual Systems Methodology." [http://www.complex-systems.com/pdf/11-6-5.pdf Complex Systems, 11:(6)].</ref>

在21世纪的第一个十年，随着方法的发展应用领域也在不断增加<ref>Saberi, Mohammad Karim, Alireza Isfandyari-Moghaddam and Sedigheh Mohamadesmaeil (2011). "Web Citations Analysis of the JASSS: the First Ten Years." [http://jasss.soc.surrey.ac.uk/14/4/22.html ''Journal of Artificial Societies and Social Simulation'', 14:(4), 22].</ref>。社会复杂性理论应用于社会研究的各个方面，包括社会合作和公共产品的研究，<ref>Nowak, Martin and Roger Highfield (2011). ''Super Cooperators: Altruism, Evolution, and Why We Need Each Other to Succeed''. New York, NY: Free Press.</ref>利他主义，<ref>Hang, Ye, Fei Tan, Mei Ding, Yongmin Jia and Yefeng Chen (2011). "Sympathy and Punishment: Evolution of Cooperation in Public Goods Game." [http://jasss.soc.surrey.ac.uk/14/4/20.html ''Journal of Artificial Societies and Social Simulation'', 14(4): 20].</ref>投票行为，<ref>Braha, D., & de Aguiar, M. A. (2016). [https://arxiv.org/abs/1610.04406 Voting Contagion]. arXiv preprint arXiv:1610.04406.</ref><ref>Braha, D., & de Aguiar, M. A. (2017). [http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0177970 Voting contagion: Modeling and analysis of a century of U.S. presidential elections]. PLoS ONE 12(5): e0177970. https://doi.org/10.1371/journal.pone.0177970</ref>教育，<ref>Mason, Mark (2008). ''Complexity Theory and the Philosophy of Education''. Hoboken, NJ: Wiley-Blackwell (Educational Philosophy and Theory Special Issues).</ref>全球社会动乱，<ref>Castellani, Brian. (2018). "The Defiance of Global Commitment: A Complex Social Psychology. Routledge complexity in social science series." doi:10.4324/9781351137140.</ref><ref>Braha, Dan. (2012). [http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0048596 "Global Civil Unrest: Contagion, Self-Organization, and Prediction."] PLoS ONE 7(10): e48596. doi:10.1371/journal.pone .0048596.</ref>集体行动和社会运动，<ref>Lohmann Susanne (1994). "Dynamics of Informational Cascades: The Monday Demonstrations in Leipzig, East Germany, 1989–1991," ''World Politics'', 47: 42–101.</ref><ref>Chesters, Graeme and Ian Welsh (2006). ''Complexity and Social Movements: Protest at the Edge of Chaos." London: Routledge (International Library of Sociology).</ref>社会不平等，<ref>Castellani, Brian et al. (2011). "Addressing the U.S. Financial/Housing Crisis: Pareto, Schelling and Social Mobility."[http://cch.ashtabula.kent.edu/publications/Addressing%20the%20U.S.%20Financial%20&%20Housing%20Crisis.pdf Working Paper].</ref>劳动力和失业，<ref>Hedström, Peter and Yvonne Åberg (2011). "Social interaction and youth unemployment." ''Analytical Sociology and Social Mechanisms'', Pierre Demeulenaere (ed.). Cambridge: Cambridge University Press.</ref><ref>Yilmaz, Levent (2011). "Toward Multi-Level, Multi-Theoretical Model Portfolios for Scientific Enterprise Workforce Dynamics." [http://jasss.soc.surrey.ac.uk/14/4/2.html ''Journal of Artificial Societies and Social Simulation'', 14(4): 2.]</ref>经济地理和经济社会学，<ref>Dan Braha, Blake Stacey and Yaneer Bar-Yam. (2011). [http://necsi.edu/affiliates/braha/Journal_Version_SON_Braha.pdf "Corporate Competition: A Self-Organizing Network."] Social Networks, 33(3): 219-230.</ref>政策分析，<ref>Jervis, Robert (1998). ''System Effects: Complexity in Political and Social Life''. Princeton, NJ: Princeton University Press.</ref><ref>Elliott, Euel and L. Douglas Kiel (eds.) (2000). ''Nonlinear Dynamics, Complexity and Public Policy''. Hauppauge NY: Nova Science Publishers.</ref>卫生健康系统，<ref>Brian Castellani, Rajeev Rajaram, J. Galen Buckwalter, Michael Ball and Frederic Hafferty (2012). [https://www.springer.com/public+health/book/978-3-319-09733-6 "Place and Health as Complex Systems: A Case Study and Empirical Test"]. ''SpringerBriefs in Public Health.''</ref>创新和社会变革<ref>Leydesdorff, Loet (2006). ''The Knowledge-Based Economy Modeled, Measured, Simulated''. Boca Raton, FL: Universal-Publishers .</ref><ref>Lane, D.; Pumain, D.; Leeuw, S.E. van der; West, G. (eds.) (2009). ''Complexity Perspectives in Innovation and Social Change''. New York, NY: Springer (Methodos Series, Vol. 7).</ref>等等。当前的一个国际科学研究项目，Seshat：全球历史数据库，被明确地设计用来分析从新石器革命到工业革命的社会复杂性的变化。

==另见==
===社会科学===
* 复杂社会
* [[复杂性经济学]]
* 复杂性理论和组织
* 差异化（社会学）
* [[经济物理学]]
* 敬业理论
* 《网络分析和民族志问题》
* 个人信息管理

===一般信息===
* 聚合数据
* [[人工神经网络]]
* 认知复杂性
* 计算复杂性理论
* 双阶段演进
* 进化编程
* [[博弈论]]
* 类属-案例复合体
* [[多智能体系统]]
* 系统学

==参考资料==
{{Reflist|35em}}

==延伸阅读==
* Byrne, David (1998). ''Complexity Theory and the Social Sciences.'' London: Routledge.
* Byrne, D., & Callaghan, G. (2013). Complexity theory and the social sciences: The state of the art. Routledge.
* Castellani, Brian and Frederic William Hafferty (2009). [https://www.springer.com/us/book/9783540884613 ''Sociology and Complexity Science: A New Area of Inquiry'' (Series: Understanding Complex Systems XV). Berlin, Heidelberg: Springer-Verlag.]
* Eve, Raymond, Sara Horsfall and Mary E. Lee (1997). ''Chaos, Complexity and Sociology: Myths, Models, and Theories.'' Thousand Oaks, CA: Sage Publications.
* Jenks, Chris and John Smith (2006). ''Qualitative Complexity: Ecology, Cognitive Processes and the Re-Emergence of Structures in Post-Humanist Social Theory.'' New York, NY: Routledge.
* Kiel, L. Douglas (ed.) (2008). [http://www.eolss.net/ebooks/Sample%20Chapters/C15/E1-29.pdf ''Knowledge Management, Organizational Intelligence, Learning and Complexity.'' UNESCO (EOLSS): Paris, France.]
* Kiel, L. Douglas and Euel Elliott (eds.) (1997). ''Chaos Theory in the Social Sciences: Foundations and Applications.'' The University of Michigan Press: Ann Arbor, MI.
* Leydesdorff, Loet (2001). ''A Sociological Theory of Communication: The Self-Organization of the Knowledge-Based Society''. Parkland, FL: Universal Publishers.
* John Urry (sociologist) (2005). "The Complexity Turn." ''Theory, Culture and Society'', 22(5): 1–14.

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=21851 什么是人工社会？]
::人工社会 Artificial society 是用于社会分析中计算机模拟的基于特定主体的计算模型。它主要涉及复杂系统 Complex Systems、涌现 emergence、蒙特卡洛方法 the Monte Carlo method、计算社会学 computational sociology、多主体系统 Multi-agent system 和演化编程 evolutionary programming 等主题。

===课程推荐===
*[https://campus.swarma.org/course/3059 李红刚：社会经济系统复杂性研究]
::在本课程中，主要讲解了经济金融系统复杂性的独特表现以及经济金融系统复杂性研究的思维：从均衡状态带到历史过程；经济复杂系统研究的主要方法：复杂网络、多主体建模模拟方法、真人行为实验等等，并简要介绍了经济复杂系统研究的典型工作。

===文章推荐===
*[https://pattern.swarma.org/paper?id=44cb8cd0-4ed5-11ea-bd78-0242ac1a0005 复杂性与经济]
::在研究了两个世纪的均衡（不需要进一步行为调整的静态模式）之后，经济学家开始研究经济中结构的普遍出现和模式的展开。从失衡形态来看，经济模式有时会简化为标准经济学的简单静态均衡。更多的时候，它们在不断变化，表现出永恒的新奇行为和新出现的现象。复杂性将经济描绘成依赖于过程的、有机的和不断发展的，而不是确定性、可预测性和机械性的。

----
本中文词条由18621066378、[[用户:Jie|Jie]]参与编译，SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:复杂系统理论]]
[[Category:社会学理论]]
[[Category:社会学术语]]

社会复杂性

2021-09-20T11:02:46Z

SyouTK：/* 另见 */

{{#seo:
|keywords=社会复杂性，复杂性，网络
|description=社会复杂性，自组织系统
}}
在社会学中，'''社会复杂性 social complexity'''是用于分析社会的概念性框架工具，科学中关于复杂性的当代定义与系统理论息息相关，而其研究的现象中包含了众多部分，这些部分之间又存在许多可能性的联系。同时，复杂和简单是相对存在的，并会随着时间而改变的。<ref>Waldrop, M. Mitchell (1992.) ''Complexity: The Emerging Science at the Edge of Order and Chaos.'' New York, NY: Simon & Schuster.</ref>

在社会学领域中，“复杂性”术语的当前用法，通常是将社会理论称作复杂适应性系统。然而，贯穿社会思想的整个历史发展进程和社会变迁的研究发现，主要反复出现的却是社会复杂性及其表现的特征。<ref name="CCS-MMT">Eve, Raymond, Sara Horsfall and Mary E. Lee (eds.) (1997). ''Chaos, Complexity and Sociology: Myths, Models, and Theories.'' Thousand Oaks, CA: Sage Publications.</ref>社会学理论的早期奠基者，例如费迪南德·托尼斯 FerdinandTönnies，埃米尔·杜尔克海姆 ÉmileDurkheim，马克斯·韦伯 Max Weber，维尔弗雷多·帕累托 Vilfredo Pareto和乔治·西梅尔 Georg Simmel，都验证过社会交往交换程度呈指数增长，且其相互关联性持续上升这一现象。社会关系中的互联性和社会内部涌现的全新属性，在社会学多个领域的理论思考中都受到了重视。<ref name="AGid-79">Giddens, Anthony (1979). ''Central problems in Social Theory: Action, Structure and Contradiction in Social Analysis.'' London: Macmillan.</ref>社会复杂性作为一种理论工具，是微观和宏观社会现象之间联系的基础，为后期的假设形成提供了中观或中程（又称中层）的理论平台。<ref>Freese, Lee (1980). "Formal Theorizing." ''Annual Review of Sociology'', 6: 187–212 (August 1980).</ref><ref>Cohen, B. P. (1989). ''Developing sociological knowledge: theory and method'' (2nd ed.). Chicago: Nelson–Hall.</ref>从方法上讲，社会复杂性这一特征是无关乎于理论的，这意味着无论是地方性（局部）或全球性（全局）社会学研究都将适用。<ref name="CCS-MMT" />

==理论背景==
[[文件:Penrose tiling.gif|缩略图|右|复杂性插图（Penrose平铺分形）]]
美国社会学家塔尔科特·帕森斯 Talcott Parsons在他早期（1937年）关于行为理论的研究中，接手开展了上述早期创始人的工作。<ref name="Parsons-a">Parsons, Talcott ([1937] 1949). ''The Structure of Social Action: A Study in Social Theory with Special Reference to a Group of European Writers''. New York, NY: The Free Press.</ref>到1951年，帕森斯 Parsons便坚定地将这些早期的想法融入正式的系统理论领域中，并写进了他的书《社会系统》中去。<ref name="Parsons-b">Parsons, Talcott (1951). ''The Social System''. New York, NY: The Free Press</ref>在接下来的几十年中，帕森斯 Parsons的学生罗伯特·K·默顿 Robert K. Merton和其他同行在关于中层（中程）理论，社会结构与能动性的讨论中，将一般系统思维与社会系统理论进一步发展之间的这种协同作用进行了更深入的推进。同一时期（自1970年代后期到1990年代初期），关于系统特性在其他许多研究领域也进行了讨论。其中，各个子部分之间的强相关性导致观察到的行为被不同地描述为自生系统，自组织系统，动力学系统，湍流系统和混乱系统。所有的这些系统行为模式都源于数学复杂性。直到1990年代初，诸如尼古拉斯·卢曼 Niklas Luhmann<ref>Luhmann, Niklas (1990.) ''Essays on Self-Reference'', New York: Columbia University Press.</ref>等社会理论学者的工作才开始反映出这些复杂行为的主题。

在现代组织和管理研究中发现，在社会和行为科学中，“复杂性”一词最早用于专称复杂系统。<ref>Kiel, L. Douglas (1994). ''Managing Chaos and Complexity in Government: A New Paradigm for Managing Change, Innovation and Organizational Renewal.'' Jossey-Bass: San Francisco.</ref>但是在管理研究中，该术语通常以隐喻而不是定性或定量的理论方式使用。<ref name="CCS-MMT" />直到到1990年代中期，社会科学开始向“复杂性转变”<ref name=Urry>Urry, John (2005). "The Complexity Turn." ''Theory, Culture and Society'', 22(5): 1–14.</ref>，因为复杂性科学中通常使用的某些工具同时被纳入社会科学中。到1998年，国际电子期刊《人工社会与社会模拟杂志》创建。在过去的几年中，许多出版物对社会学领域的复杂性理论进行了概述。这一系列工作，还与其他传统理论建立了联系，包括建构主义认识论和现象学，后现代主义和批判现实主义的哲学立场。
===方法论===
从方法上讲，社会复杂性这一特征是无关乎于理论的，这意味着无论是地方性（局部）或全球性（全局）社会学研究都将适用。<ref name="CCS-MMT"/>社会复杂性的想法源于早期社会学家的历史比较方法。显然，这种方法对于发展，定义和完善社会复杂性的理论构造非常重要。由于复杂社会系统包含了许多部分，而且这些部分之间又存在许多可能的关系。因此不同的适用方法在一定程度上取决于不同的分析研究深度<ref>Luhmann, Niklas (1982). ''The Differentiation of Society.'' New York, NY: Columbia University Press.</ref>，再进一步说，便是由研究人员根据研究假设所要求的描述或解释程度来区分。

在地方性（局部）分析中，人种志研究（也称作人类学研究或民族志研究）观察法，参与或非参与观察法，内容分析法和其他定性研究方法可能比较合适。近日，同时适用于地方性（局部）和全球性（全局）的社会学研究法正在开发使用中，它是具有高度复杂的定量研究方法。这样的方法包括（但不限于）分岔图法，网络分析法和非线性建模法；以及包括元胞自动机编程，社会控制论和其他社会仿真在内的计算建模法。

===复杂社交网络分析法===
复杂社交网络分析法用于研究大型复杂社交网络的动态系统（动力学）。其动态网络分析法将网络科学和网络理论中传统的社交网络分析法，链接分析法以及多主体系统结合在一起。<ref>Carley, Kathleen M. (2003), "Dynamic Network Analysis." ''Dynamic Social Network Modeling and Analysis: Workshop Summary and Papers'', Ronald Breiger, Kathleen Carley, and Philippa Pattison (eds.), National Research Council (Committee on Human Factors): Washington, D.C.: 133–145.</ref>通过运用社交网络分析，基于主体的建模，理论物理学和现代数学（尤其是图论和分形几何）中的关键概念和方法，为社会系统的动力学和结构带来了深入见解。通过Duncan Watts，Albert-LászlóBarabási，Nicholas A. Christakis，Kathleen Carley等人的工作，总结出了全新的地方性（局部）社交网络分析计算方法。

通过约翰·乌里 John Urry的工作，加上全球性网络中的学者们对社会学的研究，不断涌现出新的全球性网络分析方法，这些方法同时与曼努埃尔·卡斯特尔 Manuel Castells的工作以及伊曼纽尔·沃勒斯坦 Immanuel Wallerstein的后续工作相关。自1990年代后期以来，Wallerstein越来越多地利用复杂性理论，尤其是Ilya Prigogine的著作。<ref>Barabási, Albert-László (2003). ''Linked: The New Science of Networks.'' Cambridge, MA: Perseus Publishing.</ref><ref>Freeman, Linton C. (2004). ''The Development of Social Network Analysis: A Study in the Sociology of Science.'' Vancouver Canada: Empirical Press.</ref><ref>Watts, Duncan J. (2004). "The New Science of Networks." ''Annual Review of Sociology'', 30: 243–270.</ref>动态社会网络分析与系统思想之外的各种传统方法学相关，包括图论，社会学中的传统社会网络分析和数学社会学。它还通过Duncan Watts和Steven Strogatz的研究与混沌数学和复杂动力学联系在一起，并通过Albert-László Barabási和他在无标度网络上的研究成果发展出分形几何法。

===计算社会学===
计算社会学的发展涉及到以下学者的研究：奈杰尔·吉尔伯特 Nigel Gilbert，克劳斯·G·特罗伊茨 Klaus G.Troitzsch，约书亚·爱泼斯坦 Joshua M.Epstein等。该领域研究的方法的集中包括社会仿真和数据挖掘，它们都是计算社会学的子领域。社会仿真运用计算机创建一个用于研究复杂社会系统的人工实验室；数据挖掘则运用机器智能，在大型、复杂的真实世界数据库中搜索其之间联系的关键点（斑图）。全新的社会人格学方法是计算社会学的一种变体。<ref>Gilbert, Nigel and Klaus G. Troitzsch (2005). ''Simulation for Social Scientists'', 2nd Edition. New York, NY: Open University Press.</ref><ref name=epstein07>Epstein, Joshua M. (2007). ''Generative Social Science: Studies in Agent-Based Computational Modeling''. Princeton, NJ: Princeton University Press.</ref>

计算社会学受到许多微观社会学领域以及系统科学和系统思维的宏观传统的影响。符号互动理论，社会交换理论和理性选择理论的微观影响，以及罗伯特·阿克塞尔罗德 Robert Axelrod等计算政治学家的微观中心思想，共同促进了计算社会学自下而上，基于主体建模方法的发展，进而研究于复杂系统。这就是约书亚·爱泼斯坦 Joshua M. Epstein所称的生成科学。<ref name=epstein07 />其他重要的影响领域包括统计、数学建模和计算机模拟。

===社会控制论===
社会控制论将社会学与二阶控制论和尼古拉斯·卢曼 Niklas Luhmann的工作结合在一起，并结合了复杂性科学的最新成果。在学术研究方面，社会控制论偏重于概念性，弱于方法论或经验实践。<ref>Geyer, Felix and Johannes van der Zouwen (1992). "Sociocybernetics." ''Handbook of Cybernetics'', C.V. Negoita (ed.): 95–124. New York: Marcel Dekker.</ref>社会控制论与社会学内外系统直接相关，特别是在二阶控制论领域。

==应用与分支==
===适用范围===
作为一个中等规模的理论平台，社会复杂性可以应用于任何社会互动或可以观察到这种互动的结果的研究，只需要相关的数据可以用连续或者离散的点来表示即可。关于复杂性科学在社会学中的应用，一个常见的批判问题就是很难获得足够的数据。<ref>Stewart, Peter (2001). "Complexity Theories, Social Theory, and the Question of Social Complexity." ''Philosophy of the Social Sciences'', 31(3): 323–360.</ref>尽管如此，社会复杂性概念的应用以及对这种复杂性的分析已经开始并将继续成为社会学研究的必要研究领域。从儿时的友谊<ref name="CCS-MMT" />和少女怀孕<ref>Lee, Ju-Sung. (2001). "Evolving Drug Networks." [http://www.casos.cs.cmu.edu/ Carnegie Mellon Center for Computational Analysis of Social and Organizational Systems (CASOS)] Conference Presentation (unpublished).</ref>到犯罪学和反恐怖主义，<ref>Carley, Kathleen (2003). "Destabilizing Terrorist Networks." ''Proceedings of the 8th International Command and Control Research and Technology Symposium''. Conference held at the National Defense War College: Washington D.C., Evidence Based Research, Track 3. [http://www.dodccrp.org/events/2003/8th_ICCRTS/pdf/021.pdf (Electronic Publication).]</ref>社会复杂性理论几乎应用于社会学研究的所有方面。

在通信研究和信息计量学领域，自组织系统的概念出现在20世纪90年代中期与科学通信有关的研究中，<ref>Loet Leydesdorff|Leydesdorff, Loet (1995). ''The Challenge of Scientometrics: The development, measurement, and self-organization of scientific communications''. Leiden: DSWO Press, Leiden University.</ref>主要得益于科学计量学，文献计量学，社会语言学都是可以获得离散数据的研究领域，<ref name="CCS-MMT" />社会复杂性也是符号学中使用的一个概念。<ref>Dimitrov, Vladimir and Robert Woog (1997). "Studying Social Complexity: From Soft to Virtual Systems Methodology." [http://www.complex-systems.com/pdf/11-6-5.pdf Complex Systems, 11:(6)].</ref>

在21世纪的第一个十年，随着方法的发展应用领域也在不断增加<ref>Saberi, Mohammad Karim, Alireza Isfandyari-Moghaddam and Sedigheh Mohamadesmaeil (2011). "Web Citations Analysis of the JASSS: the First Ten Years." [http://jasss.soc.surrey.ac.uk/14/4/22.html ''Journal of Artificial Societies and Social Simulation'', 14:(4), 22].</ref>。社会复杂性理论应用于社会研究的各个方面，包括社会合作和公共产品的研究，<ref>Nowak, Martin and Roger Highfield (2011). ''Super Cooperators: Altruism, Evolution, and Why We Need Each Other to Succeed''. New York, NY: Free Press.</ref>利他主义，<ref>Hang, Ye, Fei Tan, Mei Ding, Yongmin Jia and Yefeng Chen (2011). "Sympathy and Punishment: Evolution of Cooperation in Public Goods Game." [http://jasss.soc.surrey.ac.uk/14/4/20.html ''Journal of Artificial Societies and Social Simulation'', 14(4): 20].</ref>投票行为，<ref>Braha, D., & de Aguiar, M. A. (2016). [https://arxiv.org/abs/1610.04406 Voting Contagion]. arXiv preprint arXiv:1610.04406.</ref><ref>Braha, D., & de Aguiar, M. A. (2017). [http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0177970 Voting contagion: Modeling and analysis of a century of U.S. presidential elections]. PLoS ONE 12(5): e0177970. https://doi.org/10.1371/journal.pone.0177970</ref>教育，<ref>Mason, Mark (2008). ''Complexity Theory and the Philosophy of Education''. Hoboken, NJ: Wiley-Blackwell (Educational Philosophy and Theory Special Issues).</ref>全球社会动乱，<ref>Castellani, Brian. (2018). "The Defiance of Global Commitment: A Complex Social Psychology. Routledge complexity in social science series." doi:10.4324/9781351137140.</ref><ref>Braha, Dan. (2012). [http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0048596 "Global Civil Unrest: Contagion, Self-Organization, and Prediction."] PLoS ONE 7(10): e48596. doi:10.1371/journal.pone .0048596.</ref>集体行动和社会运动，<ref>Lohmann Susanne (1994). "Dynamics of Informational Cascades: The Monday Demonstrations in Leipzig, East Germany, 1989–1991," ''World Politics'', 47: 42–101.</ref><ref>Chesters, Graeme and Ian Welsh (2006). ''Complexity and Social Movements: Protest at the Edge of Chaos." London: Routledge (International Library of Sociology).</ref>社会不平等，<ref>Castellani, Brian et al. (2011). "Addressing the U.S. Financial/Housing Crisis: Pareto, Schelling and Social Mobility."[http://cch.ashtabula.kent.edu/publications/Addressing%20the%20U.S.%20Financial%20&%20Housing%20Crisis.pdf Working Paper].</ref>劳动力和失业，<ref>Hedström, Peter and Yvonne Åberg (2011). "Social interaction and youth unemployment." ''Analytical Sociology and Social Mechanisms'', Pierre Demeulenaere (ed.). Cambridge: Cambridge University Press.</ref><ref>Yilmaz, Levent (2011). "Toward Multi-Level, Multi-Theoretical Model Portfolios for Scientific Enterprise Workforce Dynamics." [http://jasss.soc.surrey.ac.uk/14/4/2.html ''Journal of Artificial Societies and Social Simulation'', 14(4): 2.]</ref>经济地理和经济社会学，<ref>Dan Braha, Blake Stacey and Yaneer Bar-Yam. (2011). [http://necsi.edu/affiliates/braha/Journal_Version_SON_Braha.pdf "Corporate Competition: A Self-Organizing Network."] Social Networks, 33(3): 219-230.</ref>政策分析，<ref>Jervis, Robert (1998). ''System Effects: Complexity in Political and Social Life''. Princeton, NJ: Princeton University Press.</ref><ref>Elliott, Euel and L. Douglas Kiel (eds.) (2000). ''Nonlinear Dynamics, Complexity and Public Policy''. Hauppauge NY: Nova Science Publishers.</ref>卫生健康系统，<ref>Brian Castellani, Rajeev Rajaram, J. Galen Buckwalter, Michael Ball and Frederic Hafferty (2012). [https://www.springer.com/public+health/book/978-3-319-09733-6 "Place and Health as Complex Systems: A Case Study and Empirical Test"]. ''SpringerBriefs in Public Health.''</ref>创新和社会变革<ref>Leydesdorff, Loet (2006). ''The Knowledge-Based Economy Modeled, Measured, Simulated''. Boca Raton, FL: Universal-Publishers .</ref><ref>Lane, D.; Pumain, D.; Leeuw, S.E. van der; West, G. (eds.) (2009). ''Complexity Perspectives in Innovation and Social Change''. New York, NY: Springer (Methodos Series, Vol. 7).</ref>等等。当前的一个国际科学研究项目，Seshat：全球历史数据库，被明确地设计用来分析从新石器革命到工业革命的社会复杂性的变化。

==另见==
===社会科学===
* 复杂社会
* 复杂性经济学
* 复杂性理论和组织
* 差异化（社会学）
* [[经济物理学]]
* 敬业理论
* 《网络分析和民族志问题》
* 个人信息管理

===一般信息===
* 聚合数据
* [[人工神经网络]]
* 认知复杂性
* 计算复杂性理论
* 双阶段演进
* 进化编程
* [[博弈论]]
* 类属-案例复合体
* 多智能体系统
* 系统学

==参考资料==
{{Reflist|35em}}

==延伸阅读==
* Byrne, David (1998). ''Complexity Theory and the Social Sciences.'' London: Routledge.
* Byrne, D., & Callaghan, G. (2013). Complexity theory and the social sciences: The state of the art. Routledge.
* Castellani, Brian and Frederic William Hafferty (2009). [https://www.springer.com/us/book/9783540884613 ''Sociology and Complexity Science: A New Area of Inquiry'' (Series: Understanding Complex Systems XV). Berlin, Heidelberg: Springer-Verlag.]
* Eve, Raymond, Sara Horsfall and Mary E. Lee (1997). ''Chaos, Complexity and Sociology: Myths, Models, and Theories.'' Thousand Oaks, CA: Sage Publications.
* Jenks, Chris and John Smith (2006). ''Qualitative Complexity: Ecology, Cognitive Processes and the Re-Emergence of Structures in Post-Humanist Social Theory.'' New York, NY: Routledge.
* Kiel, L. Douglas (ed.) (2008). [http://www.eolss.net/ebooks/Sample%20Chapters/C15/E1-29.pdf ''Knowledge Management, Organizational Intelligence, Learning and Complexity.'' UNESCO (EOLSS): Paris, France.]
* Kiel, L. Douglas and Euel Elliott (eds.) (1997). ''Chaos Theory in the Social Sciences: Foundations and Applications.'' The University of Michigan Press: Ann Arbor, MI.
* Leydesdorff, Loet (2001). ''A Sociological Theory of Communication: The Self-Organization of the Knowledge-Based Society''. Parkland, FL: Universal Publishers.
* John Urry (sociologist) (2005). "The Complexity Turn." ''Theory, Culture and Society'', 22(5): 1–14.

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=21851 什么是人工社会？]
::人工社会 Artificial society 是用于社会分析中计算机模拟的基于特定主体的计算模型。它主要涉及复杂系统 Complex Systems、涌现 emergence、蒙特卡洛方法 the Monte Carlo method、计算社会学 computational sociology、多主体系统 Multi-agent system 和演化编程 evolutionary programming 等主题。

===课程推荐===
*[https://campus.swarma.org/course/3059 李红刚：社会经济系统复杂性研究]
::在本课程中，主要讲解了经济金融系统复杂性的独特表现以及经济金融系统复杂性研究的思维：从均衡状态带到历史过程；经济复杂系统研究的主要方法：复杂网络、多主体建模模拟方法、真人行为实验等等，并简要介绍了经济复杂系统研究的典型工作。

===文章推荐===
*[https://pattern.swarma.org/paper?id=44cb8cd0-4ed5-11ea-bd78-0242ac1a0005 复杂性与经济]
::在研究了两个世纪的均衡（不需要进一步行为调整的静态模式）之后，经济学家开始研究经济中结构的普遍出现和模式的展开。从失衡形态来看，经济模式有时会简化为标准经济学的简单静态均衡。更多的时候，它们在不断变化，表现出永恒的新奇行为和新出现的现象。复杂性将经济描绘成依赖于过程的、有机的和不断发展的，而不是确定性、可预测性和机械性的。

----
本中文词条由18621066378、[[用户:Jie|Jie]]参与编译，SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:复杂系统理论]]
[[Category:社会学理论]]
[[Category:社会学术语]]

社会复杂性

2021-09-20T10:54:59Z

SyouTK：/* 计算社会学 */

{{#seo:
|keywords=社会复杂性，复杂性，网络
|description=社会复杂性，自组织系统
}}
在社会学中，'''社会复杂性 social complexity'''是用于分析社会的概念性框架工具，科学中关于复杂性的当代定义与系统理论息息相关，而其研究的现象中包含了众多部分，这些部分之间又存在许多可能性的联系。同时，复杂和简单是相对存在的，并会随着时间而改变的。<ref>Waldrop, M. Mitchell (1992.) ''Complexity: The Emerging Science at the Edge of Order and Chaos.'' New York, NY: Simon & Schuster.</ref>

在社会学领域中，“复杂性”术语的当前用法，通常是将社会理论称作复杂适应性系统。然而，贯穿社会思想的整个历史发展进程和社会变迁的研究发现，主要反复出现的却是社会复杂性及其表现的特征。<ref name="CCS-MMT">Eve, Raymond, Sara Horsfall and Mary E. Lee (eds.) (1997). ''Chaos, Complexity and Sociology: Myths, Models, and Theories.'' Thousand Oaks, CA: Sage Publications.</ref>社会学理论的早期奠基者，例如费迪南德·托尼斯 FerdinandTönnies，埃米尔·杜尔克海姆 ÉmileDurkheim，马克斯·韦伯 Max Weber，维尔弗雷多·帕累托 Vilfredo Pareto和乔治·西梅尔 Georg Simmel，都验证过社会交往交换程度呈指数增长，且其相互关联性持续上升这一现象。社会关系中的互联性和社会内部涌现的全新属性，在社会学多个领域的理论思考中都受到了重视。<ref name="AGid-79">Giddens, Anthony (1979). ''Central problems in Social Theory: Action, Structure and Contradiction in Social Analysis.'' London: Macmillan.</ref>社会复杂性作为一种理论工具，是微观和宏观社会现象之间联系的基础，为后期的假设形成提供了中观或中程（又称中层）的理论平台。<ref>Freese, Lee (1980). "Formal Theorizing." ''Annual Review of Sociology'', 6: 187–212 (August 1980).</ref><ref>Cohen, B. P. (1989). ''Developing sociological knowledge: theory and method'' (2nd ed.). Chicago: Nelson–Hall.</ref>从方法上讲，社会复杂性这一特征是无关乎于理论的，这意味着无论是地方性（局部）或全球性（全局）社会学研究都将适用。<ref name="CCS-MMT" />

==理论背景==
[[文件:Penrose tiling.gif|缩略图|右|复杂性插图（Penrose平铺分形）]]
美国社会学家塔尔科特·帕森斯 Talcott Parsons在他早期（1937年）关于行为理论的研究中，接手开展了上述早期创始人的工作。<ref name="Parsons-a">Parsons, Talcott ([1937] 1949). ''The Structure of Social Action: A Study in Social Theory with Special Reference to a Group of European Writers''. New York, NY: The Free Press.</ref>到1951年，帕森斯 Parsons便坚定地将这些早期的想法融入正式的系统理论领域中，并写进了他的书《社会系统》中去。<ref name="Parsons-b">Parsons, Talcott (1951). ''The Social System''. New York, NY: The Free Press</ref>在接下来的几十年中，帕森斯 Parsons的学生罗伯特·K·默顿 Robert K. Merton和其他同行在关于中层（中程）理论，社会结构与能动性的讨论中，将一般系统思维与社会系统理论进一步发展之间的这种协同作用进行了更深入的推进。同一时期（自1970年代后期到1990年代初期），关于系统特性在其他许多研究领域也进行了讨论。其中，各个子部分之间的强相关性导致观察到的行为被不同地描述为自生系统，自组织系统，动力学系统，湍流系统和混乱系统。所有的这些系统行为模式都源于数学复杂性。直到1990年代初，诸如尼古拉斯·卢曼 Niklas Luhmann<ref>Luhmann, Niklas (1990.) ''Essays on Self-Reference'', New York: Columbia University Press.</ref>等社会理论学者的工作才开始反映出这些复杂行为的主题。

在现代组织和管理研究中发现，在社会和行为科学中，“复杂性”一词最早用于专称复杂系统。<ref>Kiel, L. Douglas (1994). ''Managing Chaos and Complexity in Government: A New Paradigm for Managing Change, Innovation and Organizational Renewal.'' Jossey-Bass: San Francisco.</ref>但是在管理研究中，该术语通常以隐喻而不是定性或定量的理论方式使用。<ref name="CCS-MMT" />直到到1990年代中期，社会科学开始向“复杂性转变”<ref name=Urry>Urry, John (2005). "The Complexity Turn." ''Theory, Culture and Society'', 22(5): 1–14.</ref>，因为复杂性科学中通常使用的某些工具同时被纳入社会科学中。到1998年，国际电子期刊《人工社会与社会模拟杂志》创建。在过去的几年中，许多出版物对社会学领域的复杂性理论进行了概述。这一系列工作，还与其他传统理论建立了联系，包括建构主义认识论和现象学，后现代主义和批判现实主义的哲学立场。
===方法论===
从方法上讲，社会复杂性这一特征是无关乎于理论的，这意味着无论是地方性（局部）或全球性（全局）社会学研究都将适用。<ref name="CCS-MMT"/>社会复杂性的想法源于早期社会学家的历史比较方法。显然，这种方法对于发展，定义和完善社会复杂性的理论构造非常重要。由于复杂社会系统包含了许多部分，而且这些部分之间又存在许多可能的关系。因此不同的适用方法在一定程度上取决于不同的分析研究深度<ref>Luhmann, Niklas (1982). ''The Differentiation of Society.'' New York, NY: Columbia University Press.</ref>，再进一步说，便是由研究人员根据研究假设所要求的描述或解释程度来区分。

在地方性（局部）分析中，人种志研究（也称作人类学研究或民族志研究）观察法，参与或非参与观察法，内容分析法和其他定性研究方法可能比较合适。近日，同时适用于地方性（局部）和全球性（全局）的社会学研究法正在开发使用中，它是具有高度复杂的定量研究方法。这样的方法包括（但不限于）分岔图法，网络分析法和非线性建模法；以及包括元胞自动机编程，社会控制论和其他社会仿真在内的计算建模法。

===复杂社交网络分析法===
复杂社交网络分析法用于研究大型复杂社交网络的动态系统（动力学）。其动态网络分析法将网络科学和网络理论中传统的社交网络分析法，链接分析法以及多主体系统结合在一起。<ref>Carley, Kathleen M. (2003), "Dynamic Network Analysis." ''Dynamic Social Network Modeling and Analysis: Workshop Summary and Papers'', Ronald Breiger, Kathleen Carley, and Philippa Pattison (eds.), National Research Council (Committee on Human Factors): Washington, D.C.: 133–145.</ref>通过运用社交网络分析，基于主体的建模，理论物理学和现代数学（尤其是图论和分形几何）中的关键概念和方法，为社会系统的动力学和结构带来了深入见解。通过Duncan Watts，Albert-LászlóBarabási，Nicholas A. Christakis，Kathleen Carley等人的工作，总结出了全新的地方性（局部）社交网络分析计算方法。

通过约翰·乌里 John Urry的工作，加上全球性网络中的学者们对社会学的研究，不断涌现出新的全球性网络分析方法，这些方法同时与曼努埃尔·卡斯特尔 Manuel Castells的工作以及伊曼纽尔·沃勒斯坦 Immanuel Wallerstein的后续工作相关。自1990年代后期以来，Wallerstein越来越多地利用复杂性理论，尤其是Ilya Prigogine的著作。<ref>Barabási, Albert-László (2003). ''Linked: The New Science of Networks.'' Cambridge, MA: Perseus Publishing.</ref><ref>Freeman, Linton C. (2004). ''The Development of Social Network Analysis: A Study in the Sociology of Science.'' Vancouver Canada: Empirical Press.</ref><ref>Watts, Duncan J. (2004). "The New Science of Networks." ''Annual Review of Sociology'', 30: 243–270.</ref>动态社会网络分析与系统思想之外的各种传统方法学相关，包括图论，社会学中的传统社会网络分析和数学社会学。它还通过Duncan Watts和Steven Strogatz的研究与混沌数学和复杂动力学联系在一起，并通过Albert-László Barabási和他在无标度网络上的研究成果发展出分形几何法。

===计算社会学===
计算社会学的发展涉及到以下学者的研究：奈杰尔·吉尔伯特 Nigel Gilbert，克劳斯·G·特罗伊茨 Klaus G.Troitzsch，约书亚·爱泼斯坦 Joshua M.Epstein等。该领域研究的方法的集中包括社会仿真和数据挖掘，它们都是计算社会学的子领域。社会仿真运用计算机创建一个用于研究复杂社会系统的人工实验室；数据挖掘则运用机器智能，在大型、复杂的真实世界数据库中搜索其之间联系的关键点（斑图）。全新的社会人格学方法是计算社会学的一种变体。<ref>Gilbert, Nigel and Klaus G. Troitzsch (2005). ''Simulation for Social Scientists'', 2nd Edition. New York, NY: Open University Press.</ref><ref name=epstein07>Epstein, Joshua M. (2007). ''Generative Social Science: Studies in Agent-Based Computational Modeling''. Princeton, NJ: Princeton University Press.</ref>

计算社会学受到许多微观社会学领域以及系统科学和系统思维的宏观传统的影响。符号互动理论，社会交换理论和理性选择理论的微观影响，以及罗伯特·阿克塞尔罗德 Robert Axelrod等计算政治学家的微观中心思想，共同促进了计算社会学自下而上，基于主体建模方法的发展，进而研究于复杂系统。这就是约书亚·爱泼斯坦 Joshua M. Epstein所称的生成科学。<ref name=epstein07 />其他重要的影响领域包括统计、数学建模和计算机模拟。

===社会控制论===
社会控制论将社会学与二阶控制论和尼古拉斯·卢曼 Niklas Luhmann的工作结合在一起，并结合了复杂性科学的最新成果。在学术研究方面，社会控制论偏重于概念性，弱于方法论或经验实践。<ref>Geyer, Felix and Johannes van der Zouwen (1992). "Sociocybernetics." ''Handbook of Cybernetics'', C.V. Negoita (ed.): 95–124. New York: Marcel Dekker.</ref>社会控制论与社会学内外系统直接相关，特别是在二阶控制论领域。

==应用与分支==
===适用范围===
作为一个中等规模的理论平台，社会复杂性可以应用于任何社会互动或可以观察到这种互动的结果的研究，只需要相关的数据可以用连续或者离散的点来表示即可。关于复杂性科学在社会学中的应用，一个常见的批判问题就是很难获得足够的数据。<ref>Stewart, Peter (2001). "Complexity Theories, Social Theory, and the Question of Social Complexity." ''Philosophy of the Social Sciences'', 31(3): 323–360.</ref>尽管如此，社会复杂性概念的应用以及对这种复杂性的分析已经开始并将继续成为社会学研究的必要研究领域。从儿时的友谊<ref name="CCS-MMT" />和少女怀孕<ref>Lee, Ju-Sung. (2001). "Evolving Drug Networks." [http://www.casos.cs.cmu.edu/ Carnegie Mellon Center for Computational Analysis of Social and Organizational Systems (CASOS)] Conference Presentation (unpublished).</ref>到犯罪学和反恐怖主义，<ref>Carley, Kathleen (2003). "Destabilizing Terrorist Networks." ''Proceedings of the 8th International Command and Control Research and Technology Symposium''. Conference held at the National Defense War College: Washington D.C., Evidence Based Research, Track 3. [http://www.dodccrp.org/events/2003/8th_ICCRTS/pdf/021.pdf (Electronic Publication).]</ref>社会复杂性理论几乎应用于社会学研究的所有方面。

在通信研究和信息计量学领域，自组织系统的概念出现在20世纪90年代中期与科学通信有关的研究中，<ref>Loet Leydesdorff|Leydesdorff, Loet (1995). ''The Challenge of Scientometrics: The development, measurement, and self-organization of scientific communications''. Leiden: DSWO Press, Leiden University.</ref>主要得益于科学计量学，文献计量学，社会语言学都是可以获得离散数据的研究领域，<ref name="CCS-MMT" />社会复杂性也是符号学中使用的一个概念。<ref>Dimitrov, Vladimir and Robert Woog (1997). "Studying Social Complexity: From Soft to Virtual Systems Methodology." [http://www.complex-systems.com/pdf/11-6-5.pdf Complex Systems, 11:(6)].</ref>

在21世纪的第一个十年，随着方法的发展应用领域也在不断增加<ref>Saberi, Mohammad Karim, Alireza Isfandyari-Moghaddam and Sedigheh Mohamadesmaeil (2011). "Web Citations Analysis of the JASSS: the First Ten Years." [http://jasss.soc.surrey.ac.uk/14/4/22.html ''Journal of Artificial Societies and Social Simulation'', 14:(4), 22].</ref>。社会复杂性理论应用于社会研究的各个方面，包括社会合作和公共产品的研究，<ref>Nowak, Martin and Roger Highfield (2011). ''Super Cooperators: Altruism, Evolution, and Why We Need Each Other to Succeed''. New York, NY: Free Press.</ref>利他主义，<ref>Hang, Ye, Fei Tan, Mei Ding, Yongmin Jia and Yefeng Chen (2011). "Sympathy and Punishment: Evolution of Cooperation in Public Goods Game." [http://jasss.soc.surrey.ac.uk/14/4/20.html ''Journal of Artificial Societies and Social Simulation'', 14(4): 20].</ref>投票行为，<ref>Braha, D., & de Aguiar, M. A. (2016). [https://arxiv.org/abs/1610.04406 Voting Contagion]. arXiv preprint arXiv:1610.04406.</ref><ref>Braha, D., & de Aguiar, M. A. (2017). [http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0177970 Voting contagion: Modeling and analysis of a century of U.S. presidential elections]. PLoS ONE 12(5): e0177970. https://doi.org/10.1371/journal.pone.0177970</ref>教育，<ref>Mason, Mark (2008). ''Complexity Theory and the Philosophy of Education''. Hoboken, NJ: Wiley-Blackwell (Educational Philosophy and Theory Special Issues).</ref>全球社会动乱，<ref>Castellani, Brian. (2018). "The Defiance of Global Commitment: A Complex Social Psychology. Routledge complexity in social science series." doi:10.4324/9781351137140.</ref><ref>Braha, Dan. (2012). [http://www.plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0048596 "Global Civil Unrest: Contagion, Self-Organization, and Prediction."] PLoS ONE 7(10): e48596. doi:10.1371/journal.pone .0048596.</ref>集体行动和社会运动，<ref>Lohmann Susanne (1994). "Dynamics of Informational Cascades: The Monday Demonstrations in Leipzig, East Germany, 1989–1991," ''World Politics'', 47: 42–101.</ref><ref>Chesters, Graeme and Ian Welsh (2006). ''Complexity and Social Movements: Protest at the Edge of Chaos." London: Routledge (International Library of Sociology).</ref>社会不平等，<ref>Castellani, Brian et al. (2011). "Addressing the U.S. Financial/Housing Crisis: Pareto, Schelling and Social Mobility."[http://cch.ashtabula.kent.edu/publications/Addressing%20the%20U.S.%20Financial%20&%20Housing%20Crisis.pdf Working Paper].</ref>劳动力和失业，<ref>Hedström, Peter and Yvonne Åberg (2011). "Social interaction and youth unemployment." ''Analytical Sociology and Social Mechanisms'', Pierre Demeulenaere (ed.). Cambridge: Cambridge University Press.</ref><ref>Yilmaz, Levent (2011). "Toward Multi-Level, Multi-Theoretical Model Portfolios for Scientific Enterprise Workforce Dynamics." [http://jasss.soc.surrey.ac.uk/14/4/2.html ''Journal of Artificial Societies and Social Simulation'', 14(4): 2.]</ref>经济地理和经济社会学，<ref>Dan Braha, Blake Stacey and Yaneer Bar-Yam. (2011). [http://necsi.edu/affiliates/braha/Journal_Version_SON_Braha.pdf "Corporate Competition: A Self-Organizing Network."] Social Networks, 33(3): 219-230.</ref>政策分析，<ref>Jervis, Robert (1998). ''System Effects: Complexity in Political and Social Life''. Princeton, NJ: Princeton University Press.</ref><ref>Elliott, Euel and L. Douglas Kiel (eds.) (2000). ''Nonlinear Dynamics, Complexity and Public Policy''. Hauppauge NY: Nova Science Publishers.</ref>卫生健康系统，<ref>Brian Castellani, Rajeev Rajaram, J. Galen Buckwalter, Michael Ball and Frederic Hafferty (2012). [https://www.springer.com/public+health/book/978-3-319-09733-6 "Place and Health as Complex Systems: A Case Study and Empirical Test"]. ''SpringerBriefs in Public Health.''</ref>创新和社会变革<ref>Leydesdorff, Loet (2006). ''The Knowledge-Based Economy Modeled, Measured, Simulated''. Boca Raton, FL: Universal-Publishers .</ref><ref>Lane, D.; Pumain, D.; Leeuw, S.E. van der; West, G. (eds.) (2009). ''Complexity Perspectives in Innovation and Social Change''. New York, NY: Springer (Methodos Series, Vol. 7).</ref>等等。当前的一个国际科学研究项目，Seshat：全球历史数据库，被明确地设计用来分析从新石器革命到工业革命的社会复杂性的变化。

==另见==
===社会科学===
* 复杂社会
* 复杂性经济学
* 复杂性理论和组织
* 差异化（社会学）
* 经济物理学
* 敬业理论
* 《网络分析和民族志问题》
* 个人信息管理

===一般信息===
* 聚合数据
* 人工神经网络
* 认知复杂性
* 计算复杂性理论
* 双阶段演进
* 进化编程
* 博弈论
* 类属-案例复合体
* 多智能体系统
* 系统学

==参考资料==
{{Reflist|35em}}

==延伸阅读==
* Byrne, David (1998). ''Complexity Theory and the Social Sciences.'' London: Routledge.
* Byrne, D., & Callaghan, G. (2013). Complexity theory and the social sciences: The state of the art. Routledge.
* Castellani, Brian and Frederic William Hafferty (2009). [https://www.springer.com/us/book/9783540884613 ''Sociology and Complexity Science: A New Area of Inquiry'' (Series: Understanding Complex Systems XV). Berlin, Heidelberg: Springer-Verlag.]
* Eve, Raymond, Sara Horsfall and Mary E. Lee (1997). ''Chaos, Complexity and Sociology: Myths, Models, and Theories.'' Thousand Oaks, CA: Sage Publications.
* Jenks, Chris and John Smith (2006). ''Qualitative Complexity: Ecology, Cognitive Processes and the Re-Emergence of Structures in Post-Humanist Social Theory.'' New York, NY: Routledge.
* Kiel, L. Douglas (ed.) (2008). [http://www.eolss.net/ebooks/Sample%20Chapters/C15/E1-29.pdf ''Knowledge Management, Organizational Intelligence, Learning and Complexity.'' UNESCO (EOLSS): Paris, France.]
* Kiel, L. Douglas and Euel Elliott (eds.) (1997). ''Chaos Theory in the Social Sciences: Foundations and Applications.'' The University of Michigan Press: Ann Arbor, MI.
* Leydesdorff, Loet (2001). ''A Sociological Theory of Communication: The Self-Organization of the Knowledge-Based Society''. Parkland, FL: Universal Publishers.
* John Urry (sociologist) (2005). "The Complexity Turn." ''Theory, Culture and Society'', 22(5): 1–14.

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=21851 什么是人工社会？]
::人工社会 Artificial society 是用于社会分析中计算机模拟的基于特定主体的计算模型。它主要涉及复杂系统 Complex Systems、涌现 emergence、蒙特卡洛方法 the Monte Carlo method、计算社会学 computational sociology、多主体系统 Multi-agent system 和演化编程 evolutionary programming 等主题。

===课程推荐===
*[https://campus.swarma.org/course/3059 李红刚：社会经济系统复杂性研究]
::在本课程中，主要讲解了经济金融系统复杂性的独特表现以及经济金融系统复杂性研究的思维：从均衡状态带到历史过程；经济复杂系统研究的主要方法：复杂网络、多主体建模模拟方法、真人行为实验等等，并简要介绍了经济复杂系统研究的典型工作。

===文章推荐===
*[https://pattern.swarma.org/paper?id=44cb8cd0-4ed5-11ea-bd78-0242ac1a0005 复杂性与经济]
::在研究了两个世纪的均衡（不需要进一步行为调整的静态模式）之后，经济学家开始研究经济中结构的普遍出现和模式的展开。从失衡形态来看，经济模式有时会简化为标准经济学的简单静态均衡。更多的时候，它们在不断变化，表现出永恒的新奇行为和新出现的现象。复杂性将经济描绘成依赖于过程的、有机的和不断发展的，而不是确定性、可预测性和机械性的。

----
本中文词条由18621066378、[[用户:Jie|Jie]]参与编译，SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:复杂系统理论]]
[[Category:社会学理论]]
[[Category:社会学术语]]

技术奇点

2021-09-18T02:53:04Z

SyouTK：/* 课程推荐 */

{{#seo:
|keywords=奇点，智能
|description=技术奇点，人工智能
}}
'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5*1021字节）。

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1*1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3*1037碱基对，相当于1.325*1037字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==
在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=18631 奇点临近？Nature人类行为：文化演化不比生物更快]
::人类文化与生物种群演化速度哪个更快？答案也许出乎意料：它们几乎是同速。2 月在 Nature Human Behaviour 发表的一篇论文揭示，文化和生物进化的过程和模式具有深度统一性。研究者通过使用时间序列分析法，得出大部分演化由某种稳定力或方向力在推动，并分别在一定程度上调节着不同性状的演化速率。通过文化选择，很多人工文化品的特征演变可以由“最优转移模型”来解释，而该模型又基于人类审美偏好中已知的种种心理偏差。

*[https://swarma.org/?p=14637 芝加哥-50℃极寒、加州大火、北京无雪，气候异常可能是技术奇点的先兆！]
::科技真的是把双刃剑，当我们开发通用人工智能的时候，很可能由于智能爆炸需要不断的从环境中吸取能量并排出负熵，从而导致环境的崩溃。奇点来临意味着什么，我给出的答案是，意味着超级人工智能的出现和环境的崩溃同时发生。问题的关键，在于科技创新、GDP、社会熵这几个变量与人口数量都遵循相同的规模法则。

===课程推荐===
*[https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
::什么是技术奇点呢？各方看法不一。有人将奇点定义为技术指数爆炸的点，而古尔德的定义则更加深入人心。他认为奇点就是超越人类的人工智能诞生的时刻，因为在这一点上将会产生所谓的“智能爆炸”效应，即人工智能将可以持续地自我进化下去，而不需要人类的干涉。有意思的是，这里面也包含着一个自指的问题，即超级人工智能一旦出现，则按照定义，它必然具备能够创造和自己一样甚至超越自己智能水平的超级人工智能。所以，超级人工智能就是一个临界点，超越它之后，超级人工智能将持续创造出更加智能的机器，这一过程会不断加速永不停息，这就是智能爆炸的含义。为什么这个概念如此重要，我们的世界又遇到了什么问题，这背后有怎样的原因？就在张江老师的2018 年的跨年演讲中。

===视频推荐===
*[https://www.bilibili.com/video/BV1e4411B77U?from=search&seid=11714956053165550675&spm_id_from=333.337.0.0 技术奇点2029 - AI]

----
本中文词条由[[用户:水流心不竞|水流心不竞]]、[[用户:嘉树|嘉树]]初译，徐培审校，Alchemist、保安队长、AvecSally、Swarma、SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:人工智能哲学]]
[[Category:未来研究]]
[[Category:末世论]]

技术奇点

2021-09-16T13:03:34Z

SyouTK：/* 社会生物进化的下一步 */

{{#seo:
|keywords=奇点，智能
|description=技术奇点，人工智能
}}
'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5*1021字节）。

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1*1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3*1037碱基对，相当于1.325*1037字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==
在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=18631 奇点临近？Nature人类行为：文化演化不比生物更快]
::人类文化与生物种群演化速度哪个更快？答案也许出乎意料：它们几乎是同速。2 月在 Nature Human Behaviour 发表的一篇论文揭示，文化和生物进化的过程和模式具有深度统一性。研究者通过使用时间序列分析法，得出大部分演化由某种稳定力或方向力在推动，并分别在一定程度上调节着不同性状的演化速率。通过文化选择，很多人工文化品的特征演变可以由“最优转移模型”来解释，而该模型又基于人类审美偏好中已知的种种心理偏差。

*[https://swarma.org/?p=14637 芝加哥-50℃极寒、加州大火、北京无雪，气候异常可能是技术奇点的先兆！]
::科技真的是把双刃剑，当我们开发通用人工智能的时候，很可能由于智能爆炸需要不断的从环境中吸取能量并排出负熵，从而导致环境的崩溃。奇点来临意味着什么，我给出的答案是，意味着超级人工智能的出现和环境的崩溃同时发生。问题的关键，在于科技创新、GDP、社会熵这几个变量与人口数量都遵循相同的规模法则。

===课程推荐===
*{https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
::什么是技术奇点呢？各方看法不一。有人将奇点定义为技术指数爆炸的点，而古尔德的定义则更加深入人心。他认为奇点就是超越人类的人工智能诞生的时刻，因为在这一点上将会产生所谓的“智能爆炸”效应，即人工智能将可以持续地自我进化下去，而不需要人类的干涉。有意思的是，这里面也包含着一个自指的问题，即超级人工智能一旦出现，则按照定义，它必然具备能够创造和自己一样甚至超越自己智能水平的超级人工智能。所以，超级人工智能就是一个临界点，超越它之后，超级人工智能将持续创造出更加智能的机器，这一过程会不断加速永不停息，这就是智能爆炸的含义。为什么这个概念如此重要，我们的世界又遇到了什么问题，这背后有怎样的原因？就在张江老师的2018 年的跨年演讲中。

===视频推荐===
*[https://www.bilibili.com/video/BV1e4411B77U?from=search&seid=11714956053165550675&spm_id_from=333.337.0.0 技术奇点2029 - AI]

----
本中文词条由[[用户:水流心不竞|水流心不竞]]、[[用户:嘉树|嘉树]]初译，徐培审校，Alchemist、保安队长、AvecSally、Swarma、SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:人工智能哲学]]
[[Category:未来研究]]
[[Category:末世论]]

技术奇点

2021-09-16T12:10:12Z

SyouTK：/* 社会生物进化的下一步 */

{{#seo:
|keywords=奇点，智能
|description=技术奇点，人工智能
}}
'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5*10的21次幂字节）。

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1*10的19次幂字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3*10的37次幂碱基对，相当于1.325*10的37次幂字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==
在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=18631 奇点临近？Nature人类行为：文化演化不比生物更快]
::人类文化与生物种群演化速度哪个更快？答案也许出乎意料：它们几乎是同速。2 月在 Nature Human Behaviour 发表的一篇论文揭示，文化和生物进化的过程和模式具有深度统一性。研究者通过使用时间序列分析法，得出大部分演化由某种稳定力或方向力在推动，并分别在一定程度上调节着不同性状的演化速率。通过文化选择，很多人工文化品的特征演变可以由“最优转移模型”来解释，而该模型又基于人类审美偏好中已知的种种心理偏差。

*[https://swarma.org/?p=14637 芝加哥-50℃极寒、加州大火、北京无雪，气候异常可能是技术奇点的先兆！]
::科技真的是把双刃剑，当我们开发通用人工智能的时候，很可能由于智能爆炸需要不断的从环境中吸取能量并排出负熵，从而导致环境的崩溃。奇点来临意味着什么，我给出的答案是，意味着超级人工智能的出现和环境的崩溃同时发生。问题的关键，在于科技创新、GDP、社会熵这几个变量与人口数量都遵循相同的规模法则。

===课程推荐===
*{https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
::什么是技术奇点呢？各方看法不一。有人将奇点定义为技术指数爆炸的点，而古尔德的定义则更加深入人心。他认为奇点就是超越人类的人工智能诞生的时刻，因为在这一点上将会产生所谓的“智能爆炸”效应，即人工智能将可以持续地自我进化下去，而不需要人类的干涉。有意思的是，这里面也包含着一个自指的问题，即超级人工智能一旦出现，则按照定义，它必然具备能够创造和自己一样甚至超越自己智能水平的超级人工智能。所以，超级人工智能就是一个临界点，超越它之后，超级人工智能将持续创造出更加智能的机器，这一过程会不断加速永不停息，这就是智能爆炸的含义。为什么这个概念如此重要，我们的世界又遇到了什么问题，这背后有怎样的原因？就在张江老师的2018 年的跨年演讲中。

===视频推荐===
*[https://www.bilibili.com/video/BV1e4411B77U?from=search&seid=11714956053165550675&spm_id_from=333.337.0.0 技术奇点2029 - AI]

----
本中文词条由[[用户:水流心不竞|水流心不竞]]、[[用户:嘉树|嘉树]]初译，徐培审校，Alchemist、保安队长、AvecSally、Swarma、SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:人工智能哲学]]
[[Category:未来研究]]
[[Category:末世论]]

技术奇点

2021-09-16T12:06:13Z

SyouTK：/* 编者推荐 */

{{#seo:
|keywords=奇点，智能
|description=技术奇点，人工智能
}}
'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==
在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

==编者推荐==
===集智文章推荐===
*[https://swarma.org/?p=18631 奇点临近？Nature人类行为：文化演化不比生物更快]
::人类文化与生物种群演化速度哪个更快？答案也许出乎意料：它们几乎是同速。2 月在 Nature Human Behaviour 发表的一篇论文揭示，文化和生物进化的过程和模式具有深度统一性。研究者通过使用时间序列分析法，得出大部分演化由某种稳定力或方向力在推动，并分别在一定程度上调节着不同性状的演化速率。通过文化选择，很多人工文化品的特征演变可以由“最优转移模型”来解释，而该模型又基于人类审美偏好中已知的种种心理偏差。

*[https://swarma.org/?p=14637 芝加哥-50℃极寒、加州大火、北京无雪，气候异常可能是技术奇点的先兆！]
::科技真的是把双刃剑，当我们开发通用人工智能的时候，很可能由于智能爆炸需要不断的从环境中吸取能量并排出负熵，从而导致环境的崩溃。奇点来临意味着什么，我给出的答案是，意味着超级人工智能的出现和环境的崩溃同时发生。问题的关键，在于科技创新、GDP、社会熵这几个变量与人口数量都遵循相同的规模法则。

===课程推荐===
*{https://campus.swarma.org/course/1389 奇点临近——从颠覆式创新到智能爆炸与环境破坏]
::什么是技术奇点呢？各方看法不一。有人将奇点定义为技术指数爆炸的点，而古尔德的定义则更加深入人心。他认为奇点就是超越人类的人工智能诞生的时刻，因为在这一点上将会产生所谓的“智能爆炸”效应，即人工智能将可以持续地自我进化下去，而不需要人类的干涉。有意思的是，这里面也包含着一个自指的问题，即超级人工智能一旦出现，则按照定义，它必然具备能够创造和自己一样甚至超越自己智能水平的超级人工智能。所以，超级人工智能就是一个临界点，超越它之后，超级人工智能将持续创造出更加智能的机器，这一过程会不断加速永不停息，这就是智能爆炸的含义。为什么这个概念如此重要，我们的世界又遇到了什么问题，这背后有怎样的原因？就在张江老师的2018 年的跨年演讲中。

===视频推荐===
*[https://www.bilibili.com/video/BV1e4411B77U?from=search&seid=11714956053165550675&spm_id_from=333.337.0.0 技术奇点2029 - AI]

----
本中文词条由[[用户:水流心不竞|水流心不竞]]、[[用户:嘉树|嘉树]]初译，徐培审校，Alchemist、保安队长、AvecSally、Swarma、SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:人工智能哲学]]
[[Category:未来研究]]
[[Category:末世论]]

技术奇点

2021-09-16T04:07:56Z

SyouTK：

{{#seo:
|keywords=奇点，智能
|description=技术奇点，人工智能
}}
'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==
在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

==编者推荐==
===集智文章推荐===

===课程推荐===

===文章推荐===

===视频推荐===

----
本中文词条由[[用户:水流心不竞|水流心不竞]]、[[用户:嘉树|嘉树]]初译，徐培审校，Alchemist、保安队长、AvecSally、Swarma、SyouTK编辑，欢迎在讨论页面留言。

'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

[[Category:人工智能哲学]]
[[Category:未来研究]]
[[Category:末世论]]

技术奇点

2021-09-16T03:58:52Z

SyouTK：/* 硬起飞与软起飞 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==
在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:53:44Z

SyouTK：/* 概念史 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=:5/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 88</ref><ref name="technological">Vinge did not actually use the phrase "technological singularity" in the Omni op-ed, but he did use this phrase in the short story collection Threats and Other Promises from 1988, writing in the introduction to his story "The Whirligig of Time" (p. 72): Barring a worldwide catastrophe, I believe that technology will achieve our wildest dreams, and soon. When we raise our own intelligence and that of our creations, we are no longer in a world of human-sized characters. At that point we have fallen into a technological "black hole," a technological singularity.</ref>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”>Solomonoff, R.J. "The Time Scale of Artificial Intelligence: Reflections on Social Effects", Human Systems Management, Vol 5, pp. 149–153, 1985.</ref>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5">Dooling, Richard. Rapture for the Geeks: When AI Outsmarts IQ (2008), p. 89</ref>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture">Joy, Bill (April 2000), "Why the future doesn't need us", Wired Magazine, Viking Adult, vol. 8 no. 4, ISBN 978-0-670-03249-5, archived from the original on 2009-02-05, retrieved 2007-08-07</ref>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode">Episode dated 23 August 2006 at IMDb</ref>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu">Singularity University Archived 2021-02-15 at the Wayback Machine at its official website</ref>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:46:44Z

SyouTK：/* 永生 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |publisher = Alfred A. Knopf |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:46:06Z

SyouTK：/* 永生 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:44:41Z

SyouTK：/* 对人类社会的影响 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=The Humanist |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:43:46Z

SyouTK：/* 不确定性和风险 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法：<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture">"The Uncertain Future". theuncertainfuture.com; a future technology and world-modeling project. Archived from the original on 2019-04-30. Retrieved 2010-08-17.</ref>这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic">"GLOBAL CATASTROPHIC RISKS SURVEY (2008) Technical Report 2008/1 Published by Future of Humanity Institute, Oxford University. Anders Sandberg and Nick Bostrom" (PDF). Archived from the original (PDF) on 2011-05-16.</ref><ref name="nickbostrom">"Existential Risks: Analyzing Human Extinction Scenarios and Related Hazards". nickbostrom.com. Archived from the original on 2011-04-27. Retrieved 2006-01-25.</ref>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=The Independent |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014 }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">Eliezer Yudkowsky: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk]. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ]</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H }}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:35:31Z

SyouTK：/* 危机 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth">Modis, Theodore (2006) "The Singularity Myth" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, February 2006, pp. 104 - 112</ref>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:34:15Z

SyouTK：/* 危机 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus">Dreyfus & Dreyfus 2000, p. xiv: 'The truth is that human intelligence can never be replaced with machine intelligence simply because we are not ourselves "thinking machines" in the sense in which that term is commonly understood.' Hawking (1998): 'Some people say that computers can never show true intelligence whatever that may be. But it seems to me that if very complicated chemical molecules can operate in humans to make them intelligent then equally complicated electronic circuits can also make computers act in an intelligent way. And if they are intelligent they can presumably design computers that have even greater complexity and intelligence.'</ref>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：
::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel">Ford, Martin, The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future Archived 2010-09-06 at the Wayback Machine, Acculant Publishing, 2009, ISBN 978-1-4486-5981-4</ref>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes">Markoff, John (2011-03-04). "Armies of Expensive Lawyers, Replaced by Cheaper Software". The New York Times. Archived from the original on 2021-02-15. Retrieved 2017-02-25.</ref>

Theodore Modis<ref name=:61>Modis, Theodore (2002) "Forecasting the Growth of Complexity and Change" Archived 2021-02-15 at the Wayback Machine, Technological Forecasting & Social Change, 69, No 4, 2002, pp. 377 – 404</ref>和Jonathan Huebner<ref name="technological14">Huebner, Jonathan (2005) "A Possible Declining Trend for Worldwide Innovation" Archived 2015-03-22 at the Wayback Machine, Technological Forecasting & Social Change, October 2005, pp. 980–6</ref>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet">Krazit, Tom. Intel pledges 80 cores in five years Archived 2021-02-15 at the Wayback Machine, CNET News, 26 September 2006.</ref>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>William D. Nordhaus, "Why Growth Will Fall" (a review of Robert J. Gordon, ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, 762 pp., $39.95), ''The New York Review of Books'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers">Myers, PZ, Singularly Silly Singularity, archived from the original on 2009-02-28, retrieved 2009-04-13</ref>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades">Anonymous (18 March 2006), "More blades good", The Economist, London, 378 (8469), p. 85, archived from the original on 10 July 2006, retrieved 12 July 2006</ref>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:24:57Z

SyouTK：/* 算法改进 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015">Yampolskiy, Roman V. "Analysis of types of self-improving software." Artificial General Intelligence. Springer International Publishing, 2015. 384-393.</ref><ref name="ReferenceA">Eliezer Yudkowsky. General Intelligence and Seed AI-Creating Complete Minds Capable of Open-Ended Self-Improvement, 2001</ref>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:21:39Z

SyouTK：

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name=:5>Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:20:38Z

SyouTK：/* 加速变革 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=:5/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:19:20Z

SyouTK：/* 指数增长 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name=:40>Ray Kurzweil, The Singularity is Near, p. 9. Penguin Group, 2005</ref>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name=:41>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005. "So we will be producing about 1026 to 1029 cps of nonbiological computation per year in the early 2030s. This is roughly equal to our estimate for the capacity of all living biological human intelligence ... This state of computation in the early 2030s will not represent the Singularity, however, because it does not yet correspond to a profound expansion of our intelligence. By the mid-2040s, however, that one thousand dollars' worth of computation will be equal to 1026 cps, so the intelligence created per year (at a total cost of about $1012) will be about one billion times more powerful than all human intelligence today. That will indeed represent a profound change, and it is for that reason that I set the date for the Singularity—representing a profound and disruptive transformation in human capability—as 2045."</ref>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:17:03Z

SyouTK：/* 指数增长 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name=:36>Ray Kurzweil, The Age of Spiritual Machines, Viking; 1999, ISBN 978-0-14-028202-3. pp. 30, 32 Archived 2021-02-15 at the Wayback Machine</ref>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name=:37>Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), Science (journal)|Science, 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:13:30Z

SyouTK：/* 速度改进 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=IEEE Spectrum}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:12:39Z

SyouTK：/* 合理性 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI]</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:11:13Z

SyouTK：/* 合理性 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org">"Tech Luminaries Address Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2019-04-30. Retrieved 2011-09-09.</ref><ref name="ieee">"Who's Who In The Singularity – IEEE Spectrum". Spectrum.ieee.org. Archived from the original on 2021-02-15. Retrieved 2011-09-09.</ref><ref name="Allen">Paul Allen: The Singularity Isn't Near, retrieved 2015-04-12</ref>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:09:03Z

SyouTK：/* 速度超智能 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org"/><ref name="ieee"/><ref name="Allen"/>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:07:28Z

SyouTK：/* 非人工智能奇点 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net">Yudkowsky, Eliezer. The Singularity: Three Major Schools Archived 2018-10-01 at the Wayback Machine</ref><ref name="agi-conf">Sandberg, Anders. An overview of models of technological singularity Archived 2011-07-24 at the Wayback Machine</ref>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |doi=10.1007/978-3-662-54033-6_2 |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |doi=10.1002/9781118922590.ch16 |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org"/><ref name="ieee"/><ref name="Allen"/>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:06:06Z

SyouTK：/* 非人工智能奇点 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine">"h+ Magazine | Covering technological, scientific, and cultural trends that are changing human beings in fundamental ways". Hplusmagazine.com. Archived from the original on 2010-12-23. Retrieved 2011-09-09.</ref><ref name="yudkowsky.net"/><ref name="agi-conf"/>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |doi=10.1007/978-3-662-54033-6_2 |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |doi=10.1002/9781118922590.ch16 |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org"/><ref name="ieee"/><ref name="Allen"/>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:05:16Z

SyouTK：/* 超级智能的出现 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine"/><ref name="yudkowsky.net"/><ref name="agi-conf"/>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |doi=10.1007/978-3-662-54033-6_2 |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |doi=10.1002/9781118922590.ch16 |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org"/><ref name="ieee"/><ref name="Allen"/>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:04:12Z

SyouTK：/* 超级智能的出现 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993">Vinge, Vernor. "The Coming Technological Singularity: How to Survive in the Post-Human Era" Archived 2018-04-10 at the Wayback Machine, in Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace, G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref><ref name=:15>Ray Kurzweil, The Singularity is Near, pp. 135–136. Penguin Group, 2005.</ref>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine"/><ref name="yudkowsky.net"/><ref name="agi-conf"/>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |doi=10.1007/978-3-662-54033-6_2 |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |doi=10.1002/9781118922590.ch16 |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org"/><ref name="ieee"/><ref name="Allen"/>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]

技术奇点

2021-09-16T03:02:12Z

SyouTK：/* 背景 */

此词条暂由水流心不竞、嘉树初译，徐培审校，带来阅读不便，请见谅。

'''技术奇点 Technological singularity'''——简称奇点 Singularity<ref>Cadwalladr, Carole (2014). "[https://www.theguardian.com/technology/2014/feb/22/robots-google-ray-kurzweil-terminator-singularity-artificial-intelligence Are the robots about to rise? Google's new director of engineering thinks so…]" ''The Guardian''. Guardian News and Media Limited.</ref>是一个假设的时间点。在该时间点上，技术的增长变得不可控制和不可逆转，从而导致人类文明发生无法预见的变化。<ref>{{cite web |title=Collection of sources defining "singularity" |url=http://www.singularitysymposium.com/definition-of-singularity.html |website=singularitysymposium.com |accessdate=17 April 2019}}</ref><ref name="Singularity hypotheses">{{cite book |author1=Eden, Amnon H. |author2=Moor, James H. |title=Singularity hypotheses: A Scientific and Philosophical Assessment |date=2012 |publisher=Springer |location=Dordrecht |isbn=9783642325601 |pages=1–2}}</ref>根据奇点假说（也被称为智能爆炸 intelligence explosion）最流行的版本：一个可升级的智能体终将进入一种自我完善循环的'''失控反应 runaway reaction'''”。每个新的、更智能的世代将出现得越来越快，导致智能的“爆炸”，并产生一种在实质上远超所有人类智能的超级智能。

第一次在科技领域使用“奇点”这一概念的人是冯·诺依曼 John von Neumann<ref>''The Technological Singularity'' by Murray Shanahan, (MIT Press, 2015), page 233</ref>。Stanislaw Ulam报告了一次与冯·诺依曼的讨论。“围绕技术的加速进步和人类生活模式的改变，这让我们看到了人类历史上一些本质上的奇点。<ref name="Stanislaw Ulam">Ulam, Stanislaw (May 1958). "Tribute to John von Neumann" (PDF). Bulletin of the American Mathematical Society. 64, #3, part 2: 5. Archived (PDF) from the original on 2021-02-15. Retrieved 2018-11-07.</ref>一旦超越了这些奇点，我们所熟知的人类事务就将无法继续下去了”。后来的作者也赞同这一观点。<ref name="Singularity hypotheses" /><ref name="chalmers">{{Cite journal|last=Chalmers|first=David|date=2010|title=The singularity: a philosophical analysis|url=|journal=Journal of Consciousness Studies|volume=17|issue=9–10|pages=7–65|via=}}</ref>

I. J.古德的“智能爆炸”模型预测未来的超级智能将触发一个奇点。<ref name="vinge1993">Vinge, Vernor. [http://mindstalk.net/vinge/vinge-sing.html "The Coming Technological Singularity: How to Survive in the Post-Human Era"], in ''Vision-21: Interdisciplinary Science and Engineering in the Era of Cyberspace'', G. A. Landis, ed., NASA Publication CP-10129, pp. 11–22, 1993.</ref>

“奇点”的概念和术语是由Vernor Vinge在他1993年的文章《即将到来的技术奇点 The Coming Technological Singularity》中得到推广的。他在文中写道，这将标志着人类时代的终结，因为新的超级智能将持续自我升级，并以不可思议的速度在技术上进步。他写道，如果奇点发生在2005年之前或2030年之后，他会感到惊讶。<ref name="vinge1993" />

斯蒂芬·霍金 Stephen Hawking和埃隆·马斯克 Elon Musk等公众人物对完全人工智能（AI）可能导致人类灭绝表示担忧。<ref>{{cite news|last1=Sparkes|first1=Matthew|title=Top scientists call for caution over artificial intelligence|url=https://www.telegraph.co.uk/technology/news/11342200/Top-scientists-call-for-caution-over-artificial-intelligence.html|accessdate=24 April 2015|work=The Daily Telegraph|date=13 January 2015}}</ref><ref>{{cite web|url=https://www.bbc.com/news/technology-30290540|title=Hawking: AI could end human race|date=2 December 2014|publisher=BBC|accessdate=11 November 2017}}</ref>奇点的后果及其对人类的潜在利益或伤害一直存在激烈的争论。

2012年到2013年期间，Nick Bostrom和 Vincent c. Müller对人工智能研究人员进行了四次调查。结果显示，通用人工智能（artificial general intelligence，AGI）在2040年至2050年被成功开发出来的概率估计的中位数为50%。<ref name="newyorker">{{cite news|last1=Khatchadourian|first1=Raffi|title=The Doomsday Invention|url=https://www.newyorker.com/magazine/2015/11/23/doomsday-invention-artificial-intelligence-nick-bostrom|accessdate=31 January 2018|work=The New Yorker|date=16 November 2015}}</ref><ref>Müller, V. C., & Bostrom, N. (2016). "Future progress in artificial intelligence: A survey of expert opinion". In V. C. Müller (ed): ''Fundamental issues of artificial intelligence'' (pp. 555–572). Springer, Berlin. http://philpapers.org/rec/MLLFPI</ref>

==背景==
虽然技术进步一直在加速，但它一直受到人脑基本智力的限制，而根据Paul R. Ehrlich的说法，人类大脑的基本智力在几千年来并没有发生显著变化。<ref name="Paul Ehrlich June 2008">Ehrlich, Paul. [http://www.longnow.org/seminars/02008/jun/27/dominant-animal-human-evolution-and-environment/ The Dominant Animal: Human Evolution and the Environment]</ref>然而，随着计算机和其他技术的日益强大，人类最终有可能制造出一台比人类智能得多的机器。<ref name="businessweek">[http://www.businessweek.com/1999/99_35/b3644021.htm Superbrains born of silicon will change everything.]</ref>

如果一种超人类智能被发明出来，无论是通过人类智能的放大还是通过人工智能，它将带来比现在的人类更强的问题解决和发明创造能力。这种人工智能被称为'''种子人工智能 Seed AI'''。因为如果人工智能的工程能力能够与它的人类创造者相匹敌或超越，那么它就有潜力自主改进自己的软件和硬件，或者设计出更强大的机器。这台能力更强的机器可以继续设计一台能力更强的机器。这种自我递归式改进的迭代可以加速，以至于在物理定律或理论计算设定的任何上限之内发生巨大的质变。据推测，经过多次迭代，这样的人工智能将远远超过人类的认知能力。

==智能爆炸==
智能爆炸是构建'''通用人工智能 artificial general intelligence(AGI)'''的可能结果。在技术奇点实现后不久，AGI将能够进行递归式的自我迭代，从而导致'''人工超级智能 artificial superintelligence(ASI)'''的迅速出现，但其局限性尚不清楚。

1965年，I. J. Good曾推测通用人工智能可能会带来智能爆炸。他对'''超人类机器 superhuman machines'''及其影响进行了推测，如果他们真的被发明出来的话：<ref name=:14>Good, I. J. "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6, 1965. Archived May 1, 2012, at the Wayback Machine</ref>
::让我们把超智能机器定义为一种机器，它可以进行远超无论多么聪明的一个人的所有智力活动。由于机器的设计是一种智力活动，那么一台超智能机器可以设计出更好的机器；那么毫无疑问会出现“智能爆炸”，人类的智能将远远落后。因此，第一台超智能机器是人类所需要的最后一项发明，当然，假设机器足够温顺并能够告诉我们如何控制它们的话。

古德的设想如下：随着计算机能力的增加，人们有可能制造出一台比人类更智能的机器；这种超人的智能拥有比现在人类更强大的问题解决和发明创造的能力。这台超级智能机器随后设计一台功能更强大的机器，或者重写自己的软件来变得更加智能；这台（甚至更强大的）机器接着继续设计功能更强大的机器，以此类推。这些递归式的自我完善的迭代加速，允许在物理定律或理论计算设定的任何上限之内发生巨大的质变。

==其他表现形式==
===超级智能的出现===
超级智能、超智能或超人智能是一种假想的智能体。它拥有的智能远远超过最聪明、最有天赋的人类大脑的智能。“超级智能”也可以指这种智能体所拥有的智能的形式或程度。约翰·冯·诺依曼 John von Neumann，Vernor Vinge和 Ray Kurzweil从技术创造超级智能的角度定义了这个概念。他们认为，现在的人类很难或不可能预测人类在后奇点世界的生活会是什么样子<ref name="vinge1993"/><ref name="singularity"/>

技术预言家和研究人员对人类智能是否或何时可能被超越存在分歧。一些人认为，人工智能（AI）的进步可能会产生没有人类认知局限的一般推理系统。另一些人则认为，人类将进化或直接改变自己的生物性，从而从根本上实现更高的智能。许多未来研究的场景结合了这两种可能的元素，认为人类很可能会与计算机交互，或以将他们的意识上传到计算机的方式实现大量的智能增益。

===非人工智能奇点===
一些作家更宽泛地使用“奇点”的概念，用来指代任何我们社会中由新技术带来的剧烈变化，如分子纳米技术，<ref name="hplusmagazine"/><ref name="yudkowsky.net"/><ref name="agi-conf"/>尽管Vernor Vinge和其他作家明确指出，如果没有超级智能，这些改变就不能算作真正的奇点。<ref name="vinge1993" />

===速度超智能===
'''速度超级智能 speed superintelligence'''描述了一个人工智能，它可以做任何人类能做的事情，唯一的区别是这个机器运行得更快。<ref>{{cite book |doi=10.1007/978-3-662-54033-6_2 |year=2017 |publisher=Springer Berlin Heidelberg |pages=11–23 |author=Kaj Sotala and Roman Yampolskiy |title=The Technological Singularity |chapter=Risks of the Journey to the Singularity |series=The Frontiers Collection |isbn=978-3-662-54031-2 |conference=The Frontiers Collection }}</ref>例如，与人类相比，它信息处理的速度提高了一百万倍，一个主观年将在30个物理秒内过去。<ref name="singinst.org"/>这种在信息处理速度上的差异可能会导致奇点。<ref>{{cite book |doi=10.1002/9781118922590.ch16 |year=2016 |publisher=John Wiley \& Sons, Inc |pages=171–224 |author=David J. Chalmers |title=Science Fiction and Philosophy |chapter=The Singularity |isbn=9781118922590 |conference=Science Fiction and Philosophy }}</ref>

==合理性==
许多著名的技术专家和学者都对技术奇点的合理性提出质疑，包括Paul Allen、Jeff Hawkins、John Holland、Jaron Lanier和Gordon Moore，他的摩尔定律经常被引用来支持这一概念。<ref name="spectrum.ieee.org"/><ref name="ieee"/><ref name="Allen"/>

大多数创造超人或超越人类智能的方法分为两类：人脑的智能增强和人工智能。据推测，智能增强的方法很多，包括生物工程、基因工程、益智药物、AI 助手、直接脑机接口和思维上传。因为人们正在探索通向智能爆炸的多种途径，这使得奇点出现的可能性变得更大；如果奇点不发生，所有这些方法都必将失败。<ref name="singinst.org">{{cite web|url=http://singinst.org/overview/whatisthesingularity |title=What is the Singularity? | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110908014050/http://singinst.org/overview/whatisthesingularity/ |archivedate=2011-09-08 }}</ref>

Robin Hanson对人类智能增强表示怀疑，他写道，一旦提高人类智力的“唾手可得的”简单方法用尽，进一步的改进将变得越来越难。<ref name="hanson">{{cite web |url=https://mason.gmu.edu/~rhanson/vc.html#hanson |title=Some Skepticism |date=1998 |first=Robin |last=Hanson |author-link=Robin Hanson |accessdate=April 8, 2020}}</ref>尽管有各种提高人类智能的方法，但非人类人工智能（特别是种子人工智能）仍是所有能推进奇点的假说中最受欢迎的一个。

智能爆炸是否发生取决于三个因素。<ref name="david_chalmers_singularity_lecture_resources_available">David Chalmers John Locke Lecture, 10 May, Exam Schools, Oxford, [http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available Presenting a philosophical analysis of the possibility of a technological singularity or "intelligence explosion" resulting from recursively self-improving AI] {{webarchive|url=https://web.archive.org/web/20130115205558/http://www.fhi.ox.ac.uk/news/2010/david_chalmers_singularity_lecture_resources_available |date=2013-01-15 }}.</ref>第一个加速因素是过去的每一次改进都使新的智能增强成为可能。相反，随着智能的进步，进一步的发展将变得越来越复杂，可能会抵消智力增长的优势。平均而言，每一次改进都应该至少带来一次改进，以便继续朝着奇点的方向发展。最后，物理定律最终会阻止任何进一步的改进。

智能改进有两个逻辑上独立但又相互加强的原因：计算速度的提高和使用的算法的改进。<ref name="consc.net">[http://consc.net/papers/singularity.pdf The Singularity: A Philosophical Analysis, David J. Chalmers]</ref>前者由摩尔定律和硬件方面的改进进行预测，<ref name="itrs">{{cite web |url=http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |title=ITRS |accessdate=2011-09-09 |url-status=dead |archiveurl=https://web.archive.org/web/20110929173755/http://www.itrs.net/Links/2007ITRS/ExecSum2007.pdf |archivedate=2011-09-29 }}</ref>与以前的技术进步比较相似。但也有一些人工智能研究人员认为软件比硬件更重要<ref>{{Cite web|url=https://blog.chronicled.com/why-software-is-more-important-than-hardware-right-now-6a4b58feaa7c|title=Why Software Is More Important Than Hardware Right Now|last=Kulkarni|first=Ajit|date=2017-12-12|website=Chronicled|access-date=2019-02-23}}</ref>

在2017年，一项对2015年 NeurIPS 和 ICML 机器学习会议上发表论文的作者的电子邮件调查询问了智能爆炸的可能性。在受访者中，12% 的人认为“很有可能”，17% 的人认为“有可能”，21%的人认为“可能性中等”，24%的人认为“不太可能”，26%的人认为“非常不可能”。<ref>{{cite arxiv|last1=Grace|first1=Katja|last2=Salvatier|first2=John|last3=Dafoe|first3=Allan|last4=Zhang|first4=Baobao|last5=Evans|first5=Owain|title=When Will AI Exceed Human Performance? Evidence from AI Experts|eprint=1705.08807|date=24 May 2017|class=cs.AI}}</ref>
===速度改进 ===
无论对于人类智能还是人工智能，硬件改进都会提高未来硬件改进的速度。简单地说，<ref name="arstechnica">{{cite web|last=Siracusa |first=John |url=https://arstechnica.com/apple/reviews/2009/08/mac-os-x-10-6.ars/8 |title=Mac OS X 10.6 Snow Leopard: the Ars Technica review |publisher=Arstechnica.com |date=2009-08-31 |accessdate=2011-09-09}}</ref>摩尔定律认为，如果第一次速度翻倍需要18个月，第二次则需要18个月；或者额外的9个月，之后，4个月、2个月，以此类推，走向速度奇点<ref name="singularity6">Eliezer Yudkowsky, 1996 [http://www.yudkowsky.net/obsolete/singularity.html "Staring into the Singularity"]</ref>速度的上限最终可能会达到，尽管还不清楚这会有多高。杰夫·霍金斯 Jeff Hawkins曾表示，一个自我完善的计算机系统不可避免地会遇到计算能力的上限：“最终，计算机的规模和速度都是有限的。我们最终会在停留在同一个地方；我们只会更快到达那里。不会有奇点。”<ref name="Hawkins">{{cite magazine |url=https://spectrum.ieee.org/computing/hardware/tech-luminaries-address-singularity |title=Tech Luminaries Address Singularity |date=1 June 2008 |magazine=[[IEEE Spectrum]]}}</ref>

很难直接将基于硅的硬件与神经元相比较。但是Berglas（2008）<ref name=:"Berglas">Berglas, Anthony (2008), Artificial Intelligence will Kill our Grandchildren, archived from the original on 2014-07-23, retrieved 2008-06-13</ref>指出计算机语音识别正在接近人类的能力，而且这种能力似乎只需要0.01%的脑容量。这个类比表明，现代计算机硬件与人脑一样强大，只差几个数量级。
====指数增长====
[[文件:Moore's Law over 120 Years.jpg|缩略图|右|120年来摩尔定律的更新版本（基于库兹韦尔的图表）。最新的7个数据点都是NVIDIA图形处理器。]]
[[文件:PPTMooresLawai.jpg|缩略图|右|雷·库兹韦尔（Ray Kurzweil）写道，由于范式的转变，指数增长的趋势将摩尔定律从集成电路扩展到更早的晶体管、真空管、继电器和机电计算机。他预测，指数级增长将持续下去，几十年后，所有计算机的计算能力都将超过（未增强的）人脑，与超人人工智能的出现时间大致相同。]]
摩尔定律所建议的计算技术的指数增长通常被认为是在相对不远的将来出现奇点的一个理由，许多作者已经提出了摩尔定律的推广。计算机科学家和未来主义者Hans Moravec在1998年的一本书中提到<ref>{{cite book|author=Moravec, Hans|title=Robot: Mere Machine to Transcendent Mind|year=1999|publisher=Oxford U. Press|page=61|url=https://books.google.com/books?id=fduW6KHhWtQC&pg=PA61|isbn=978-0-19-513630-2}}</ref>指数型增长曲线可以沿着集成电路之前的早期计算技术进行延伸。

Ray Kurzweil假设了一个加速回报定律，其中技术变革的速度（更广泛地说，所有进化过程<ref name="google"/>）急剧增长。从1986年到2007年，摩尔定律以与莫拉维克提案相同的方式呈指数增长，并包括材料技术（尤其是应用于纳米技术）、医疗技术和其他技术，<ref name="singularity2"/>计算机计算人均信息的特定应用能力大约每14个月翻一番；世界通用计算机的人均容量每18个月翻一番；全球人均电信容量每34个月翻一番；世界人均存储容量每40个月翻一番。<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert and Priscila López (2011), [[Science (journal)|Science]], 332(6025), 60–65; free access to the article through here: martinhilbert.net/WorldInfoCapacity.html</ref> 另一方面，有人认为，以21世纪奇点为参数的全球加速度模式应该被描述为双曲线增长而不是指数型。<ref>[https://link.springer.com/book/10.1007/978-3-030-33730-8 ''The 21st Century Singularity and Global Futures. A Big History Perspective''] (Springer, 2020)</ref>

库兹韦尔将“奇点”一词用于描述人工智能（相对于其他技术）的快速增长，例如他写道：“奇点将允许我们超越生物体和大脑的局限……后奇点时代，人类与机器之间将不再有区别。”<ref name="singularity3"/>库兹韦尔相信奇点将在大约2045年之前出现，那时基于计算机的智能将明显超越人类脑力的总和，在这个日期之前计算机技术的进步“并不代表奇点”，因为它们“还不符合智慧的深刻扩展”。<ref name="transformation"/>

====加速变革====
[[文件:ParadigmShiftsFrr15Events.jpg|缩略图|右|根据库兹韦尔的说法，他的15个关键历史事件范式转变列表的对数图显示出指数趋势。]]
一些奇点论的支持者认为，通过对过去趋势的推断，特别是那些缩减技术进步的差距有关的趋势，奇点是不可避免的。技术进步的背景下，较早使用“奇点”一词时，Stanislaw Ulam讲述了与冯·诺伊曼关于加速变革的一次谈话：
::一次围绕不断加速的技术进步和生活方式变化的对话，它使得人类历史上出现了一些基本的奇点，超过了这些奇点，如我们所知的那些人类的事务，将无法继续下去。<ref name=mathematical/>

库兹韦尔声称，技术进步遵循指数增长的模式，遵循他所称的“加速返回定律 law of accelerating returns”。库兹韦尔写道，每当一项技术遇到障碍时，新技术就会出来克服这个障碍。他预测范式转变将变得越来越普遍，导致“技术变革非常迅速和深刻，以至于它代表着人类历史结构的一个断裂”。<ref name=:42>Kurzweil, Raymond (2001), "The Law of Accelerating Returns", Nature Physics, Lifeboat Foundation, 4 (7): 507, Bibcode:2008NatPh...4..507B, doi:10.1038/nphys1010, archived from the original on 2018-08-27, retrieved 2007-08-07</ref>库兹韦尔相信奇点将在2045年<ref name=:"2045">Ray Kurzweil, The Singularity is Near, Penguin Group, 2005</ref>之前出现。他和Vinge预测的不同点在于他预测的是一个逐渐上升到奇点的过程，而Vinge预测了一个快速自我更新的超人类智能。

经常被引用的危险包括那些与分子纳米技术和基因工程有关的技术。这些威胁是奇点论的倡导者和批评者面临的主要议题，也是比尔·乔伊《连线 Wired》杂志上所发表文章《为什么未来不需要我们 Why the future doesn't need us》的主题。

===算法改进 ===
一些智能技术，比如“种子人工智能”，<ref name="Yampolskiy, Roman V 2015"/><ref name="ReferenceA"/>通过修改自己的源代码，可能使自己不仅更快，而且更高效。这些改进将使进一步的改进成为可能，以此类推。

递归自我改进算法的机制在两个方面不同于原始计算速度的提高。首先，它不需要外部影响：设计更快的硬件的机器仍然需要人类来创造改进的硬件，或者对工厂进行适当的编程。AI可以既身处一个AI盒 AI box里面，又同时改进自己的源代码。

第二，和Vernor Vinge关于奇点的概念一样，对结果的预测要困难得多。虽然速度的提高似乎与人类的智能只是数量上的区别，但实际的算法改进在质量上是不同的。Eliezer Yudkowsky将其与人类智能带来的变化相比较：人类改变世界的速度比进化速度快数千倍，而且方式完全不同。同样地，生命的进化与以前的地质变化又有着巨大的不同和加速，而智能的提高可能会使变化再次变得不同。<ref name="yudkowsky">{{cite web|author=Eliezer S. Yudkowsky |url=http://yudkowsky.net/singularity/power |title=Power of Intelligence |publisher=Yudkowsky |accessdate=2011-09-09}}</ref>

由递归式自我改进的算法集合引起的智能爆炸存在着巨大的危险。首先，人工智能的目标结构在自我完善的情况下可能不是一成不变的，这可能会导致人工智能对原本计划之外的东西进行优化。<ref name="selfawaresystems">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008 ]</ref><ref name="kurzweilai">{{cite web|url=http://www.kurzweilai.net/artificial-general-intelligence-now-is-the-time |title=Artificial General Intelligence: Now Is the Time |publisher=KurzweilAI |accessdate=2011-09-09}}</ref>第二，人工智能可以与人类竞争赖以生存的稀缺资源。<ref name="selfawaresystems.com">[http://selfawaresystems.com/2007/10/05/paper-on-the-nature-of-self-improving-artificial-intelligence/ Omohundro, Stephen M., "The Nature of Self-Improving Artificial Intelligence." Self-Aware Systems. 21 Jan. 2008. Web. 07 Jan. 2010.]</ref><ref>{{cite book|last1=Barrat|first1=James|title=Our Final Invention|year=2013|publisher=St. Martin's Press|location=New York|isbn=978-0312622374|pages=78–98|edition=First|chapter=6, "Four Basic Drives"|title-link=Our Final Invention}}</ref>

虽然不是恶意的，但没有理由认为人工智能会积极促进人类目标的实现，除非这些目标可以被编程，否则，它们就可能利用目前用于支持人类的资源来促进自己的目标，从而导致人类灭绝。<ref name="kurzweilai.net">{{cite web|url=http://www.kurzweilai.net/max-more-and-ray-kurzweil-on-the-singularity-2 |title=Max More and Ray Kurzweil on the Singularity |publisher=KurzweilAI |accessdate=2011-09-09}}</ref><ref name="ReferenceB">{{cite web|url=http://singinst.org/riskintro/index.html |title=Concise Summary | Singularity Institute for Artificial Intelligence |publisher=Singinst.org |accessdate=2011-09-09}}</ref><ref name="nickbostrom7">[http://www.nickbostrom.com/fut/evolution.html Bostrom, Nick, The Future of Human Evolution, Death and Anti-Death: Two Hundred Years After Kant, Fifty Years After Turing, ed. Charles Tandy, pp. 339–371, 2004, Ria University Press.]</ref>

Carl Shulman和Anders Sandberg认为，算法改进可能是奇点的限制因素；虽然硬件效率趋于稳步提高，但软件创新更不具可预测性，可能会受到连续、累积的研究的限制。他们认为，智能爆炸在受软件限制的奇点情况中发生的可能性实际上比在受硬件限制的奇点更高，因为在软件受限的情况下，一旦开发出人类水平的人工智能，它可以在非常快的硬件上连续运行，廉价硬件的丰富将使人工智能研究不那么受限制。<ref name=ShulmanSandberg2010>{{cite journal|last=Shulman|first=Carl|author2=Anders Sandberg |title=Implications of a Software-Limited Singularity|journal=ECAP10: VIII European Conference on Computing and Philosophy|year=2010|url=http://intelligence.org/files/SoftwareLimited.pdf|accessdate=17 May 2014|editor1-first=Klaus|editor1-last=Mainzer}}</ref>一旦软件知道如何使用硬件，大量的硬件就可以被释放出来，这被称为“计算过剩”。<ref name="MuehlhauserSalamon2012">{{cite book|last=Muehlhauser|first=Luke|title=Singularity Hypotheses: A Scientific and Philosophical Assessment|year=2012|publisher=Springer|chapter-url=http://intelligence.org/files/IE-EI.pdf|author2=Anna Salamon |editor=Amnon Eden |editor2=Johnny Søraker |editor3=James H. Moor |editor4=Eric Steinhart|chapter=Intelligence Explosion: Evidence and Import}}</ref>

===危机===
一些批评者，如哲学家Hubert Dreyfus断言计算机或机器无法实现人类智能，而其他人，如物理学家史蒂芬·霍金 Stephen Hawking，则认为如果最终结果是相同的，那么智力的定义其实无关紧要。<ref name="dreyfus"/>

早在1932年，约翰·W·坎贝尔 John Wood Campbell Jr. 的短篇小说《最后的进化 The last evolution》中就对这个想法进行了描述。

心理学家史蒂芬·平克 Steven Pinker 在2008年指出：
::……没有一点理由相信奇点即将到来。你可以想象一个未来并不能证明它是可能出现的。看看穹顶城市、喷气式飞行器通勤、水下城市、一英里高的建筑和核动力汽车：这些都是我小时候未来主义幻想的主要内容，然而它们都没有成真。纯粹的计算能力不是能神奇地解决所有问题的仙尘。……<ref name="spectrum.ieee.org"/>

加州大学伯克利分校，哲学教授约翰·塞尔 John Searle写道：

{{blockquote|[Computers] have, literally ..., no [[intelligence]], no [[motivation]], no [[autonomy]], and no agency. We design them to behave as if they had certain sorts of [[psychology]], but there is no psychological reality to the corresponding processes or behavior. ... [T]he machinery has no beliefs, desires, [or] motivations.<ref>[[John R. Searle]], “What Your Computer Can’t Know”, ''[[The New York Review of Books]]'', 9 October 2014, p. 54.</ref>}}

::毫不夸张地说……，计算机没有智能，没有动机，没有自主，也没有智能体。我们设计他们，使他们的行为好像表示他们有某种心理，但其实没有对应这些过程或行为的心理现实……机器没有信仰、愿望或动机。<ref>John R. Searle, “What Your Computer Can’t Know”, ''The New York Review of Books'', 9 October 2014, p. 54.</ref>

Martin Ford 在《隧道中的灯光：自动化、加速技术和未来经济 The Lights in the Tunnel: Automation, Accelerating Technology and the Economy of the Future》<ref name="thelightsinthetunnel"/>中提出了一个“技术悖论”：在奇点出现之前，经济体中的大多数日常工作都将自动化，因为这所需的技术水平低于奇点。这将导致大规模的失业和消费者需求的骤降，这反过来又会破坏投资于实现奇点所需技术的动机。工作的替代越来越不再局限于那些传统上被认为是“例行公事”的工作。<ref name="nytimes"/>

Theodore Modis<ref name="google13"/><ref name="Singularity Myth"/>和Jonathan Huebner<ref name="technological14"/>认为技术创新的速度不仅停止上升，而且现在实际上正在下降。这种下降的证据是计算机时钟速率的增长正在放缓，尽管摩尔关于电路密度指数增长的预测仍然成立。这是由于芯片产生过多的热量，当它们以较高的速度运行时，这些热量不能足够快地散去，可能导致芯片熔化。在未来，随着更节能的CPU设计和多单元处理器的发明，速度的提高可能实现。<ref name="cnet"/>尽管 Kurzweil利用了Modis的（工作成果）作为资源，同时 Modis 的工作围绕着加速变革，但 Modis对Kurzweil的“技术奇点”理论保持距离，称其缺乏科学严谨性。<ref name="Singularity Myth"/>

在一份详细的实证报告《计算的进步 The Progress of Computing》中，威廉·诺德豪斯 William Nordhaus认为，在 1940 年之前，计算机遵循传统工业经济增长缓慢的趋势，因此拒绝了摩尔定律对19世纪计算机的推断。<ref>{{Cite journal | doi=10.1017/S0022050707000058|title = Two Centuries of Productivity Growth in Computing| journal=The Journal of Economic History| volume=67|pages = 128–159|year = 2007|last1 = Nordhaus|first1 = William D.| citeseerx=10.1.1.330.1871}}</ref>

在2007年的一篇论文中，Schmidhuber指出主观上“值得注意的事件”出现的频率似乎正在接近21世纪的奇点，但他提醒读者，对这些主观事件的情节要持保留态度：也许对近期和远期事件的记忆差异，可能会造成一种在根本不存在的情况下变化加速的错觉。<ref>Schmidhuber, Jürgen. "New millennium AI and the convergence of history." Challenges for computational intelligence. Springer Berlin Heidelberg, 2007. 15–35.</ref>

保罗·艾伦 Paul Allen认为，与加速回报相反的是'''复杂性制动 complexity brake'''；科学在理解智力方面取得的进展越多，就越难取得更多的进展。一项对专利数量的研究表明，人类的创造力并没有表现出加速的回报。事实上，正如Joseph Tainter在他的《复杂社会的崩溃 The Collapse of Complex Societies 》中所指出的那样，存在一个收益递减定律 a law of diminishing returns的限制。每千人的专利的数量在1850年至1900年期间达到顶峰，此后一直在下降。复杂性的增长最终会自我限制，并导致广泛的“一般系统崩溃 general systems collapse”。

Jaron Lanier驳斥了奇点不可避免的观点。他说：“我不认为这项技术是在创造自我。这不是一个自主的过程。”<ref name="lanier">{{cite web |author=Jaron Lanier |title=Who Owns the Future? |work=New York: Simon & Schuster |date=2013 |url=http://www.epubbud.com/read.php?g=JCB8D9LA&tocp=59}}</ref>他接着断言：“相信人的能动性而不是技术决定论的原因是，这样你就可以有一个经济体，人们在其中可以自己挣钱，创造自己的生活。如果你在不强调个人主观能动性的基础上构建社会，就等于在操作上否认人们的影响力、尊严和自决……接受奇点的想法将是对糟糕数据和糟糕政治的颂扬。<ref name="lanier" />

经济学家 Robert J.Gordon在《美国经济增长的兴衰：内战以来的美国生活水平 The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War》（2016）中指出，据测量，经济增长在1970年左右放缓，自2007-2008年金融危机以来甚至进一步放缓，并认为经济数据显示没有迹象表明数学家I.J.Good所设想的奇点将会到来。<ref>[[William D. Nordhaus]], "Why Growth Will Fall" (a review of [[Robert J. Gordon]], ''The Rise and Fall of American Growth: The U.S. Standard of Living Since the Civil War'', Princeton University Press, 2016, {{ISBN|978-0691147727}}, 762 pp., $39.95), ''[[The New York Review of Books]]'', vol. LXIII, no. 13 (August 18, 2016), p. 68.</ref>

除了对奇点概念的一般性批评外，一些批评者还对 Kurzweil的标志性图表提出了质疑。一种批评是，这种性质的对数图像本质上就会存在倾向于直线的有偏差结果。其他人批评Kurzweil在数据点的使用上存在选择偏差。<ref name="PZMyers"/>例如，生物学家 P. Z. Myers指出，许多早期的进化“事件”都是随意挑选的。Kurzweil反驳了这一点，他绘制了15个中立来源的进化事件图，并表明它们都符合一条直线。《经济学人》用一张图表来嘲讽这个概念：一把剃须刀上的刀片数在过去几年里从一个增加到多达五个，并且它将以更快的速度增长到无穷大。<ref name="moreblades"/>

==潜在影响==
过去由于一些技术进步，经济增长率发生了巨大变化。以人口增长为基础，从旧石器时代到新石器时代，经济每25万年翻一番。新农业经济每900年翻一番，增长显著。在当今时代，从工业革命开始，世界经济产出每15年翻一番，比农业时代快60倍。罗宾·汉森 Robin Hanson认为，如果超人智能的兴起引发了类似的革命，人们会预期经济至少每季度翻一番，甚至可能每周翻一番。<ref name="Hanson">{{Citation |url=http://www.spectrum.ieee.org/robotics/robotics-software/economics-of-the-singularity |title=Economics Of The Singularity |author=Robin Hanson |work=IEEE Spectrum Special Report: The Singularity }} & [http://hanson.gmu.edu/longgrow.pdf Long-Term Growth As A Sequence of Exponential Modes]</ref>
===不确定性和风险===
“技术奇点”一词反映了这样一种想法<ref name="positive-and-negative">{{Citation|last=Yudkowsky |first=Eliezer |title=Artificial Intelligence as a Positive and Negative Factor in Global Risk |journal=Global Catastrophic Risks |editor-last=Bostrom |editor-first=Nick |editor2-last=Cirkovic |editor2-first=Milan |publisher=Oxford University Press |year=2008 |url=http://singinst.org/AIRisk.pdf |bibcode=2008gcr..book..303Y |isbn=978-0-19-857050-9 |page=303 |url-status=dead |archiveurl=https://web.archive.org/web/20080807132337/http://www.singinst.org/AIRisk.pdf |archivedate=2008-08-07 }}</ref><ref name="theuncertainfuture"/> ：这种变化可能突然发生，而且很难预测由此产生的新世界将如何运作。目前尚不清楚导致奇点的智能爆炸是有益还是有害，甚至是一种存在威胁。<ref name="catastrophic"/><ref name="nickbostrom"/>由于人工智能是奇点风险的一个主要因素，许多组织追求一种将人工智能的目标系统与人类价值观相协调的技术理论。这些组织包括人类未来研究所 Future of Humanity Institute，机器智能研究所 The Machine Intelligence Research Institute，人类兼容人工智能中心 The Center for Human-Compatible Artificial Intelligence<ref name="positive-and-negative"/>和未来生命研究所 The Future of Life Institute。

物理学家史蒂芬·霍金在2014年表示，“成功创造人工智能将是人类历史上最大的事件。不幸的是，这也可能是最后一次，除非我们学会如何规避风险。”<ref name=hawking_2014/>霍金认为，在未来几十年里，人工智能可能会带来“无法估量的利益和风险”，例如“技术超越金融市场的聪明程度，超越人类研究人员的创造力，超越人类领袖的操控力，开发我们甚至无法理解的武器”。霍金建议，<ref name=hawking_2014/>人们应该更认真地对待人工智能，并做更多的工作来为奇点做准备：<ref name=hawking_2014>{{cite web |url=https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence--but-are-we-taking-ai-seriously-enough-9313474.html |title=Stephen Hawking: 'Transcendence looks at the implications of artificial intelligence - but are we taking AI seriously enough?' |work=[[The Independent]] |author=Stephen Hawking |date=1 May 2014 |accessdate=May 5, 2014|author-link=Stephen Hawking }}</ref>
::所以，面对可能的收益和风险难以估量的未来，专家们肯定会尽一切可能确保最好的结果，对吗？错了。如果一个高级的外星文明给我们发了一条信息说，“我们几十年后就会到达”，我们会不会只回答，“好吧，你到了这里就打电话给我们——我们会开着灯的”？可能不会——但这或多或少就是人工智能正在发生的事情。

Berglas（2008）声称, 没有直接的进化动机促使人工智能对人类友好。进化并不倾向于产生人类所重视的结果，也没有理由期望一个任意的优化过程会促进人类所期望的结果，而不是无意中导致人工智能以违背其创造者原有意图的方式行事。<ref name="nickbostrom8">Nick Bostrom, [http://www.nickbostrom.com/ethics/ai.html "Ethical Issues in Advanced Artificial Intelligence"], in ''Cognitive, Emotive and Ethical Aspects of Decision Making in Humans and in Artificial Intelligence'', Vol. 2, ed. I. Smit et al., Int. Institute of Advanced Studies in Systems Research and Cybernetics, 2003, pp. 12–17</ref><ref name="singinst">[[Eliezer Yudkowsky]]: [http://singinst.org/upload/artificial-intelligence-risk.pdf Artificial Intelligence as a Positive and Negative Factor in Global Risk] {{webarchive|url=https://web.archive.org/web/20120611190606/http://singinst.org/upload/artificial-intelligence-risk.pdf |date=2012-06-11 }}. Draft for a publication in ''Global Catastrophic Risk'' from August 31, 2006, retrieved July 18, 2011 (PDF file)</ref><ref name="singinst9">[http://www.singinst.org/blog/2007/06/11/the-stamp-collecting-device/ The Stamp Collecting Device, Nick Hay]</ref>安德斯·桑德伯格 Anders Sandberg也也对这一情景进行了详细阐述，讨论了各种常见的反驳意见。<ref name="aleph">[http://www.aleph.se/andart/archives/2011/02/why_we_should_fear_the_paperclipper.html 'Why we should fear the Paperclipper'], 2011-02-14 entry of Sandberg's blog 'Andart'</ref>人工智能研究员 Hugo de Garis<ref name="selfawaresystems.com" /><ref name="selfawaresystems10">[http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/ Omohundro, Stephen M., "The Basic AI Drives." Artificial General Intelligence, 2008 proceedings of the First AGI Conference, eds. Pei Wang, Ben Goertzel, and Stan Franklin. Vol. 171. Amsterdam: IOS, 2008.]</ref>认为，人工智能可能会为了获取稀缺资源而直接消灭人类，并且人类将无力阻止它们。<ref name="forbes">de Garis, Hugo. [https://www.forbes.com/2009/06/18/cosmist-terran-cyborgist-opinions-contributors-artificial-intelligence-09-hugo-de-garis.html "The Coming Artilect War"], Forbes.com, 22 June 2009.</ref>或者，在进化压力下为了促进自身生存而发展起来的人工智能可能会胜过人类。<ref name="nickbostrom7" />

Bostrom（2002）讨论了人类灭绝的场景，并列举超级智能作为一个可能的原因：
::当我们创造出第一个超级智能实体时，我们可能会犯错并给它一个导致人类毁灭的目标（假设它巨大的智力优势赋予它这样做的力量）。例如，我们可能会错误地将子目标提升为超级目标。我们告诉它去解决一个数学问题，然后它将太阳系中的所有物质变成一个巨大的计算装置，在这个过程中杀死了提出这个问题的人。

按照Eliezer Yudkowsky的观点，人工智能安全的一个重要问题是，不友好的人工智能可能比友好的人工智能更容易创建。虽然两者都需要递归优化过程的进步，但友好的人工智能还需要目标结构在自我改进过程中保持不变（否则人工智能可以将自己转变成不友好的东西），以及一个与人类价值观相一致且不会自动毁灭人类的目标结构。另一方面，一个不友好的人工智能可以针对任意的目标结构进行优化，<ref name="singinst12">[http://singinst.org/upload/CEV.html Coherent Extrapolated Volition, Eliezer S. Yudkowsky, May 2004 ] {{webarchive|url=https://web.archive.org/web/20100815055725/http://singinst.org/upload/CEV.html |date=2010-08-15 }}</ref>而目标结构不需要在自我改进过程中保持不变。Bill Hibbard（2014）提出了一种人工智能设计，<ref name="JAGI2012">{{Citation| journal=Journal of Artificial General Intelligence| year=2012| volume=3| issue=1| title=Model-Based Utility Functions| first=Bill| last=Hibbard| postscript=.| doi=10.2478/v10229-011-0013-5| page=1|arxiv = 1111.3934 |bibcode = 2012JAGI....3....1H | s2cid=8434596}}</ref>可以避免包括自欺欺人、<ref name="selfawaresystems"/><ref name="AGI-12a">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_56.pdf Avoiding Unintended AI Behaviors.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle. [http://intelligence.org/2012/12/19/december-2012-newsletter/ This paper won the Machine Intelligence Research Institute's 2012 Turing Prize for the Best AGI Safety Paper].</ref>无意的工具性行为和奖励机制<ref name="AGI-12a"/>的腐败等一些危险。他还讨论了人工智能<ref name="JET2008">{{Citation| url=http://jetpress.org/v17/hibbard.htm| journal=Journal of Evolution and Technology| year=2008| volume=17| title=The Technology of Mind and a New Social Contract| first=Bill| last=Hibbard| postscript=.}}</ref>和人工智能测试的社会影响。<ref name="AGI-12b">[http://agi-conference.org/2012/wp-content/uploads/2012/12/paper_57.pdf Decision Support for Safe AI Design|.] Bill Hibbard. 2012 proceedings of the Fifth Conference on Artificial General Intelligence, eds. Joscha Bach, Ben Goertzel and Matthew Ikle.</ref>他在2001年出版的《超级智能机器 Super-Intelligent Machines》一书中提倡对人工智能的公共教育和公众控制。该书还提出了一个简单的易受奖励机制的腐败影响的设计。

===社会生物进化的下一步===
[[文件:Major Evolutionary Transitions digital.jpg|缩略图|右|生物圈中信息和复制因子的时间线示意图：Gillings等人在信息处理中的“重大进化转变”。<ref name="InfoBiosphere2016" />]]

虽然技术奇点通常被视为一个突发事件，但一些学者认为目前的变化速度已经符合这种描述。

此外，有人认为，我们已经处在一个融合了技术、生物学和社会学的'''进化巨变 major evolutionary transition'''之中。数字技术已经无可争辩地渗透到人类社会的结构中，而且生命的维持常常依赖数字技术。

2016年发表在《生态学和进化进展 Trends in Ecology and Evolution》的一篇文章认为，“人类已经接受了生物和技术的融合。我们清醒时大部分时间都是通过数字媒介进行交流的……我们拿性命做担保信任汽车上的'''防抱死制动系统 Anti-lock braking system'''和飞机上的'''自动巡航模式 autopilot'''……在美国，三分之一的婚姻都是在网络上开始的，数字算法也在人类配对和繁殖中也发挥了作用。”

文章进一步指出，从进化的角度来看，以前的几次进化巨变通过信息存储和复制方式（如RNA、DNA、多细胞性、文化和语言的出现）的创新来改变生命。在生命进化的当前阶段，以碳为基础的生物圈产生了一个认知系统（人类），能够创造技术，从而导致一个类似的进化变迁。

人类创造的数字信息已经达到了与生物圈中生物信息相似的规模。自20世纪80年代以来，存储的数字信息量大约每2.5年翻一番，2014年达到约5泽字节（5e21字节）。

In biological terms, there are 7.2 billion humans on the planet, each having a genome of 6.2 billion nucleotides. Since one byte can encode four nucleotide pairs, the individual genomes of every human on the planet could be encoded by approximately 1{{e|19}} bytes. The digital realm stored 500 times more information than this in 2014 (see figure). The total amount of DNA contained in all of the cells on Earth is estimated to be about 5.3{{e|37}} base pairs, equivalent to 1.325{{e|37}} bytes of information.

在生物学方面，地球上有72亿人，每个人的基因组有62亿个核苷酸。由于一个字节可以编码四个核苷酸对，地球上每个人类的个体基因组可以编码大约1×1019字节。2014年，数字领域存储的信息是这个数字的500倍（见图）。据估计，地球上所有细胞所含的DNA总量约为5.3{e | 37}碱基对，相当于1.325{e | 37}字节的信息。

如果数字存储以目前每年30-38%的复合年增长率继续增长，<ref name="HilbertLopez2011" />它将在大约110年内与地球上所有细胞中的所有DNA所包含的信息总量相抗衡。这将意味着在仅仅150年的时间里，生物圈中储存的信息量翻了一番。<ref name="InfoBiosphere2016">{{Cite journal |url=http://escholarship.org/uc/item/38f4b791 |doi=10.1016/j.tree.2015.12.013|pmid=26777788|title=Information in the Biosphere: Biological and Digital Worlds|journal=Trends in Ecology & Evolution|volume=31|issue=3|pages=180–189|year=2016|last1=Kemp|first1=D. J.|last2=Hilbert|first2=M.|last3=Gillings|first3=M. R.}}</ref>

===对人类社会的影响===
2009年2月，在'''人工智能促进协会 Association for the Advancement of Artificial Intelligence(AAAI)'''的主持下，Eric Horvitz在加利福尼亚州Pacific Grove的Asilomar主持了一次由主要计算机科学家、人工智能研究人员和机器人学家参加的会议。其目的是讨论机器人能够自给自足并能够自己做决定的假设可能性的潜在影响。他们讨论了计算机和机器人能够在多大程度上获得自主性 autonomy，以及在多大程度上可以利用这些能力对人类构成威胁或危险。<ref name="nytimes july09" />

有些机器被编程成各种形式的'''半自主 semi-autonomy'''，包括定位自己的电源和选择武器攻击的目标等。此外，有些计算机病毒可以避免被消除，根据与会科学家的说法，可以说已经达到了机器智能的“蟑螂”阶段。与会者指出，科幻小说中描述的自我意识可能不太可能，但也存在其他潜在的危险和陷阱。<ref name="nytimes july09">[https://www.nytimes.com/2009/07/26/science/26robot.html?_r=1&ref=todayspaper Scientists Worry Machines May Outsmart Man] By JOHN MARKOFF, NY Times, July 26, 2009.</ref>

Frank S. Robinson预言，一旦人类实现了具有人类智能的机器，科学技术问题将被远远优于人类的智力来解决。他指出，人工系统能够比人类更直接地共享数据，并预测这将导致一个全球的超级智能网络，使人类的能力相形见绌。<ref name=":0">{{cite magazine |last=Robinson |first=Frank S. |title=The Human Future: Upgrade or Replacement? |magazine=[[The Humanist]] |date=27 June 2013 |url=https://thehumanist.com/magazine/july-august-2013/features/the-human-future-upgrade-or-replacement}}</ref>Robinson还讨论了在这样一次智能爆炸之后，未来可能会有多大的不同。其中一个例子就是太阳能，地球接收到的太阳能远远多于人类捕获的太阳能，因此捕捉更多的太阳能将为文明发展带来巨大的希望。

==硬起飞与软起飞==

[[File:Recursive self-improvement.svg|thumb|upright=1.6|In this sample recursive self-improvement scenario, humans modifying an AI's architecture would be able to double its performance every three years through, for example, 30 generations before exhausting all feasible improvements (left). If instead the AI is smart enough to modify its own architecture as well as human researchers can, its time required to complete a redesign halves with each generation, and it progresses all 30 feasible generations in six years (right).<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>|链接=Special:FilePath/Recursive_self-improvement.svg]]

[[文件：在这个示例递归自我改进场景中，修改人工智能体系结构的人可以每三年将其性能提高一倍，例如，30代人，然后用尽所有可行的改进（左）。相反，如果人工智能足够聪明，能够像人类研究人员那样修改自己的架构，那么每一代人完成一次重新设计所需的时间将减半，并且它在6年内将所有30代可行的代都推进（右图）。<ref name="yudkowsky-global-risk">[[Eliezer Yudkowsky]]. "Artificial intelligence as a positive and negative factor in global risk." Global catastrophic risks (2008).</ref>]]

在硬起飞的情况下，通用人工智能AGI迅速自我完善并“掌控”世界（也许在几个小时内）。速度太快，以致于无法进行重大的人为纠错或对 AGI 的目标进行逐步调整。在软起飞的情况下，虽然AGI仍然比人类强大得多，但却以一种类似人类的速度进步（也许是几十年的数量级），持续的人类互动和修正可以有效地引导AGI的发展。<ref>Bugaj, Stephan Vladimir, and Ben Goertzel. "Five ethical imperatives and their implications for human-AGI interaction." Dynamical Psychology (2007).</ref><ref>Sotala, Kaj, and Roman V. Yampolskiy. "Responses to catastrophic AGI risk: a survey." Physica Scripta 90.1 (2014): 018001.</ref>

Ramez Naam反对硬起飞。他指出，我们已经看到企业等超级智能体的递归式地自我完善。例如，Intel拥有“数万人的集体脑力，可能还有数百万个CPU核心……来设计更好的CPU！”然而，这并没有导致硬起飞；相反，它以摩尔定律的形式实现了软起飞。<ref name=Naam2014Further>{{cite web|last=Naam|first=Ramez|title=The Singularity Is Further Than It Appears|url=http://www.antipope.org/charlie/blog-static/2014/02/the-singularity-is-further-tha.html|accessdate=16 May 2014|year=2014}}</ref>Naam进一步指出，高等智能的计算复杂度可能比线性大得多，因此，“创建智能系统2的难度可能两倍于是创建智能系统1的两倍多。”<ref name=Naam2014Ascend>{{cite web|last=Naam|first=Ramez|title=Why AIs Won't Ascend in the Blink of an Eye - Some Math|url=http://www.antipope.org/charlie/blog-static/2014/02/why-ais-wont-ascend-in-blink-of-an-eye.html|accessdate=16 May 2014|year=2014}}</ref>

J.Storrs Hall认为，“许多常见的一夜之间出现的硬起飞场景都是循环论证——它们似乎在自我提升过程的起点上假设了超人类的能力”，以便人工智能能够实现起飞所需的戏剧性的、领域通用的改进。Hall认为，一个初出茅庐的人工智能与其靠自己不断地自我改进硬件、软件和基础设施，不如专注于一个它最有效的领域，然后在市场上购买剩余的组件，因为市场上产品的质量不断提高，人工智能将很难跟上世界其他地方使用的尖端技术。<ref name=Hall2008>{{cite journal|last=Hall|first=J. Storrs|title=Engineering Utopia|journal=Artificial General Intelligence, 2008: Proceedings of the First AGI Conference|date=2008|pages=460–467|url=http://www.agiri.org/takeoff_hall.pdf|accessdate=16 May 2014}}</ref>

Ben Goertzel同意Hall的意见，即一种新的人类级别的人工智能将很好地利用其智能来积累财富。人工智能的天赋可能会激励公司和政府将其软件分散到整个社会。Goertzel对5分钟的硬起飞持怀疑态度，但他推测从人类到超人的水平，以5年的速度起飞是合理的。Goerzel将这种情况称为“半硬起飞 semihard takeoff”。<ref name="Goertzel2014">{{cite news|last1=Goertzel|first1=Ben|title=Superintelligence — Semi-hard Takeoff Scenarios|url=http://hplusmagazine.com/2014/09/26/superintelligence-semi-hard-takeoff-scenarios/|accessdate=25 October 2014|agency=h+ Magazine|date=26 Sep 2014}}</ref>

Max More不同意这一观点，他认为，如果只有少数超高速的人类水平的人工智能，它们不会从根本上改变世界，因为它们仍将依赖人来完成任务，并且仍然会受到人类认知的限制。即使所有的超高速人工智能都致力于智能增强，但目前还不清楚为什么它们在产生超人类智能方面比现有的人类认知科学家做得更好，尽管进展速度会加快。更进一步指出，超级智能不会在一夜之间改变世界：超级智能需要与现有的、缓慢的人类系统进行接触，以完成对世界的物理影响。”合作、组织和将想法付诸实际变革的需要将确保所有旧规则不会在一夜之间甚至几年内被抛弃。”<ref name=More>{{cite web|last1=More|first1=Max|title=Singularity Meets Economy|url=http://hanson.gmu.edu/vc.html#more|accessdate=10 November 2014}}</ref>

==永生==
在Kurzweil2005年出版的《奇点近了 The Singularity is Near》一书中，他指出，医学的进步将使人们能够保护自己的身体免受衰老的影响，从而延长寿命。Kurzweil认为，医学的技术进步将使我们能够不断地修复和更换我们身体中有缺陷的部件，从而将寿命延长到某个他无法确定的年龄。<ref>''The Singularity Is Near'', p. 215.</ref>Kurzweil通过讨论当前的生物工程进展进一步支持了他的论点。Kurzweil建议了体细胞基因疗法 somatic gene therapy；在合成具有特定遗传信息的病毒之后，下一步则是把这项技术应用到基因治疗中，用合成的基因取代人类的DNA。<ref>''The Singularity is Near'', p. 216.</ref>

K.Eric Drexler，纳米技术 nanotechnology的创始人之一，在他1986年的著作《创造的引擎 Engines of Creation》中，假设了细胞修复设备，包括在细胞内运行并利用目前假设的生物机器的设备。

根据Richard Feynman，他过去的研究生和合作者Albert Hibbs最初向他建议（大约在1959年）费曼理论微型机械 Feynman's theoretical micromachines的“医学”用途。Hibbs认为，有一天，理论上某些修理机器的尺寸可能会被尽可能地缩小（正如费曼所说的那样）“可服用的医生 swallow the doctor”。这个想法被收入了费曼1959年的文章《在底部有很多空间 There's Plenty of Room at the Bottom》。<ref>{{cite web|url = http://www.its.caltech.edu/~feynman/plenty.html|title = There's Plenty of Room at the Bottom|first = Richard P.|last = Feynman |author-link = Richard Feynman|date = December 1959|url-status = dead|archive-url = https://web.archive.org/web/20100211190050/http://www.its.caltech.edu/~feynman/plenty.html|archive-date = 2010-02-11}}</ref>

除了仅仅延长物质身体的运行寿命之外，Jaron Lanier还主张一种称为“数字提升 Digital Ascension”的不朽形式，即“人在肉体层面死亡，意识被上传到电脑里并保持清醒”。<ref>{{cite book |title = You Are Not a Gadget: A Manifesto |last = Lanier |first = Jaron |author-link = Jaron Lanier |publisher = [[Alfred A. Knopf]] |year = 2010 |isbn = 978-0307269645 |location = New York, NY |page = [https://archive.org/details/isbn_9780307269645/page/26 26] |url-access = registration |url = https://archive.org/details/isbn_9780307269645 }}</ref>

==概念史==
Mahendra Prasad在《人工智能 AI Magazine》杂志上发表的一篇论文断言，18世纪的数学家Marquis de Condorcet是第一个对智能爆炸及其对人类影响进行假设和数学建模的人。<ref>{{Cite journal|last=Prasad|first=Mahendra|year=2019|title=Nicolas de Condorcet and the First Intelligence Explosion Hypothesis|journal=AI Magazine|volume=40|issue=1|pages=29–33|doi=10.1609/aimag.v40i1.2855}}</ref>

1932年约翰·伍德·坎贝尔的短篇小说《最后的进化 the last evolution》对这一想法作了早期的描述。

Ulam在1958年为约翰·冯·诺依曼写的讣告中，回忆了与冯·诺依曼的一次对话：“技术的不断进步和人类生活方式的变化，这使我们似乎接近了种族历史上某些基本的奇点，超出了这些奇点，人类的事务就不能继续下去了。”<ref name=mathematical/>

1965年，古德写了一篇文章，假设机器智能的自我改进迭代是“智能爆炸”。

1981年，Stanisław Lem出版了他的科幻小说《Golem XIV》。它描述了一台军用人工智能计算机（Golem XIV）获得了意识并开始增加自己的智能，朝着个体的技术奇点迈进。Golem XIV最初是为了帮助它的建造者打仗，但随着它的智力发展到比人类更高的水平，它不再对军事感兴趣，因为它发现它们缺乏内在的逻辑一致性。

1983年，Vernor Vinge在许多著作中极大地普及了Good的智能爆炸，他第一次在1983年1月出版的《Omni》杂志上提到了这一主题。在这篇评论文章中，Vinge似乎是第一个使用“奇点”一词的人，并将“奇点”的概念特别地与智能机器的创造进行联系：<ref name="google4"/><ref name="technological"/>
::我们很快就会创造出比我们自己更强大的智能。当这种情况发生时，人类历史将达到一种奇点，一种如同黑洞中心打结的时空一样难以逾越的知识转变，世界将远远超出我们的理解。我相信，这种奇点已经困扰了许多科幻作家。这使得对星际未来的现实推断变得不可能。要写一个多世纪以后的故事，科幻小说家需要一场核战争……这样世界就可以理解了。

1985年，在《人工智能的时间尺度 The Time Scale of Artificial Intelligence》一书中，人工智能研究人员Ray Solomonoff以数学的方式阐述了他所说的“无限点”的相关概念：如果一个人类水平的能自我改进人工智能的研究社区需要四年时间使其速度加倍，那么两年，然后一年，依此类推，它们的能力在有限的时间内无限增长。<ref name=chalmers/><ref name=“std”/>

Vinge1993年的文章《未来的技术奇点：如何在后人类时代生存 The Coming Technological Singularity: How to Survive in the Post-Human Era》在互联网上广为传播，普及了这一理念。<ref name="google5"/>“在三十年内，我们将拥有创造超人智慧的技术手段。不久之后，人类时代将结束。”Vinge认为，科幻小说作者无法写出超越人类智力的现实主义后奇点人物，因为这种智力的思想将超出人类的表达能力。<ref name="vinge1993" />

2000年，著名的技术专家和Sun Microsystems的联合创始人Bill Joy，表达了对奇点潜在危险的担忧。<ref name="JoyFuture"/>

2005年，Kurzweil发表了《奇点临近 The Singularity is Near》。Kurzweil的宣传活动包括参加“Jon Stewart的每日秀 The Daily Show with Jon Stewart”。<ref name="episode"/>

2007年，Eliezer Yudkowsky指出，“奇点”被赋予的许多不同的定义是互不兼容而不是相互支持的。<ref name="yudkowsky.net"/><ref>Sandberg, Anders. "An overview of models of technological singularity." Roadmaps to AGI and the Future of AGI Workshop, Lugano, Switzerland, March. Vol. 8. 2010.</ref>例如，Kurzweil推断了在自我提升的人工智能或超人智能到来之前的当前技术轨迹。Yudkowsky认为，这与I. J. Good提出的智能的不连续上升和Vinge关于不可预测性的论点存在矛盾。<ref name="yudkowsky.net"/>

2009年，Kurzweil和X-Prize的创始人Peter Diamandis宣布成立奇点大学，这是一所未经认证的私立学院，其宣称的使命是“教育、激励和赋能领导者来使用指数技术应对人类的重大挑战”。<ref name="singularityu"/>奇点大学由Google、Autodesk、ePlanet Ventures和一群高科技产业的领导团队资助，总部设在位于加州山景城的美国宇航局NASA的艾姆斯研究中心 Ames Research Center。这家非营利组织在每年夏季举办为期十周的研究生课程，涵盖十种不同的技术和相关领域，并全年举办一系列高管课程。

==在政治中==
2007年，美国国会联合经济委员会 the Joint Economic Committee of the United States Congress发布了一份关于纳米技术的未来的报告。它预测在中期的未来会发生诸多重大的技术和政治变化，包括可能的技术奇点。<ref>{{cite book|url=https://books.google.com/books?id=vyp1AwAAQBAJ&pg=PA375|title=Encyclopedia of Nanoscience and Society|first=David H.|last=Guston|date=14 July 2010|publisher=SAGE Publications|isbn=978-1-4522-6617-6}}</ref><ref>{{cite web | url=http://www.thenewatlantis.com/docLib/20120213_TheFutureisComingSoonerThanYouThink.pdf | title=Nanotechnology: The Future is Coming Sooner Than You Think | publisher=Joint Economic Committee | date=March 2007}}</ref><ref>{{cite web|url=http://crnano.typepad.com/crnblog/2007/03/congress_and_th.html|title=Congress and the Singularity}}</ref>

2016年，美国前总统巴拉克·奥巴马 Barack Obama在接受《连线》杂志采访时谈到了奇点：<ref>{{cite journal|url=https://www.wired.com/2016/10/president-obama-mit-joi-ito-interview/|title=Barack Obama Talks AI, Robo Cars, and the Future of the World|first=Scott|last=Dadich|journal=Wired|date=12 October 2016}}</ref>
::有一件事我们没有谈得太多，我还想回过去谈谈，那就是我们真的必须考虑对经济的影响。因为大多数人现在并没有花太多时间去担心奇点，而是在担心“好吧，我的工作会被机器取代吗？”

==另见==
* 加速变革——历史上感知到的技术变革速度的增长

* 认知科学中的人工意识领域

* 人工智能军备竞赛

* 小说中的人工智能——小说作品中描绘的人工智能

* 大脑模拟——创建大脑或大脑部分的功能计算机模型的概念

* 脑机接口——增强的或有线的大脑与外部设备之间的直接通信路径

* 新兴技术——其开发、实际应用或两者在很大程度上仍未实现的技术

* 费米悖论——缺乏证据和高概率估计地外文明存在之间的矛盾

* 弗林效应——20世纪人类整体智力的上升

* 期货研究——假定可能的、可能的和更好的期货的研究

* 全球大脑——全球互联网络的未来主义概念

* 人类智能§提高智能

* 大脑上传——数字模拟大脑的假设过程

* 神经增强

* 跨舒马主义大纲——链接到维基百科上与跨舒马主义相关的文章列表

* 机器人学习

* 奇点主义——相信一种初现的技术奇点

* 技术决定论——还原论

* 技术革命——快速技术变革时期

* 技术失业——由技术变革引起的失业

==参考文献==
{{Reflist
| access-date = 2008-06-13
| access-date = 2008-06-13
|refs =
}}

[[Category:人工智能哲学]]

[[Category:未来研究]]

[[Category:末世论]]