回归分析 - 版本历史

2022年7月23日 (六) 15:20 是趣木木呀

2022-07-23T15:20:26Z

是趣木木呀：/* ElasticNet 回归 */

2022-06-12T16:07:44Z

ElasticNet 回归

2022年6月12日 (日) 16:07 是趣木木呀

2022-06-12T16:07:03Z

显示更改

2022年6月12日 (日) 15:46 是趣木木呀

2022-06-12T15:46:22Z

2022年6月12日 (日) 15:30 是趣木木呀

2022-06-12T15:30:29Z

是趣木木呀：/* 外部链接 */

2022-06-12T15:26:48Z

外部链接

是趣木木呀：/* 外部连结 */

2022-06-12T15:26:12Z

外部连结

2022年6月12日 (日) 15:25 是趣木木呀

2022-06-12T15:25:47Z

2022年6月12日 (日) 15:10 是趣木木呀

2022-06-12T15:10:36Z

是趣木木呀：建立内容为“本词条由趣木木进行编写，未经过专家审校。 '''回归分析'''是一种统计学上分析数据的方法，目的在于了解两个或多个…”的新页面

2022-06-11T15:16:13Z

建立内容为“本词条由趣木木进行编写，未经过专家审校。 '''回归分析'''是一种统计学上分析数据的方法，目的在于了解两个或多个…”的新页面

新页面

本词条由趣木木进行编写，未经过专家审校。

'''回归分析'''是一种[[统计学]]上分析数据的方法，目的在于了解两个或多个变量间是否相关、其相关的方向与强度，建立数学模型以便观察特定变量，来预测研究者感兴趣的变量。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。通过回归分析我们可以由给出的自变量估计因变量的条件期望。

回归分析是建立因变量<math>Y</math>（或称依变数，反应变数）与自变量<math>X</math>（或称独变数，解释变数）之间关系的模型。[[简单线性回归]]使用一个自变量<math>X</math>，复回归使用超过一个自变量（<math>X_1, X_2 ... X_i</math>）。
==起源==
回归的最早形式是[[最小二乘法]]，由1805年的[[阿德里安-马里·勒让德|勒让德]](Legendre)<ref name="Legendre">[[Adrien-Marie Legendre|A.M. Legendre]]. [https://books.google.com/books?id=FRcOAAAAQAAJ '<nowiki/>'''Nouvelles méthodes pour la détermination des orbites des comètes''''] {{Wayback|url=https://books.google.com/books?id=FRcOAAAAQAAJ |date=20190607155946 }}, Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.</ref>，和1809年的[[卡尔·弗里德里希·高斯|高斯]](Gauss)提出<ref name="Gauss">[[Carl Friedrich Gauss|C.F. Gauss]]. '<nowiki/>'''Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum''''. (1809)</ref>。勒让德和高斯都将该方法应用于从天文观测中，来确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。高斯在1821年发表了最小二乘理论的进一步发展<ref name="Gauss2">C.F. Gauss. [https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false '<nowiki/>'''Theoria combinationis observationum erroribus minimis obnoxiae''''] {{Wayback|url=https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false |date=20190610143218 }}. (1821/1823)</ref>，包括[[高斯－马尔可夫定理]]的一个版本。

「回归」一词最早由[[法兰西斯·高尔顿]]（Francis Galton）所使用<ref>{{cite book
| last = Mogull
| first = Robert G.
| title = Second-Semester Applied Statistics
| publisher = Kendall/Hunt Publishing Company
| year = 2004
| page = 59
| isbn = 0-7575-1181-3
}}</ref><ref>{{cite journal | last=Galton | first=Francis | journal=Statistical Science | year=1989 | title=Kinship and Correlation (reprinted 1989) | url=https://archive.org/details/sim_statistical-science_1989-05_4_2/page/80 | volume=4 | jstor=2245330 | pages=80–86 | publisher=Institute of Mathematical Statistics | issue=2 | doi=10.1214/ss/1177012581}}</ref>。他曾对亲子间的身高做研究，发现父母的身高虽然会遗传给子女，但子女的身高却有逐渐回归到中等（即人的[[平均]]值）」的现象。不过当时的回归和现在的回归在意义上已不尽相同。

在1950年代和60年代，经济学家使用机械电子桌面计算器来计算回归。在1970年之前，这种计算方法有时需要长达24小时才能得出结果<ref>Rodney Ramcharan. [http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm Regressions: Why Are Economists Obessessed with Them?] {{Wayback|url=http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm |date=20200805131639 }} March 2006. Accessed 2011-12-03.</ref>。
==迴归分析原理==
*目的在于找出一条最能够代表所有观测资料的函数曲线（回归估计式）。
*用此函数代表因变数和自变数之间的关系。
===参数估计===
*[[矩估计]]（Method of Moment、MOM）
*[[最小二乘法]]（Ordinary Least Square Estimation, OLSE）
*[[最大似然估计]]（Maximum Likelihood Estimation, MLE）
==回归模型==
回归模型主要包括以下变量：
*'''''未知参数'''''，记为<math>\beta</math>，可以代表一个[[标量]]或一个[[向量]]。
*'''''自变量'''''，<math>\mathbf {X}</math>。
*'''''因变量'''''，<math>Y</math>。
回归模型将<math>Y</math>和一个关于<math>\mathbf {X}</math>和<math>\beta</math>的函数关联起来。

在不同的应用领域有各自不同的术语代替这里的“自变量”和“因变量”。
:<math>Y \approx f (\mathbf {X}, \boldsymbol{\beta} )</math>
这个估计值通常写作:<math>E(X|Y) = f (\mathbf {X}, \boldsymbol{\beta} )</math>。

在进行回归分析时，函数<math>f</math>的形式必须预先指定。有时函数<math>f</math>的形式是在对<math>Y</math>和<math>\mathbf {X}</math>关系的已有知识上建立的，而不是在数据的基础之上。如果没有这种已有知识，那么就要选择一个灵活和便于回归的<math>f</math>的形式。

假设现在未知向量<math>\beta</math>的维数为'''k'''。为了进行回归分析，必须要先有关于<math>Y</math>的信息：
*如果以'''<math>(Y,\mathbf {X})</math>'''的形式给出了<math>N</math>个数据点，当<math>N<k</math>时，大多数传统的回归分析方法都不能进行，因为数据量不够导致回归模型的系统方程不能完全确定<math>\beta</math>。
*如果恰好有<math>N=k</math>个数据点，并且函数<math>f</math>的形式是线性的，那么方程<math>Y = f (\mathbf {X}, \boldsymbol{\beta} )</math>能精确求解。这相当于解一个有<math>N</math>个未知量和<math>N</math>个方程的方程组。在<math>\mathbf{X}</math>线性无关的情况下，这个方程组有唯一解。但如果<math>f</math>是非线性形式的，解可能有多个或不存在。
*实际中<math>N>k</math>的情况占大多数。这种情况下，有足够的信息用于估计一个与数据最接近的<math>\beta</math>值，这时当回归分析应用于这些数据时，可以看作是解一个关于<math>\beta</math>的[[超定方程]]。
在最后一种情况下，回归分析提供了一种完成以下任务的工具：

⒈找出一个未知量<math>\beta</math>的解使因变量<math>Y</math>的预测值和实际值差别最小(又称[[最小二乘法]])。

⒉在特定统计假设下，回归分析使用数据中的多余信息给出关于因变量<math>Y</math>和未知量<math>\beta</math>之间的关系。
==迴归分析的种类==
===简单线性回归===
*应用时机
#以单一变数预测
#判断两变数之间相关的方向和程度
===复回归（或多变量回归）===
'''''[[复回归分析]]''''''是简单线性回归的一种延伸应用，用以了解一个依变项与两组以上自变项的函数关系。
===对数线性回归===
，是将解释变项（实验设计中的自变项）和反应变项（实验设计中的依变项）都取对数值之后再进行线性回归，所以依据解释变项的数量，可能是对数简单线性回归，也可能是对数复回归。
===非线性回归===
===对数几率回归===
===偏回归===
===自回归===
====自回归滑动平均模型====
====差分自回归滑动平均模型====
====向量自回归模型====
==参阅==
*[[曲线拟合]]
*[[估计理论]]
*[[广义线性模型]]
*[[多元正态分布]]
*[[皮尔逊积矩相关系数]]
*[[信号处理]]
*[[相关分析]]
*[[多变量统计]]
==参考资料==
{{reflist}}
==外部连结==
#[http://molecular-service-science.com/2012/09/statistics-regression/ 解读回归分析的原理及结构]

←上一版本		2022年7月23日 (六) 15:20的版本
第367行：		第367行：

	== 编者推荐 ==		== 编者推荐 ==
		+	[https://zhuanlan.zhihu.com/p/403344359 回归与因果效应 - 知乎 (zhihu.com)]
		+
		+	[https://www.sohu.com/a/327089467_698752 统计相关还是真实因果?——基于“因果推断”的新兴研究范式_识别 (sohu.com)]

	=== 集智学园课程推荐 ===		=== 集智学园课程推荐 ===

@@ 第230行： / 第230行： @@
 （2）选择变量的数目没有限制；
-（3）它可以承受双重收缩。
+（3）它可以承受双重收缩。<!-- 简单线性回归 应用时机 以单一变数预测 判断两变数之间相关的方向和程度 复回归（或多变量回归）  复回归分析是简单线性回归的一种延伸应用，用以了解一个依变项与两组以上自变项的函数关系。  对数线性回归  对数线性回归，是将解释变项（实验设计中的自变项）和反应变项（实验设计中的依变项）都取对数值之后再进行线性回归，所以依据解释变项的数量，可能是对数简单线性回归，也可能是对数复回归。  非线性回归 对数几率回归 偏回归 自回归 自回归滑动平均模型 差分自回归滑动平均模型 向量自回归模型 -->
 == 回归分析主要解决的问题 ==

←上一版本		2022年6月12日 (日) 15:30的版本
第97行：		第97行：
	#[http://molecular-service-science.com/2012/09/statistics-regression/ 解读回归分析的原理及结构]		#[http://molecular-service-science.com/2012/09/statistics-regression/ 解读回归分析的原理及结构]
	#[https://www.cnblogs.com/zhangzefei/p/9794445.html 回归分析概念及原理 - MwingFly - 博客园]（参考该文）		#[https://www.cnblogs.com/zhangzefei/p/9794445.html 回归分析概念及原理 - MwingFly - 博客园]（参考该文）
		+
		+	== 编者推荐 ==
		+
		+	=== 集智学园课程推荐 ===
		+	[https://campus.swarma.org/course/1147 统计分析]
		+
		+	[https://campus.swarma.org/course/1362 线性回归（一）]
		+
		+	[https://campus.swarma.org/course/1363 线性回归（二）]
		+
		+	[https://campus.swarma.org/course/1375 线性回归（三）与逻辑回归]

←上一版本		2022年6月12日 (日) 15:26的版本
第96行：		第96行：
	==外部链接==		==外部链接==
	#[http://molecular-service-science.com/2012/09/statistics-regression/ 解读回归分析的原理及结构]		#[http://molecular-service-science.com/2012/09/statistics-regression/ 解读回归分析的原理及结构]
		+	#[https://www.cnblogs.com/zhangzefei/p/9794445.html 回归分析概念及原理 - MwingFly - 博客园]（参考该文）

@@ 第4行： / 第4行： @@
 回归分析是建立因变量<math>Y</math>（或称依变数，反应变数）与自变量<math>X</math>（或称独变数，解释变数）之间关系的模型。[[简单线性回归]]使用一个自变量<math>X</math>，复回归使用超过一个自变量（<math>X_1, X_2 ... X_i</math>）。
 ==起源==
 回归的最早形式是[[最小二乘法]]，由1805年的[[阿德里安-马里·勒让德|勒让德]](Legendre)<ref name="Legendre">[[Adrien-Marie Legendre|A.M. Legendre]]. [https://books.google.com/books?id=FRcOAAAAQAAJ '<nowiki/>'''Nouvelles méthodes pour la détermination des orbites des comètes''''] {{Wayback|url=https://books.google.com/books?id=FRcOAAAAQAAJ |date=20190607155946 }}, Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.</ref>，和1809年的[[卡尔·弗里德里希·高斯|高斯]](Gauss)提出<ref name="Gauss">[[Carl Friedrich Gauss|C.F. Gauss]]. '<nowiki/>'''Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum''''. (1809)</ref>。勒让德和高斯都将该方法应用于从天文观测中，来确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展<ref name="Gauss2">C.F. Gauss. [https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false '<nowiki/>'''Theoria combinationis observationum erroribus minimis obnoxiae''''] {{Wayback|url=https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false |date=20190610143218 }}. (1821/1823)</ref>。
-”回归“一词最早由[[法兰西斯·高尔顿]]（Francis Galton）所使用<ref>{{cite book
+”回归“一词最早由[[法兰西斯·高尔顿]]（Francis Galton）在19世纪创造，用来描述一种生物学现象<ref>{{cite book
    | last = Mogull
    | first = Robert G.
@@ 第15行： / 第24行： @@
    | page = 59
    | isbn = 0-7575-1181-3
-}}</ref><ref>{{cite journal | last=Galton | first=Francis | journal=Statistical Science | year=1989 | title=Kinship and Correlation (reprinted 1989) | url=https://archive.org/details/sim_statistical-science_1989-05_4_2/page/80 | volume=4 | jstor=2245330 | pages=80–86 | publisher=Institute of Mathematical Statistics | issue=2 | doi=10.1214/ss/1177012581}}</ref>。他曾对亲子间的身高做研究，发现父母的身高虽然会遗传给子女，但子女的身高却有逐渐回归到中等（即人的[[平均]]值）的现象。不过当时的回归和现在的回归在意义上已不尽相同。
+}}</ref><ref>{{cite journal | last=Galton | first=Francis | journal=Statistical Science | year=1989 | title=Kinship and Correlation (reprinted 1989) | url=https://archive.org/details/sim_statistical-science_1989-05_4_2/page/80 | volume=4 | jstor=2245330 | pages=80–86 | publisher=Institute of Mathematical Statistics | issue=2 | doi=10.1214/ss/1177012581}}</ref>。他曾对亲子间的身高做研究，发现父母的身高虽然会遗传给子女，但子女的身高却有逐渐回归到中等（即人的[[平均]]值）的现象。不过当时的回归和现在的回归在意义上已不尽相同。后面他的工作被Udny Yule和Karl Pearson扩展到更一般的统计背景。在 Yule 和 Pearson 的工作中，假设了响应变量和解释变量的联合分布为高斯分布。RA Fisher在 1922 年和 1925 年的著作中削弱了这一假设。 Fisher 假设响应变量的条件分布是高斯分布，但联合分布不一定是。
 在1950年代和60年代，经济学家使用机械电子桌面计算器来计算回归。在1970年之前，这种计算方法有时需要长达24小时才能得出结果<ref>Rodney Ramcharan. [http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm Regressions: Why Are Economists Obessessed with Them?] {{Wayback|url=http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm |date=20200805131639 }} March 2006. Accessed 2011-12-03.</ref>。
 ==回归模型基础知识==
 回归模型主要包括以下变量：

@@ 第94行： / 第94行： @@
 ==参考资料==
 {{reflist}}
-==外部连结==
+==外部链接==
 #[http://molecular-service-science.com/2012/09/statistics-regression/ 解读回归分析的原理及结构]

@@ 第1行： / 第1行： @@
 本词条由趣木木进行编写，未经过专家审校。
-'''回归分析'''是一种[[统计学]]上分析数据的方法，目的在于了解两个或多个变量间是否相关、其相关的方向与强度，建立数学模型以便观察特定变量，来预测研究者感兴趣的变量。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。通过回归分析我们可以由给出的自变量估计因变量的条件期望。
+'''回归分析'''是一种利用数据统计原理，对大量统计数据进行数学处理，并确定因变量与某些自变量的相关关系，建立一个相关性较好的回归方程（函数表达式），并加以外推，用于预测今后的因变量的变化的分析方法。目的在于了解两个或多个变量间是否相关、其相关的方向与强度，观察特定变量，预测研究者感兴趣的变量。更具体的来说，回归分析可以帮助人们了解在只有一个自变量变化时因变量的变化量。通过回归分析我们可以由给出的自变量估计因变量的条件期望。
 回归分析是建立因变量<math>Y</math>（或称依变数，反应变数）与自变量<math>X</math>（或称独变数，解释变数）之间关系的模型。[[简单线性回归]]使用一个自变量<math>X</math>，复回归使用超过一个自变量（<math>X_1, X_2 ... X_i</math>）。
 ==起源==
-回归的最早形式是[[最小二乘法]]，由1805年的[[阿德里安-马里·勒让德|勒让德]](Legendre)<ref name="Legendre">[[Adrien-Marie Legendre|A.M. Legendre]]. [https://books.google.com/books?id=FRcOAAAAQAAJ '<nowiki/>'''Nouvelles méthodes pour la détermination des orbites des comètes''''] {{Wayback|url=https://books.google.com/books?id=FRcOAAAAQAAJ |date=20190607155946 }}, Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.</ref>，和1809年的[[卡尔·弗里德里希·高斯|高斯]](Gauss)提出<ref name="Gauss">[[Carl Friedrich Gauss|C.F. Gauss]]. '<nowiki/>'''Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum''''. (1809)</ref>。勒让德和高斯都将该方法应用于从天文观测中，来确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展<ref name="Gauss2">C.F. Gauss. [https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false '<nowiki/>'''Theoria combinationis observationum erroribus minimis obnoxiae''''] {{Wayback|url=https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false |date=20190610143218 }}. (1821/1823)</ref>，包括[[高斯－马尔可夫定理]]的一个版本。
+回归的最早形式是[[最小二乘法]]，由1805年的[[阿德里安-马里·勒让德|勒让德]](Legendre)<ref name="Legendre">[[Adrien-Marie Legendre|A.M. Legendre]]. [https://books.google.com/books?id=FRcOAAAAQAAJ '<nowiki/>'''Nouvelles méthodes pour la détermination des orbites des comètes''''] {{Wayback|url=https://books.google.com/books?id=FRcOAAAAQAAJ |date=20190607155946 }}, Firmin Didot, Paris, 1805. “Sur la Méthode des moindres quarrés” appears as an appendix.</ref>，和1809年的[[卡尔·弗里德里希·高斯|高斯]](Gauss)提出<ref name="Gauss">[[Carl Friedrich Gauss|C.F. Gauss]]. '<nowiki/>'''Theoria Motus Corporum Coelestium in Sectionibus Conicis Solem Ambientum''''. (1809)</ref>。勒让德和高斯都将该方法应用于从天文观测中，来确定关于太阳的物体的轨道（主要是彗星，但后来是新发现的小行星）的问题。 高斯在1821年发表了最小二乘理论的进一步发展<ref name="Gauss2">C.F. Gauss. [https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false '<nowiki/>'''Theoria combinationis observationum erroribus minimis obnoxiae''''] {{Wayback|url=https://books.google.com/books?id=ZQ8OAAAAQAAJ&printsec=frontcover&dq=Theoria+combinationis+observationum+erroribus+minimis+obnoxiae&as_brr=3#v=onepage&q=&f=false |date=20190610143218 }}. (1821/1823)</ref>。
-「回归」一词最早由[[法兰西斯·高尔顿]]（Francis Galton）所使用<ref>{{cite book
+”回归“一词最早由[[法兰西斯·高尔顿]]（Francis Galton）所使用<ref>{{cite book
    | last = Mogull
    | first = Robert G.
@@ 第18行： / 第18行： @@
 在1950年代和60年代，经济学家使用机械电子桌面计算器来计算回归。在1970年之前，这种计算方法有时需要长达24小时才能得出结果<ref>Rodney Ramcharan. [http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm Regressions: Why Are Economists Obessessed with Them?] {{Wayback|url=http://www.imf.org/external/pubs/ft/fandd/2006/03/basics.htm |date=20200805131639 }} March 2006. Accessed 2011-12-03.</ref>。
-==回归分析原理==
+==回归模型基础知识==
 回归模型主要包括以下变量：
 *'''''未知参数'''''，记为<math>\beta</math>，可以代表一个[[标量]]或一个[[向量]]。
@@ 第47行： / 第40行： @@
 ⒉在特定统计假设下，回归分析使用数据中的多余信息给出关于因变量<math>Y</math>和未知量<math>\beta</math>之间的关系。
-==回归分析的种类==
 ===简单线性回归===
 *应用时机
@@ 第63行： / 第69行： @@
 ====差分自回归滑动平均模型====
 ====向量自回归模型====
 ==参阅==
 *[[曲线拟合]]