763
个编辑
更改
无编辑摘要
数据科学与[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]和大数据有关，是一个通过科学的方法、过程、算法和系统从众多结构化和非结构化的[https://en.wikipedia.org/wiki/Data 数据]中提取[https://en.wikipedia.org/wiki/Knowledge 知识]和见解的跨学科领域。
数据科学与[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]和大数据有关，是一个通过科学的方法、过程、算法和系统从众多结构化和非结构化的[https://en.wikipedia.org/wiki/Data 数据]中提取[https://en.wikipedia.org/wiki/Knowledge 知识]和见解的跨学科领域。
<ref name=":0">
<ref name=":0">
Simply Statistics.
Simply Statistics.
</ref>
</ref>
数据科学的概念结合了统计学、数据分析、机器学习等相关方法，以便于借助数据理解和分析实际现象。
数据科学的概念结合了统计学、数据分析、机器学习等相关方法，以便于借助数据理解和分析实际现象。
<ref name="Hayashi" />
<ref name="Hayashi" />
== Foundations背景 ==
== 背景 ==
数据科学是一个跨学科的领域，致力于从数据集中提取知识，这些数据集通常都很大（请参阅[[大数据]]）。<ref>
数据科学是一个跨学科的领域，致力于从数据集中提取知识，这些数据集通常都很大（请参阅[[大数据]]）。<ref>
{{Cite web|url=http://www.datascienceassn.org/about-data-science|title=About Data Science {{!}} Data Science Association|website=www.datascienceassn.org|access-date=2020-04-03}}
{{Cite web|url=http://www.datascienceassn.org/about-data-science|title=About Data Science {{!}} Data Science Association|website=www.datascienceassn.org|access-date=2020-04-03}}
</ref> 2015年，美国统计协会（American Statistical Association）将数据库管理、统计和机器学习，以及分布式和并行系统确定为三个新兴的基础专业领域。<ref>{{Cite web|url=https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|title=ASA Statement on the Role of Statistics in Data Science|date=2015-10-01|website=AMSTATNEWS|publisher=[[American Statistical Association]]|access-date=2019-05-29|archive-url=https://web.archive.org/web/20190620184935/https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|archive-date=20 June 2019|url-status=live}}</ref>
</ref> 2015年，美国统计协会（American Statistical Association）将数据库管理、统计和机器学习，以及分布式和并行系统确定为三个新兴的基础专业领域。<ref>{{Cite web|url=https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|title=ASA Statement on the Role of Statistics in Data Science|date=2015-10-01|website=AMSTATNEWS|publisher=[[American Statistical Association]]|access-date=2019-05-29|archive-url=https://web.archive.org/web/20190620184935/https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|archive-date=20 June 2019|url-status=live}}</ref>
== 术语词义衍变==
=== 早期使用 ===
“数据科学”这一术语在过去的三十年里已经出现在各种语境中，但直到最近才成为一个确定的术语。在早期，1960年它被[https://en.wikipedia.org/wiki/Peter_Naur 彼得·诺尔]（Peter Naur）用作[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的代名词。诺尔后来引入了[https://en.wikipedia.org/wiki/Datalogy “数据学”](datalogy)这一术语。
“数据科学”这一术语在过去的三十年里已经出现在各种语境中，但直到最近才成为一个确定的术语。在早期，1960年它被[https://en.wikipedia.org/wiki/Peter_Naur 彼得·诺尔]（Peter Naur）用作[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的代名词。诺尔后来引入了[https://en.wikipedia.org/wiki/Datalogy “数据学”](datalogy)这一术语。
<ref>
<ref>
}}</ref>
}}</ref>
1962年，约翰•图基（John Tukey）描述了一个他称之为“数据分析”的领域，这个领域类似于现代的数据科学。<ref name=":7">
1962年，约翰•图基（John Tukey）描述了一个他称之为“数据分析”的领域，这个领域类似于现代的数据科学。<ref name=":7">
</ref> 之后，1992年，在蒙彼利埃第二大学举办的统计研讨会上，与会者们承认了一个新的学科的出现，这个学科专注于各种来源和形式的数据，将统计和数据分析的既定概念和原则与计算结合起来。<ref>{{Cite book|title=Data science and its applications = La @science des données et ses applications|date=1995|publisher=Academic Press/Harcourt Brace|others=Escoufier, Yves., Hayashi, Chikio (1918-....)., Fichet, Bernard.|year=1995|isbn=0-12-241770-4|location=Tokyo|pages=|oclc=489990740}}</ref><ref>{{Cite journal|last=Murtagh|first=Fionn|last2=Devlin|first2=Keith|date=2018|title=The Development of Data Science: Implications for Education, Employment, Research, and the Data Revolution for Sustainable Development|url=https://www.mdpi.com/2504-2289/2/2/14|journal=Big Data and Cognitive Computing|language=en|volume=2|issue=2|pages=14|doi=10.3390/bdcc2020014|via=|doi-access=free}}</ref>
</ref> 之后，1992年，在蒙彼利埃第二大学举办的统计研讨会上，与会者们承认了一个新的学科的出现，这个学科专注于各种来源和形式的数据，将统计和数据分析的既定概念和原则与计算结合起来。<ref>{{Cite book|title=Data science and its applications = La @science des données et ses applications|date=1995|publisher=Academic Press/Harcourt Brace|others=Escoufier, Yves., Hayashi, Chikio (1918-....)., Fichet, Bernard.|year=1995|isbn=0-12-241770-4|location=Tokyo|pages=|oclc=489990740}}</ref><ref>{{Cite journal|last=Murtagh|first=Fionn|last2=Devlin|first2=Keith|date=2018|title=The Development of Data Science: Implications for Education, Employment, Research, and the Data Revolution for Sustainable Development|url=https://www.mdpi.com/2504-2289/2/2/14|journal=Big Data and Cognitive Computing|language=en|volume=2|issue=2|pages=14|doi=10.3390/bdcc2020014|via=|doi-access=free}}</ref>
“数据科学”这一术语可以追溯到1974年，当时彼得·诺尔（Peter Naur）将其作为计算机科学的替代名称提出。<ref name=":0">
“数据科学”这一术语可以追溯到1974年，当时彼得·诺尔（Peter Naur）将其作为计算机科学的替代名称提出。<ref name=":0">
</ref> 不过，关于数据科学的定义仍在不断变化。1997年，吴建福（C.F.Jeff Wu）建议将统计学重新命名为数据科学。他认为，新的名称将有助于统计学摆脱不准确的刻板印象，例如被认为是会计的同义词，或仅限于描述数据。1998年，林知己夫（Chikio Hayashi）主张将数据科学作为一个新的跨学科概念，包括三个方面：数据设计、收集和分析。
</ref> 不过，关于数据科学的定义仍在不断变化。1997年，吴建福（C.F.Jeff Wu）建议将统计学重新命名为数据科学。他认为，新的名称将有助于统计学摆脱不准确的刻板印象，例如被认为是会计的同义词，或仅限于描述数据。1998年，林知己夫（Chikio Hayashi）主张将数据科学作为一个新的跨学科概念，包括三个方面：数据设计、收集和分析。
在20世纪90年代，描述在越来越大的数据集中寻找模式的流行术语包括“知识发现”和“数据挖掘”<ref name=":1">{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/|title=A Very Short History Of Data Science|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref><ref name=":0" />
在20世纪90年代，描述在越来越大的数据集中寻找模式的流行术语包括“知识发现”和“数据挖掘”<ref name=":1">{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/|title=A Very Short History Of Data Science|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref><ref name=":0" />
=== 现代用法 ===
数据科学作为一门独立学科的现代概念，一定程度上归功于威廉 · s · 克利夫兰（William S. Cleveland）。<ref>
数据科学作为一门独立学科的现代概念，一定程度上归功于威廉 · s · 克利夫兰（William S. Cleveland）。<ref>
{{Cite web|url=https://www.stat.purdue.edu/~wsc/|title=William S Cleveland|last=Gupta|first=Shanti|date=December 11, 2015|website=|url-status=live|archive-url=|archive-date=|access-date=April 2, 2020}}
{{Cite web|url=https://www.stat.purdue.edu/~wsc/|title=William S Cleveland|last=Gupta|first=Shanti|date=December 11, 2015|website=|url-status=live|archive-url=|archive-date=|access-date=April 2, 2020}}
</ref>2014年，美国统计协会将其统计学习与数据挖掘部更名为统计学习与数据科学部，这反映了数据科学的日益普及。
</ref>2014年，美国统计协会将其统计学习与数据挖掘部更名为统计学习与数据科学部，这反映了数据科学的日益普及。
2008年，帕蒂尔（DJ Patil）和杰弗·哈梅巴赫（Jeff Hammerbacher）共同提出了“数据科学家”这一职称名词。<ref>
2008年，帕蒂尔（DJ Patil）和杰弗·哈梅巴赫（Jeff Hammerbacher）共同提出了“数据科学家”这一职称名词。<ref>
目前，对于数据科学的定义依旧没有达成共识，有些人认为这是一个流行词。<ref>{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/08/19/data-science-whats-the-half-life-of-a-buzzword/|title=Data Science: What's The Half-Life Of A Buzzword?|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref>
==研究内容==
==研究内容==
===数据科学基础理论===
===数据科学基础理论===
数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。在此需要特别提醒的是--"基础理论"与"理论基础"是两个不同的概念。数据科学的"基础理论"在数据科学的研究边界之内，而其"理论基础"在数据科学的研究边界之外，是数据科学的理论依据和来源。
数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。在此需要特别提醒的是--"基础理论"与"理论基础"是两个不同的概念。数据科学的"基础理论"在数据科学的研究边界之内，而其"理论基础"在数据科学的研究边界之外，是数据科学的理论依据和来源。
===数据预处理===
===数据预处理===
为了提升数据质量、降低数据计算的复杂度、减少数据计算量以及提升数据处理的准确性，数据科学中需要对原始数据进行预处理--进行数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据规约和数据标注等。
为了提升数据质量、降低数据计算的复杂度、减少数据计算量以及提升数据处理的准确性，数据科学中需要对原始数据进行预处理--进行数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据规约和数据标注等。
===数据计算===
===数据计算===
在数据科学中，计算模式发生了根本性的变化--从集中式计算、分布式计算、网格计算等传统计算过渡至云计算。有一定的代表性的是Google云计算3大技术、Hadoop MapReduce和YARN技术的出现。数据计算模式的变化意味着数据科学中所关注的数据计算的主要目标、瓶颈和矛盾发生了根本性变化。
在数据科学中，计算模式发生了根本性的变化--从集中式计算、分布式计算、网格计算等传统计算过渡至云计算。有一定的代表性的是Google云计算3大技术、Hadoop MapReduce和YARN技术的出现。
数据计算模式的变化意味着数据科学中所关注的数据计算的主要目标、瓶颈和矛盾发生了根本性变化。
===数据管理===
===数据管理===
在完成"数据预处理"(或"数据计算")之后，我们需要对数据进行管理，以便进行(再次进行)"数据处理"以及数据的再利用和长久保管。在数据科学中，数据管理方法与技术发生了根本性的改变--不仅包括传统关系型数据库，而且还出现了一些新兴数据管理技术，例如NoSQL、NewSQL技术和关系云等。
在完成"数据预处理"(或"数据计算")之后，我们需要对数据进行管理，以便进行(再次进行)"数据处理"以及数据的再利用和长久保管。在数据科学中，数据管理方法与技术发生了根本性的改变--不仅包括传统关系型数据库，而且还出现了一些新兴数据管理技术，例如NoSQL、NewSQL技术和关系云等。
== Careers in data science 数据科学的相关职业==
==数据科学的相关职业==
Data science is a growing field. A career as a data scientist is ranked at the third best job in America for 2020 by Glassdoor, and was ranked the number one best job from 2016-2019.<ref>{{Cite web|url=https://www.glassdoor.com/List/Best-Jobs-in-America-LST_KQ0,20.htm|title=Best Jobs in America|website=Glassdoor|language=en|access-date=2020-04-03}}</ref> Data scientists have a median salary of $118,370 per year or $56.91 per hour.<ref name=":2">{{Cite web|url=https://www.bls.gov/ooh/computer-and-information-technology/computer-and-information-research-scientists.htm|title=Computer and Information Research Scientists : Occupational Outlook Handbook: : U.S. Bureau of Labor Statistics|website=www.bls.gov|language=en-us|access-date=2020-04-03}}</ref> Job growth in this field is also above average, with a projected increase of 16% from 2018 to 2028.<ref name=":2" /> The largest employer of data scientists in the US is the federal government, employing 28% of the data science workforce.<ref name=":2" /> Other large employers of data scientists are computer system design services, research and development laboratories, and colleges and universities.<ref name=":2" /> Typically, data scientists work full time, and some work more than 40 hours a week.<ref name=":2" />
Data science is a growing field. A career as a data scientist is ranked at the third best job in America for 2020 by Glassdoor, and was ranked the number one best job from 2016-2019.<ref>{{Cite web|url=https://www.glassdoor.com/List/Best-Jobs-in-America-LST_KQ0,20.htm|title=Best Jobs in America|website=Glassdoor|language=en|access-date=2020-04-03}}</ref> Data scientists have a median salary of $118,370 per year or $56.91 per hour.<ref name=":2">{{Cite web|url=https://www.bls.gov/ooh/computer-and-information-technology/computer-and-information-research-scientists.htm|title=Computer and Information Research Scientists : Occupational Outlook Handbook: : U.S. Bureau of Labor Statistics|website=www.bls.gov|language=en-us|access-date=2020-04-03}}</ref> Job growth in this field is also above average, with a projected increase of 16% from 2018 to 2028.<ref name=":2" /> The largest employer of data scientists in the US is the federal government, employing 28% of the data science workforce.<ref name=":2" /> Other large employers of data scientists are computer system design services, research and development laboratories, and colleges and universities.<ref name=":2" /> Typically, data scientists work full time, and some work more than 40 hours a week.<ref name=":2" />
数据科学是一个不断发展的领域。2020年，Glassdoor(美国一家职业点评网站)评出的美国最佳职业中，数据科学家位居第三，而在2016-2019年的最佳职业中，位居第一。数据科学家的平均薪资为每年118,370美元或每小时56.91美元。该领域的就业增长率也高于平均水平，预计从2018年到2028年将增长16%。美国的数据科学家的最大雇佣方是美国联邦政府，占比28%；其他主要雇主包括计算机系统设计服务、研究和开发实验室以及高等院校。通常情况下，数据科学家为全职工作，有些人每周工作时间超过40小时。
数据科学是一个不断发展的领域。2020年，Glassdoor(美国一家职业点评网站)评出的美国最佳职业中，数据科学家位居第三，而在2016-2019年的最佳职业中，位居第一。<ref>{{Cite web|url=https://www.glassdoor.com/List/Best-Jobs-in-America-LST_KQ0,20.htm|title=Best Jobs in America|website=Glassdoor|language=en|access-date=2020-04-03}}</ref> 数据科学家的平均薪资为每年118,370美元或每小时56.91美元。<ref name=":2">{{Cite web|url=https://www.bls.gov/ooh/computer-and-information-technology/computer-and-information-research-scientists.htm|title=Computer and Information Research Scientists : Occupational Outlook Handbook: : U.S. Bureau of Labor Statistics|website=www.bls.gov|language=en-us|access-date=2020-04-03}}</ref> 该领域的就业增长率也高于平均水平，预计从2018年到2028年将增长16%。<ref name=":2" />美国的数据科学家的最大雇佣方是美国联邦政府，占比28%；其他主要雇主包括计算机系统设计服务、研究和开发实验室以及高等院校。<ref name=":2" /> 通常情况下，数据科学家为全职工作，有些人每周工作时间超过40小时。
'''专业细分和相关职业'''
=== 教育路径 ===
要成为一名数据科学家，需要接受充分教育、积累大量经验。成为数据科学家的第一步通常是取得与计算或数学相关的学士学位；<ref name=":3">{{Cite web|url=https://www.mastersindatascience.org/careers/data-scientist/|title=What is a Data Scientist?|website=Master's in Data Science|language=en-US|access-date=2020-04-03}}</ref><ref name=":2" />其他领域的学士也可以通过参加编程训练营作为补充，获取资格。<ref name=":3" /> 大多数数据科学家也在该领域取得了硕士或博士学位。达成这些条件后，下一步就是申请该领域的入门级工作。一些数据科学家以后可能会选择专攻数据科学的某个分支领域。<ref name=":3" />
=== 专业细分和相关职业===
* 机器学习科学家: 机器学习科学家研究数据分析新方法，创立算法.<ref name=":4">{{Cite web|url=https://www.northeastern.edu/graduate/blog/data-science-careers-shaping-our-future/|title=11 Data Science Careers Shaping the Future|date=2018-11-23|website=Northeastern University Graduate Programs|language=en-US|access-date=2020-04-03}}</ref>
* 机器学习科学家: 机器学习科学家研究数据分析新方法，创立算法.<ref name=":4">{{Cite web|url=https://www.northeastern.edu/graduate/blog/data-science-careers-shaping-our-future/|title=11 Data Science Careers Shaping the Future|date=2018-11-23|website=Northeastern University Graduate Programs|language=en-US|access-date=2020-04-03}}</ref>
* 应用程序架构师: 应用程序架构师跟踪应用程序在整个业务中的使用情况，以及其与用户和其他应用程序的交互情况.<ref name=":4" />
* 应用程序架构师: 应用程序架构师跟踪应用程序在整个业务中的使用情况，以及其与用户和其他应用程序的交互情况.<ref name=":4" />
==数据科学的影响 ==
大数据正在迅速成为不同规模的企业和公司的重要工具。<ref name=":5">{{Cite web|url=https://www.forbes.com/sites/peterpham/2015/08/28/the-impacts-of-big-data-that-you-may-not-have-heard-of/|title=The Impacts Of Big Data That You May Not Have Heard Of|last=Pham|first=Peter|website=Forbes|language=en|access-date=2020-04-03}}</ref>大数据的可用性和对其的解释说明改变了旧行业的商业模式，并促进了新行业的产生。<ref name=":5" /> 2015年，数据驱动型企业的总价值为3330亿，到2020年，这一数值已经增长到1.2万亿。<ref name=":6">{{Cite web|url=https://towardsdatascience.com/how-data-science-will-impact-future-of-businesses-7f11f5699c4d|title=How Data Science will Impact Future of Businesses?|last=Martin|first=Sophia|date=2019-09-20|website=Medium|language=en|access-date=2020-04-03}}</ref> 数据科学家负责将大数据分解为可用信息，并创建软件和算法，来帮助公司和组织确定最佳操作。大数据持续对世界产生重大影响，由于两者之间的密切关系，数据科学也产生了同样重大的影响。<ref name=":6" />
大数据还引起了科技界对科学研究方法论的重新审视，正在引发科学研究思维与方法的一场革命。最早的科学研究只有实验科学，随后出现了以研究各种定律和定理为特征的理论科学。由于理论分析方法在许多问题上过于复杂，难以解决实际问题，人们开始寻求模拟的方法，导致计算科学的兴起。海量数据的出现催生了一种新的科研模式，即面对海量数据，科研人员只需从数据中直接查找或挖掘所需要的信息、知识和智慧，甚至无需直接接触需研究的对象。2007年，已故的图灵奖得主吉姆·格雷（Jim Gray）在他最后一次演讲中描绘了数据密集型科学研究的“第四范式”（TheFourth Paradigm），把数据密集型科学从计算科学中单独区分开来。格雷认为，要解决我们面临的某些最棘手的全球性挑战，“第四范式”可能是唯一具有系统性的方法。其实，“第四范式”不仅是科研方式的转变，也是人们思维方式的大变化。
不仅如此，数据分析几乎涉及到了现代数学的所有分支。甚至于像表示论这样的极其抽象的分支，在数据科学领域也有其发挥作用的余地。所以数据科学对数学的要求和推动是全面的，而不是仅仅局限在几个领域。数据应该成为数、图形和方程之外数学研究的基本对象之一。
不仅如此，数据分析几乎涉及到了现代数学的所有分支。甚至于像表示论这样的极其抽象的分支，在数据科学领域也有其发挥作用的余地。所以数据科学对数学的要求和推动是全面的，而不是仅仅局限在几个领域。数据应该成为数、图形和方程之外数学研究的基本对象之一。
===对计算机学科的影响===
数据科学对计算机科学的发展也会带来很大的影响。图灵奖得主John Hopcroft曾经指出，在过去的几十年里，计算机科学的研究对象主要是计算机本身，包括硬件和软件。以后计算机科学的发展将主要围绕应用展开。而从计算机科学自身来看，这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究，但数据在其中的地位将会得到更进一步的加强。
数据科学对计算机科学的发展也会带来很大的影响。图灵奖得主John Hopcroft曾经指出，在过去的几十年里，计算机科学的研究对象主要是计算机本身，包括硬件和软件。以后计算机科学的发展将主要围绕应用展开。而从计算机科学自身来看，这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究，但数据在其中的地位将会得到更进一步的加强。
===对统计学的影响===
再看统计学。统计学一直就是一门研究数据的学科。所以它也是数据科学最核心的部分之一。但在数据科学的框架之下，统计学的发展也会受到很大的冲击。
再看统计学。统计学一直就是一门研究数据的学科。所以它也是数据科学最核心的部分之一。但在数据科学的框架之下，统计学的发展也会受到很大的冲击。
这种冲击至少表现在两个方面。一是关于数据的模型将会跳出传统的统计模型的框架。更一般的数学概念，如拓扑、几何和随机场的概念将会在数据分析中扮演重要的角色。二是算法和分布式计算将成为研究的中心课题之一。
这种冲击至少表现在两个方面。一是关于数据的模型将会跳出传统的统计模型的框架。更一般的数学概念，如拓扑、几何和随机场的概念将会在数据分析中扮演重要的角色。二是算法和分布式计算将成为研究的中心课题之一。
== 所涉及的科技和技术==
根据应用的不同，数据科学采用了多种不同的科技和技术。
根据应用的不同，数据科学采用了多种不同的科技和技术。
=== Techniques ===
=== 技术 ===
*[[聚类分析|聚类]]是一种将数据分组整合的技术。
*[[聚类分析|聚类]]是一种将数据分组整合的技术。
聚类，将相似的事物聚集在一起，将不相似的事物划分到不同的类别的过程。是将复杂数据简化为少数类别的一种手段。聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。
聚类，将相似的事物聚集在一起，将不相似的事物划分到不同的类别的过程。是将复杂数据简化为少数类别的一种手段。聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。
聚类的基本思想：
聚类的基本思想：
*[[降维]]用于降低数据计算的复杂度，从而提高计算速度。
*[[降维]]用于降低数据计算的复杂度，从而提高计算速度。
数据降维可以降低模型的计算量并减少模型运行时间、降低噪音变量信息对于模型结果的影响、便于通过可视化方式展示归约后的维度信息并减少数据存储空间。因此，大多数情况下，当我们面临高维数据时，都需要对数据做降维处理。
数据降维可以降低模型的计算量并减少模型运行时间、降低噪音变量信息对于模型结果的影响、便于通过可视化方式展示归约后的维度信息并减少数据存储空间。因此，大多数情况下，当我们面临高维数据时，都需要对数据做降维处理。
数据降维有两种方式：特征选择，维度转换。
数据降维有两种方式：特征选择，维度转换。
# 特征选择
#特征选择
特征选择指根据一定的规则和经验，直接在原有的维度中挑选一部分参与到计算和建模过程，用选择的特征代替所有特征，不改变原有特征，也不产生新的特征值。
特征选择指根据一定的规则和经验，直接在原有的维度中挑选一部分参与到计算和建模过程，用选择的特征代替所有特征，不改变原有特征，也不产生新的特征值。
特征选择的降维方式好处是可以保留原有维度特征的基础上进行降维，既能满足后续数据处理和建模需求，又能保留维度原本的业务含义，以便于业务理解和应用。对于业务分析性的应用而言，模型的可理解性和可用性很多时候要有限于模型本身的准确率、效率等技术指标。例如，决策树得到的特征规则，可以作为选择用户样本的基础条件，而这些特征规则便是基于输入的维度产生。
特征选择的降维方式好处是可以保留原有维度特征的基础上进行降维，既能满足后续数据处理和建模需求，又能保留维度原本的业务含义，以便于业务理解和应用。对于业务分析性的应用而言，模型的可理解性和可用性很多时候要有限于模型本身的准确率、效率等技术指标。例如，决策树得到的特征规则，可以作为选择用户样本的基础条件，而这些特征规则便是基于输入的维度产生。
*[[机器学习]]是一种通过从数据中推断模式来执行任务的技术。
*[[机器学习]]是一种通过从数据中推断模式来执行任务的技术。
专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。机器学习也是用数据或以往的经验,以此优化计算机程序的性能标准。
专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。机器学习也是用数据或以往的经验,以此优化计算机程序的性能标准。
=== Technologies ===
=== 科技 ===
* [[Python(编程语言)|Python]]是数据科学中广泛使用的一种语法简单的编程语言。<ref>{{Cite web|url=https://sites.engineering.ucsb.edu/~shell/che210d/python.pdf|title=An introduction to Python for scientific computing|last=Shell|first=M Scott|date=September 24, 2019|website=|url-status=live|archive-url=|archive-date=|access-date=April 2, 2020}}</ref>数据科学中使用了大量的python库，包括numpy、panda和scipy。
*[[R(程序设计语言)|R]]语言是一种为统计学家和数据挖掘而设计的编程语言，<ref>{{Cite web|url=https://cran.r-project.org/doc/FAQ/R-FAQ.html#What-is-R_003f|title=R FAQ|website=cran.r-project.org|access-date=2020-04-03}}</ref> 并优化了计算。
* [[R (programming language)|R]] is a programming language that was designed for statisticians and data mining<ref>{{Cite web|url=https://cran.r-project.org/doc/FAQ/R-FAQ.html#What-is-R_003f|title=R FAQ|website=cran.r-project.org|access-date=2020-04-03}}</ref> and is optimized for computation.
*[[TensorFlow]]是由Google开发的用于创建机器学习模型的框架。
*[[TensorFlow]]是由Google开发的用于创建机器学习模型的框架。
Tensorflow拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展，并使开发者能够轻松地构建和部署由机器学习提供支持的应用。TensorFlow也是一个基于'''数据流编程（Dataflow Programming）''' 的符号数学系统，被广泛应用于各类'''机器学习（Machine Learning）'''算法的编程实现，其前身是谷歌的神经网络算法库DistBelief 。
Tensorflow拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展，并使开发者能够轻松地构建和部署由机器学习提供支持的应用。TensorFlow也是一个基于'''数据流编程（Dataflow Programming）''' 的符号数学系统，被广泛应用于各类'''机器学习（Machine Learning）'''算法的编程实现，其前身是谷歌的神经网络算法库DistBelief 。
Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究 。
Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究 。
TensorFlow由谷歌人工智能团队'''谷歌大脑（Google Brain）''' 开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类'''应用程序接口（Application Programming Interface）''' 。自2015年11月9日起，TensorFlow依据'''阿帕奇授权协议 Apache 2.0 open source license''' 开放源代码 。
TensorFlow由谷歌人工智能团队'''谷歌大脑（Google Brain）''' 开发和维护，拥有包括TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud在内的多个项目以及各类'''应用程序接口（Application Programming Interface）''' 。自2015年11月9日起，TensorFlow依据'''阿帕奇授权协议 Apache 2.0 open source license''' 开放源代码 。
*[[Pytorch]]是Facebook开发的另一个机器学习框架。
*[[Pytorch]]是Facebook开发的另一个机器学习框架。
*[[Jupyter Notebook]]是一个用于Python的交互式web界面，可以更快地进行实验。
*[[Jupyter Notebook]]是一个用于Python的交互式web界面，可以更快地进行实验。
*[[Tableau软件|Tableau]]制作了许多用于数据可视化的软件。<ref>{{Cite journal|url=https://www.wired.com/2014/07/a-drag-and-drop-toolkit-that-lets-anyone-create-interactive-maps/|journal=Wired|access-date=2020-04-03|title=A Dead-Simple Tool That Lets Anyone Create Interactive Maps|date=15 July 2014|last1=Rhodes|first1=Margaret}}</ref>.
* [[Tableau Software|Tableau]] makes a variety of software that is used for data visualization<ref>{{Cite journal|url=https://www.wired.com/2014/07/a-drag-and-drop-toolkit-that-lets-anyone-create-interactive-maps/|journal=Wired|access-date=2020-04-03|title=A Dead-Simple Tool That Lets Anyone Create Interactive Maps|date=15 July 2014|last1=Rhodes|first1=Margaret}}</ref>.
*[[Apache Hadoop]]是一个用于在大型分布式系统上处理数据的软件框架。
*[[Apache Hadoop]]是一个用于在大型分布式系统上处理数据的软件框架。
它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。
它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。
==与机器学习、人工智能之间的异同==
==与机器学习、人工智能之间的异同==
*机器学习产生预测
*机器学习产生预测
*人工智能产生行为
*人工智能产生行为
===数据科学负责见解===
===数据科学负责见解===
数据科学与其他两个领域不同，因为它的目标跟人类的目标尤其接近：获得洞察力和理解力。'''杰夫·利克（Jeff Leek）''' 对数据科学所能达到的见解类型有一个很好的定义，包括描述性，探索性和因果关系。
数据科学与其他两个领域不同，因为它的目标跟人类的目标尤其接近：获得洞察力和理解力。'''杰夫·利克（Jeff Leek）''' 对数据科学所能达到的见解类型有一个很好的定义，包括描述性，探索性和因果关系。
同样，并不是所有产生见解的东西都有资格成为数据科学(数据科学的经典定义是它包含了统计、软件工程和领域专家的结合)。但是我们可以用这个定义把数据科学同机器学习和人工智能区别出来。它们之间的主要区别在于，在数据科学中，总是有一个人在循环当中：某人理解这个观点，看到数字，或者从结论中获益。说“下棋算法使用数据科学来选择下一步行动”，或者“谷歌地图使用数据科学来推荐驾驶方向”都是毫无意义的。
同样，并不是所有产生见解的东西都有资格成为数据科学(数据科学的经典定义是它包含了统计、软件工程和领域专家的结合)。但是我们可以用这个定义把数据科学同机器学习和人工智能区别出来。它们之间的主要区别在于，在数据科学中，总是有一个人在循环当中：某人理解这个观点，看到数字，或者从结论中获益。说“下棋算法使用数据科学来选择下一步行动”，或者“谷歌地图使用数据科学来推荐驾驶方向”都是毫无意义的。
因此，数据科学的定义强调：
因此，数据科学的定义强调：
#沟通
#沟通
数据科学家可能使用一些简单的工具：可以报告百分比，并根据SQL查询绘制线形图。还可以使用非常复杂的方法:可能与分布数据商店合作，分析数以万亿计的记录，开发前沿的统计技术，建立交互式可视化。不管使用什么，目的是为了更好地理解数据。
数据科学家可能使用一些简单的工具：可以报告百分比，并根据SQL查询绘制线形图。还可以使用非常复杂的方法:可能与分布数据商店合作，分析数以万亿计的记录，开发前沿的统计技术，建立交互式可视化。不管使用什么，目的是为了更好地理解数据。
===机器学习负责预测===
===机器学习负责预测===
机器学习是一个预测领域：“给定实例X具有特定的特征然后进行预测”。这些预测可能是关于未来的(“预测这个病人是否会进入脓毒症”)，但也可能是对于计算机来说并不是很轻易就识别出来的一些特质(“预测这个图像是否有鸟在里面”)。几乎所有的Kaggle竞赛都认为是机器学习的问题:提供一些训练数据，然后看看竞争对手能否对新的例子做出准确的预测。
机器学习是一个预测领域：“给定实例X具有特定的特征然后进行预测”。这些预测可能是关于未来的(“预测这个病人是否会进入脓毒症”)，但也可能是对于计算机来说并不是很轻易就识别出来的一些特质(“预测这个图像是否有鸟在里面”)。几乎所有的Kaggle竞赛都认为是机器学习的问题:提供一些训练数据，然后看看竞争对手能否对新的例子做出准确的预测。
数据科学和机器学习之间有很多重叠。例如，可以使用逻辑回归得出见解的关系(“富裕的用户更有可能会买我们的产品,所以我们应该改变我们的营销策略”),从而进行预测(“该用户有53%机会购买我们的产品,所以应该把产品推荐给他们”)。
数据科学和机器学习之间有很多重叠。例如，可以使用逻辑回归得出见解的关系(“富裕的用户更有可能会买我们的产品,所以我们应该改变我们的营销策略”),从而进行预测(“该用户有53%机会购买我们的产品,所以应该把产品推荐给他们”)。
像随机森林这种模型可解释性稍差，更适合“机器学习”的描述，而深度学习等方法则难以解释。如果你的目标是获取真知灼见，而不是做出预测，这可能会妨碍你。因此，我们可以假设有一个数据科学和机器学习的“光谱”，更倾向于数据科学的可解释模型和机器学习方面更多的“黑匣子”模型。
像随机森林这种模型可解释性稍差，更适合“机器学习”的描述，而深度学习等方法则难以解释。如果你的目标是获取真知灼见，而不是做出预测，这可能会妨碍你。因此，我们可以假设有一个数据科学和机器学习的“光谱”，更倾向于数据科学的可解释模型和机器学习方面更多的“黑匣子”模型。
大多数的实践者会在两个任务之间来回切换非常轻松。在我的工作中使用了机器学习和数据科学：我可以在Stack Overflow上安装一个模型，以确定哪些用户可能正在寻找工作(机器学习)，然后构建总结和可视化来检验模型的工作原理(数据科学)。 这是发现模型中的缺陷，并与算法偏见作斗争的重要途径。这是数据科学家经常负责开发产品的机器学习组件的原因之一。
===人工智能负责行为===
===人工智能负责行为===
人工智能是这三个名称当中迄今为止最古老以及最广为人知的，因此它的定义也是最具有挑战性的。感谢那些寻求金钱或关注的研究人员、记者和初创公司，使得人工智能这一术语被大量的传播和营销。
在“人工智能”的所有定义中，有一个共同点就是自主代理人执行或推荐操作(例如Poole, Mackworth和Goebel 1998, Russell和Norvig 2003)。一些我认为应该描述为AI的系统包括：
游戏算法(Deep Blue，AlphaGo)
#游戏算法(Deep Blue，AlphaGo)
机器人技术与控制理论(运动规划，行走两足机器人)
#机器人技术与控制理论(运动规划，行走两足机器人)
优化(谷歌地图选择路线)
#优化(谷歌地图选择路线)
自然语言处理(bots)
#自然语言处理(bots)
强化学习
#强化学习
同样，我们可以看到很多与其他领域的重叠。深度学习既属于机器学习范畴，又属于AI领域，这是非常有趣的。典型的用例是对数据进行训练，然后生成预测，在像AlphaGo这样的博弈算法中已经取得了巨大的成功。
同样，我们可以看到很多与其他领域的重叠。深度学习既属于机器学习范畴，又属于AI领域，这是非常有趣的。典型的用例是对数据进行训练，然后生成预测，在像AlphaGo这样的博弈算法中已经取得了巨大的成功。
但也有区别。如果我分析一些销售数据并发现特定行业的客户比其他行业的客户更新更多，那么输出是一些数字和图形，而不是特定的操作。(高管们可能会用这些结论来调整销售策略，但这种做法并不是自动的)。
但也有区别。如果我分析一些销售数据并发现特定行业的客户比其他行业的客户更新更多，那么输出是一些数字和图形，而不是特定的操作。(高管们可能会用这些结论来调整销售策略，但这种做法并不是自动的)。
人工智能和机器学习之间的区别更加微妙，历史上的机器学习经常被认为是人工智能的一个分支(特别是计算机视觉，这是一个典型的人工智能问题)。但我认为，机器学习领域很大程度上已经从人工智能独立出来了，部分原因是上面描述的反弹案例:大多数从事预测问题的人不喜欢把自己描述为人工智能研究人员。
人工智能和机器学习之间的区别更加微妙，历史上的机器学习经常被认为是人工智能的一个分支(特别是计算机视觉，这是一个典型的人工智能问题)。但我认为，机器学习领域很大程度上已经从人工智能独立出来了，部分原因是上面描述的反弹案例:大多数从事预测问题的人不喜欢把自己描述为人工智能研究人员。
===案例研究：三项技术如何一起使用？===
===案例研究：三项技术如何一起使用？===
假设正在建造一辆无人驾驶车，现在卡在了停车标志这个具体问题上面。我们需要用到这三个领域之间的相关技术。
假设正在建造一辆无人驾驶车，现在卡在了停车标志这个具体问题上面。我们需要用到这三个领域之间的相关技术。
机器学习:汽车必须通过摄像头识别停车标志。我们构建了数以百万计的街边物体照片数据集，并训练算法来预测哪些街边是有停车标志。
机器学习:汽车必须通过摄像头识别停车标志。我们构建了数以百万计的街边物体照片数据集，并训练算法来预测哪些街边是有停车标志。
人工智能:一旦汽车能够识别停车标志，它就需要决定何时采取刹车动作。我们需要它能够根据不同的路况进行判断(例如，在湿滑的路面上要能知道不能刹车刹的太快)，太早或太晚都是有危险的，这属于控制理论的范畴。
人工智能:一旦汽车能够识别停车标志，它就需要决定何时采取刹车动作。我们需要它能够根据不同的路况进行判断(例如，在湿滑的路面上要能知道不能刹车刹的太快)，太早或太晚都是有危险的，这属于控制理论的范畴。
数据科学:街头测试的结果证明这辆车的性能还不够好，在某些场景下面，它可能沿着停车标志额右边行驶，但是这种情况漏报了。在分析了街道测试数据之后，我们得到了结论，漏报场景的概念根据一天当中不同的时间段有关:在日出之前或日落之后，更有可能错过一个停车标志。我们发现了大部分的数据集里面的数据只包含了白天的物体，因此又构造了一个更好的数据集，它包括了夜间图像，然后重新回到机器学习步骤。
数据科学:街头测试的结果证明这辆车的性能还不够好，在某些场景下面，它可能沿着停车标志额右边行驶，但是这种情况漏报了。在分析了街道测试数据之后，我们得到了结论，漏报场景的概念根据一天当中不同的时间段有关:在日出之前或日落之后，更有可能错过一个停车标志。我们发现了大部分的数据集里面的数据只包含了白天的物体，因此又构造了一个更好的数据集，它包括了夜间图像，然后重新回到机器学习步骤。
来源：https://blog.csdn.net/dev_csdn/article/details/79127658 翻译原文http://varianceexplained.org/r/ds-ml-ai/ 原文作者：David Robinson
来源：https://blog.csdn.net/dev_csdn/article/details/79127658 翻译原文http://varianceexplained.org/r/ds-ml-ai/ 原文作者：David Robinson
==与统计学的关系==
==与统计学的关系==