更改

数据科学与[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]和大数据有关，是一个通过科学的方法、过程、算法和系统从众多结构化和非结构化的[https://en.wikipedia.org/wiki/Data 数据]中提取[https://en.wikipedia.org/wiki/Knowledge 知识]和见解的跨学科领域。

数据科学与[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]和大数据有关，是一个通过科学的方法、过程、算法和系统从众多结构化和非结构化的[https://en.wikipedia.org/wiki/Data 数据]中提取[https://en.wikipedia.org/wiki/Knowledge 知识]和见解的跨学科领域。

== Foundations背景 ==

== Foundations背景 ==

数据科学是一个跨学科的领域，致力于从数据集中提取知识，这些数据集通常都很大（请参阅[[大数据]]）。<ref>

数据科学是一个跨学科的领域，致力于从数据集中提取知识，这些数据集通常都很大（请参阅[[大数据]]）。<ref>

{{Cite web|url=http://www.datascienceassn.org/about-data-science|title=About Data Science {{!}} Data Science Association|website=www.datascienceassn.org|access-date=2020-04-03}}

{{Cite web|url=http://www.datascienceassn.org/about-data-science|title=About Data Science {{!}} Data Science Association|website=www.datascienceassn.org|access-date=2020-04-03}}

</ref> 2015年，美国统计协会（American Statistical Association）将数据库管理、统计和机器学习，以及分布式和并行系统确定为三个新兴的基础专业领域。<ref>{{Cite web|url=https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|title=ASA Statement on the Role of Statistics in Data Science|date=2015-10-01|website=AMSTATNEWS|publisher=[[American Statistical Association]]|access-date=2019-05-29|archive-url=https://web.archive.org/web/20190620184935/https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|archive-date=20 June 2019|url-status=live}}</ref>

</ref> 2015年，美国统计协会（American Statistical Association）将数据库管理、统计和机器学习，以及分布式和并行系统确定为三个新兴的基础专业领域。<ref>{{Cite web|url=https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|title=ASA Statement on the Role of Statistics in Data Science|date=2015-10-01|website=AMSTATNEWS|publisher=[[American Statistical Association]]|access-date=2019-05-29|archive-url=https://web.archive.org/web/20190620184935/https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|archive-date=20 June 2019|url-status=live}}</ref>

“数据科学”这一术语在过去的三十年里已经出现在各种语境中，但直到最近才成为一个确定的术语。在早期，1960年它被[https://en.wikipedia.org/wiki/Peter_Naur 彼得·诺尔]（Peter Naur）用作[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的代名词。诺尔后来引入了[https://en.wikipedia.org/wiki/Datalogy “数据学”](datalogy)这一术语。

“数据科学”这一术语在过去的三十年里已经出现在各种语境中，但直到最近才成为一个确定的术语。在早期，1960年它被[https://en.wikipedia.org/wiki/Peter_Naur 彼得·诺尔]（Peter Naur）用作[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的代名词。诺尔后来引入了[https://en.wikipedia.org/wiki/Datalogy “数据学”](datalogy)这一术语。

<ref>

<ref>

}}</ref>

}}</ref>

1962年，约翰•图基（John Tukey）描述了一个他称之为“数据分析”的领域，这个领域类似于现代的数据科学。<ref name=":7">

1962年，约翰•图基（John Tukey）描述了一个他称之为“数据分析”的领域，这个领域类似于现代的数据科学。<ref name=":7">

</ref> 之后，1992年，在蒙彼利埃第二大学举办的统计研讨会上，与会者们承认了一个新的学科的出现，这个学科专注于各种来源和形式的数据，将统计和数据分析的既定概念和原则与计算结合起来。<ref>{{Cite book|title=Data science and its applications = La @science des données et ses applications|date=1995|publisher=Academic Press/Harcourt Brace|others=Escoufier, Yves., Hayashi, Chikio (1918-....)., Fichet, Bernard.|year=1995|isbn=0-12-241770-4|location=Tokyo|pages=|oclc=489990740}}</ref><ref>{{Cite journal|last=Murtagh|first=Fionn|last2=Devlin|first2=Keith|date=2018|title=The Development of Data Science: Implications for Education, Employment, Research, and the Data Revolution for Sustainable Development|url=https://www.mdpi.com/2504-2289/2/2/14|journal=Big Data and Cognitive Computing|language=en|volume=2|issue=2|pages=14|doi=10.3390/bdcc2020014|via=|doi-access=free}}</ref>   

</ref> 之后，1992年，在蒙彼利埃第二大学举办的统计研讨会上，与会者们承认了一个新的学科的出现，这个学科专注于各种来源和形式的数据，将统计和数据分析的既定概念和原则与计算结合起来。<ref>{{Cite book|title=Data science and its applications = La @science des données et ses applications|date=1995|publisher=Academic Press/Harcourt Brace|others=Escoufier, Yves., Hayashi, Chikio (1918-....)., Fichet, Bernard.|year=1995|isbn=0-12-241770-4|location=Tokyo|pages=|oclc=489990740}}</ref><ref>{{Cite journal|last=Murtagh|first=Fionn|last2=Devlin|first2=Keith|date=2018|title=The Development of Data Science: Implications for Education, Employment, Research, and the Data Revolution for Sustainable Development|url=https://www.mdpi.com/2504-2289/2/2/14|journal=Big Data and Cognitive Computing|language=en|volume=2|issue=2|pages=14|doi=10.3390/bdcc2020014|via=|doi-access=free}}</ref>   

“数据科学”这一术语可以追溯到1974年，当时彼得·诺尔（Peter Naur）将其作为计算机科学的替代名称提出。<ref name=":0">

“数据科学”这一术语可以追溯到1974年，当时彼得·诺尔（Peter Naur）将其作为计算机科学的替代名称提出。<ref name=":0">

</ref> 不过，关于数据科学的定义仍在不断变化。1997年，吴建福（C.F.Jeff Wu）建议将统计学重新命名为数据科学。他认为，新的名称将有助于统计学摆脱不准确的刻板印象，例如被认为是会计的同义词，或仅限于描述数据。1998年，林知己夫（Chikio Hayashi）主张将数据科学作为一个新的跨学科概念，包括三个方面：数据设计、收集和分析。

</ref> 不过，关于数据科学的定义仍在不断变化。1997年，吴建福（C.F.Jeff Wu）建议将统计学重新命名为数据科学。他认为，新的名称将有助于统计学摆脱不准确的刻板印象，例如被认为是会计的同义词，或仅限于描述数据。1998年，林知己夫（Chikio Hayashi）主张将数据科学作为一个新的跨学科概念，包括三个方面：数据设计、收集和分析。

在20世纪90年代，描述在越来越大的数据集中寻找模式的流行术语包括“知识发现”和“数据挖掘”<ref name=":1">{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/|title=A Very Short History Of Data Science|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref><ref name=":0" />   

在20世纪90年代，描述在越来越大的数据集中寻找模式的流行术语包括“知识发现”和“数据挖掘”<ref name=":1">{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/|title=A Very Short History Of Data Science|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref><ref name=":0" />   

数据科学作为一门独立学科的现代概念，一定程度上归功于威廉 · s · 克利夫兰（William S. Cleveland）。<ref>

数据科学作为一门独立学科的现代概念，一定程度上归功于威廉 · s · 克利夫兰（William S. Cleveland）。<ref>

{{Cite web|url=https://www.stat.purdue.edu/~wsc/|title=William S Cleveland|last=Gupta|first=Shanti|date=December 11, 2015|website=|url-status=live|archive-url=|archive-date=|access-date=April 2, 2020}}

{{Cite web|url=https://www.stat.purdue.edu/~wsc/|title=William S Cleveland|last=Gupta|first=Shanti|date=December 11, 2015|website=|url-status=live|archive-url=|archive-date=|access-date=April 2, 2020}}

</ref>2014年，美国统计协会将其统计学习与数据挖掘部更名为统计学习与数据科学部，这反映了数据科学的日益普及。

</ref>2014年，美国统计协会将其统计学习与数据挖掘部更名为统计学习与数据科学部，这反映了数据科学的日益普及。

2008年，帕蒂尔（DJ Patil）和杰弗·哈梅巴赫（Jeff Hammerbacher）共同提出了“数据科学家”这一职称名词。<ref>

2008年，帕蒂尔（DJ Patil）和杰弗·哈梅巴赫（Jeff Hammerbacher）共同提出了“数据科学家”这一职称名词。<ref>

</ref>尽管美国国家科学委员会(National Science Board)在其2005年的报告《长期数字数据收集: 促进21世纪的研究和教育》(Long-Lived Digital Data Collections: Enabling Research and Education in the 21st Century)中使用了这个词，但它泛指在数字化数据收集管理中起关键性作用的人。<ref>{{Cite web|url=https://www.nsf.gov/pubs/2005/nsb0540/|title=US NSF - NSB-05-40, Long-Lived Digital Data Collections Enabling Research and Education in the 21st Century|website=www.nsf.gov|access-date=2020-04-03}}</ref>

</ref>尽管美国国家科学委员会(National Science Board)在其2005年的报告《长期数字数据收集: 促进21世纪的研究和教育》(Long-Lived Digital Data Collections: Enabling Research and Education in the 21st Century)中使用了这个词，但它泛指在数字化数据收集管理中起关键性作用的人。<ref>{{Cite web|url=https://www.nsf.gov/pubs/2005/nsb0540/|title=US NSF - NSB-05-40, Long-Lived Digital Data Collections Enabling Research and Education in the 21st Century|website=www.nsf.gov|access-date=2020-04-03}}</ref>

目前，对于数据科学的定义依旧没有达成共识，有些人认为这是一个流行词。<ref>{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/08/19/data-science-whats-the-half-life-of-a-buzzword/|title=Data Science: What's The Half-Life Of A Buzzword?|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref>

目前，对于数据科学的定义依旧没有达成共识，有些人认为这是一个流行词。<ref>{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/08/19/data-science-whats-the-half-life-of-a-buzzword/|title=Data Science: What's The Half-Life Of A Buzzword?|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref>

==研究内容==

==研究内容==

===数据科学基础理论===

===数据科学基础理论===

数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。在此需要特别提醒的是--"基础理论"与"理论基础"是两个不同的概念。数据科学的"基础理论"在数据科学的研究边界之内，而其"理论基础"在数据科学的研究边界之外，是数据科学的理论依据和来源。

数据科学中的新理念、理论、方法、技术及工具以及数据科学的研究目的、理论基础、研究内容、基本流程、主要原则、典型应用、人才培养、项目管理等。在此需要特别提醒的是--"基础理论"与"理论基础"是两个不同的概念。数据科学的"基础理论"在数据科学的研究边界之内，而其"理论基础"在数据科学的研究边界之外，是数据科学的理论依据和来源。

===数据预处理===

===数据预处理===

为了提升数据质量、降低数据计算的复杂度、减少数据计算量以及提升数据处理的准确性，数据科学中需要对原始数据进行预处理--进行数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据规约和数据标注等。

为了提升数据质量、降低数据计算的复杂度、减少数据计算量以及提升数据处理的准确性，数据科学中需要对原始数据进行预处理--进行数据审计、数据清洗、数据变换、数据集成、数据脱敏、数据规约和数据标注等。

===数据计算===

===数据计算===

在数据科学中，计算模式发生了根本性的变化--从集中式计算、分布式计算、网格计算等传统计算过渡至云计算。有一定的代表性的是Google云计算3大技术、Hadoop MapReduce和YARN技术的出现。数据计算模式的变化意味着数据科学中所关注的数据计算的主要目标、瓶颈和矛盾发生了根本性变化。

在数据科学中，计算模式发生了根本性的变化--从集中式计算、分布式计算、网格计算等传统计算过渡至云计算。有一定的代表性的是Google云计算3大技术、Hadoop MapReduce和YARN技术的出现。数据计算模式的变化意味着数据科学中所关注的数据计算的主要目标、瓶颈和矛盾发生了根本性变化。

===数据管理===

===数据管理===

在完成"数据预处理"(或"数据计算")之后，我们需要对数据进行管理，以便进行(再次进行)"数据处理"以及数据的再利用和长久保管。在数据科学中，数据管理方法与技术发生了根本性的改变--不仅包括传统关系型数据库，而且还出现了一些新兴数据管理技术，例如NoSQL、NewSQL技术和关系云等。

在完成"数据预处理"(或"数据计算")之后，我们需要对数据进行管理，以便进行(再次进行)"数据处理"以及数据的再利用和长久保管。在数据科学中，数据管理方法与技术发生了根本性的改变--不仅包括传统关系型数据库，而且还出现了一些新兴数据管理技术，例如NoSQL、NewSQL技术和关系云等。

数据科学是一个不断发展的领域。2020年，Glassdoor(美国一家职业点评网站)评出的美国最佳职业中，数据科学家位居第三，而在2016-2019年的最佳职业中，位居第一。数据科学家的平均薪资为每年118,370美元或每小时56.91美元。该领域的就业增长率也高于平均水平，预计从2018年到2028年将增长16%。美国的数据科学家的最大雇佣方是美国联邦政府，占比28%；其他主要雇主包括计算机系统设计服务、研究和开发实验室以及高等院校。通常情况下，数据科学家为全职工作，有些人每周工作时间超过40小时。

数据科学是一个不断发展的领域。2020年，Glassdoor(美国一家职业点评网站)评出的美国最佳职业中，数据科学家位居第三，而在2016-2019年的最佳职业中，位居第一。数据科学家的平均薪资为每年118,370美元或每小时56.91美元。该领域的就业增长率也高于平均水平，预计从2018年到2028年将增长16%。美国的数据科学家的最大雇佣方是美国联邦政府，占比28%；其他主要雇主包括计算机系统设计服务、研究和开发实验室以及高等院校。通常情况下，数据科学家为全职工作，有些人每周工作时间超过40小时。

===教育路径 ===

=== Educational path ===

 

'''教育路径'''

 

In order to become a data scientist, there is a significant amount of education and experience required. The first step in becoming a data scientist is to earn a bachelor's degree, typically in a field related to computing or mathematics.<ref name=":3">{{Cite web|url=https://www.mastersindatascience.org/careers/data-scientist/|title=What is a Data Scientist?|website=Master's in Data Science|language=en-US|access-date=2020-04-03}}</ref><ref name=":2" /> Coding bootcamps are also available and can be used as an alternate pre-qualification to supplement a bachelor's degree in another field.<ref name=":3" /> Most data scientists also complete a master’s degree or a PhD in data science.<ref name=":3" /> Once these qualifications are met, the next step to becoming a data scientist is to apply for an entry level job in the field.<ref name=":3" /> Some data scientists may later choose to specialize in a sub-field of data science.<ref name=":3" />

 

要成为一名数据科学家，需要接受充分教育、积累大量经验。成为数据科学家的第一步通常是取得与计算或数学相关的学士学位；其他领域的学士也可以通过参加编程训练营作为补充，获取资格。大多数数据科学家也在该领域取得了硕士或博士学位。达成这些条件后，下一步就是申请该领域的入门级工作。一些数据科学家以后可能会选择专攻数据科学的某个分支领域。

要成为一名数据科学家，需要接受充分教育、积累大量经验。成为数据科学家的第一步通常是取得与计算或数学相关的学士学位；其他领域的学士也可以通过参加编程训练营作为补充，获取资格。大多数数据科学家也在该领域取得了硕士或博士学位。达成这些条件后，下一步就是申请该领域的入门级工作。一些数据科学家以后可能会选择专攻数据科学的某个分支领域。

===专业细分和相关职业 ===

'''专业细分和相关职业'''

* 机器学习科学家: 机器学习科学家研究数据分析新方法，创立算法.<ref name=":4">{{Cite web|url=https://www.northeastern.edu/graduate/blog/data-science-careers-shaping-our-future/|title=11 Data Science Careers Shaping the Future|date=2018-11-23|website=Northeastern University Graduate Programs|language=en-US|access-date=2020-04-03}}</ref>

* 机器学习科学家: 机器学习科学家研究数据分析新方法，创立算法.<ref name=":4">{{Cite web|url=https://www.northeastern.edu/graduate/blog/data-science-careers-shaping-our-future/|title=11 Data Science Careers Shaping the Future|date=2018-11-23|website=Northeastern University Graduate Programs|language=en-US|access-date=2020-04-03}}</ref>

* 应用程序架构师: 应用程序架构师跟踪应用程序在整个业务中的使用情况，以及其与用户和其他应用程序的交互情况.<ref name=":4" />

* 应用程序架构师: 应用程序架构师跟踪应用程序在整个业务中的使用情况，以及其与用户和其他应用程序的交互情况.<ref name=":4" />

== 数据科学的影响 ==

== Impacts of data science数据科学的影响 ==

 

 

 

大数据正在迅速成为不同规模的企业和公司的重要工具。大数据的可用性和对其的解释说明改变了旧行业的商业模式，并促进了新行业的产生。2015年，数据驱动型企业的总价值为3330亿，到2020年，这一数值已经增长到1.2万亿。数据科学家负责将大数据分解为可用信息，并创建软件和算法，来帮助公司和组织确定最佳操作。大数据持续对世界产生重大影响，由于两者之间的密切关系，数据科学也产生了同样重大的影响。

大数据正在迅速成为不同规模的企业和公司的重要工具。大数据的可用性和对其的解释说明改变了旧行业的商业模式，并促进了新行业的产生。2015年，数据驱动型企业的总价值为3330亿，到2020年，这一数值已经增长到1.2万亿。数据科学家负责将大数据分解为可用信息，并创建软件和算法，来帮助公司和组织确定最佳操作。大数据持续对世界产生重大影响，由于两者之间的密切关系，数据科学也产生了同样重大的影响。

不仅如此，数据分析几乎涉及到了现代数学的所有分支。甚至于像表示论这样的极其抽象的分支，在数据科学领域也有其发挥作用的余地。所以数据科学对数学的要求和推动是全面的，而不是仅仅局限在几个领域。数据应该成为数、图形和方程之外数学研究的基本对象之一。

不仅如此，数据分析几乎涉及到了现代数学的所有分支。甚至于像表示论这样的极其抽象的分支，在数据科学领域也有其发挥作用的余地。所以数据科学对数学的要求和推动是全面的，而不是仅仅局限在几个领域。数据应该成为数、图形和方程之外数学研究的基本对象之一。

数据科学对计算机科学的发展也会带来很大的影响。图灵奖得主John Hopcroft曾经指出，在过去的几十年里，计算机科学的研究对象主要是计算机本身，包括硬件和软件。以后计算机科学的发展将主要围绕应用展开。而从计算机科学自身来看，这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究，但数据在其中的地位将会得到更进一步的加强。

数据科学对计算机科学的发展也会带来很大的影响。图灵奖得主John Hopcroft曾经指出，在过去的几十年里，计算机科学的研究对象主要是计算机本身，包括硬件和软件。以后计算机科学的发展将主要围绕应用展开。而从计算机科学自身来看，这些应用领域提供的主要研究对象就是数据。虽然计算机科学一贯重视数据的研究，但数据在其中的地位将会得到更进一步的加强。

再看统计学。统计学一直就是一门研究数据的学科。所以它也是数据科学最核心的部分之一。但在数据科学的框架之下，统计学的发展也会受到很大的冲击。

再看统计学。统计学一直就是一门研究数据的学科。所以它也是数据科学最核心的部分之一。但在数据科学的框架之下，统计学的发展也会受到很大的冲击。

根据应用的不同，数据科学采用了多种不同的科技和技术。

根据应用的不同，数据科学采用了多种不同的科技和技术。

=== 技术 ===

=== Techniques ===

 

*[[聚类分析|聚类]]是一种将数据分组整合的技术。

*[[聚类分析|聚类]]是一种将数据分组整合的技术。

聚类，将相似的事物聚集在一起，将不相似的事物划分到不同的类别的过程。是将复杂数据简化为少数类别的一种手段。聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。

聚类，将相似的事物聚集在一起，将不相似的事物划分到不同的类别的过程。是将复杂数据简化为少数类别的一种手段。聚类分析的目标就是在相似的基础上收集数据来分类。聚类源于很多领域，包括数学，计算机科学，统计学，生物学和经济学。在不同的应用领域，很多聚类技术都得到了发展，这些技术方法被用作描述数据，衡量不同数据源间的相似性，以及把数据源分类到不同的簇中。

聚类的基本思想：

聚类的基本思想：