数据科学 - 版本历史

乐多多：/* 编者推荐 */

2020-05-17T07:39:15Z

编者推荐

2020年5月17日 (日) 07:34 乐多多

2020-05-17T07:34:51Z

2020年5月15日 (五) 08:03 乐多多

2020-05-15T08:03:32Z

乐多多：/* 与统计学的关系 */

2020-05-15T07:56:23Z

与统计学的关系

2020年5月15日 (五) 07:55 乐多多

2020-05-15T07:55:42Z

乐多多：/* Python */

2020-05-15T07:54:59Z

Python

2020年5月15日 (五) 07:54 乐多多

2020-05-15T07:54:09Z

乐多多：/* 数据科学负责见解 */

2020-05-15T07:50:50Z

数据科学负责见解

乐多多：/* 与统计学的关系 */

2020-05-15T07:49:25Z

与统计学的关系

乐多多：/* 与统计学的关系 */

2020-05-15T07:48:28Z

与统计学的关系

←上一版本		2020年5月17日 (日) 07:39的版本
第589行：		第589行：
	本课程是由具有16年数据科学工作经验的尹相志老师亲自教授的，以数据科学方法论与机器学习理论实践为主要内容的直播课程。主讲老师首先从“ 数据科学的方法论”入手，向大家介绍数据科学的概念及技巧，待学者逐步熟悉数据科学的基本原理后，引出分类问题，推估计问题，相似性问题这三种机器学习中最常见问题的解决方案。最后再以三个实际案例，“运营商通过数据设置留存客户的方法”，“基于大数据和深度学习的金融评级策略”，“产品内容推荐系统”，将数据科学的方法论与机器学习解决方案合并实战。		本课程是由具有16年数据科学工作经验的尹相志老师亲自教授的，以数据科学方法论与机器学习理论实践为主要内容的直播课程。主讲老师首先从“ 数据科学的方法论”入手，向大家介绍数据科学的概念及技巧，待学者逐步熟悉数据科学的基本原理后，引出分类问题，推估计问题，相似性问题这三种机器学习中最常见问题的解决方案。最后再以三个实际案例，“运营商通过数据设置留存客户的方法”，“基于大数据和深度学习的金融评级策略”，“产品内容推荐系统”，将数据科学的方法论与机器学习解决方案合并实战。

		+
		+	====[https://campus.swarma.org/course/187 从Python到机器学习]====
		+	本系列课程将全面介绍深度学习入门的应用知识。包括从Python基础开始，到深度学习框架Tensorflow的使用方法。是一套简练风趣，易懂易学的入门课程。
		+
		+
		+	====[https://campus.swarma.org/course/956 深度学习原理与PyTorch实战]====
		+	此系列课程主要围绕集智俱乐部众包写作的书籍《深度学习原理与 PyTorch 实战》展开，兼具理论与实践，是想要掌握一门深度学习技术不可错过的课程。课程中不仅循序渐进地讲解了PyTorch的基本使用、神经网络的搭建、卷积神经网络和循环神经网络的实现，而且全面深入地介绍了计算机视觉、自然语言处理、迁移学习，以及最新的对抗学习和深度强化学习等前沿技术。

	----		----

@@ 第90行： / 第90行： @@
 [https://www.kdnuggets.com/2018/05/data-science-4-reasons-failing-deliver.html "Data Science: 4 Reasons Why Most Are Failing to Deliver"]. ''www.kdnuggets.com''. Retrieved 2018-05-26.
 </ref>
 == 背景 ==
@@ 第99行： / 第98行： @@
 {{Cite web|url=https://flowingdata.com/2009/06/04/rise-of-the-data-scientist/|title=Rise of the Data Scientist|last=Yau|first=Nathan|date=2009-06-04|website=FlowingData|language=en|access-date=2020-04-03}}</ref><ref>{{Cite web|url=https://benfry.com/phd/dissertation/2.html|title=Basic Example|last=|first=|date=|website=benfry.com|url-status=live|archive-url=|archive-date=|access-date=2020-04-03}}
 </ref> 2015年，美国统计协会 American Statistical Association将数据库管理、统计和机器学习，以及分布式和并行系统确定为三个新兴的基础专业领域。<ref>{{Cite web|url=https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|title=ASA Statement on the Role of Statistics in Data Science|date=2015-10-01|website=AMSTATNEWS|publisher=American Statistical Association|access-date=2019-05-29|archive-url=https://web.archive.org/web/20190620184935/https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|archive-date=20 June 2019|url-status=live}}</ref>
 == 术语词义衍变==
@@ 第131行： / 第129行： @@
 在20世纪90年代，描述在越来越大的数据集中寻找模式的流行术语包括“知识发现”和“数据挖掘”<ref name=":01">{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/|title=A Very Short History Of Data Science|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref><ref name=":00" />
 === 现代用法 ===
@@ 第155行： / 第152行： @@
 目前，对于数据科学的定义依旧没有达成共识，有些人认为这是一个流行词。<ref>{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/08/19/data-science-whats-the-half-life-of-a-buzzword/|title=Data Science: What's The Half-Life Of A Buzzword?|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref>
 ==研究内容==
@@ 第173行： / 第169行： @@
 ===数据管理===
 在完成"数据预处理"(或"数据计算")之后，我们需要对数据进行管理，以便进行(再次进行)"数据处理"以及数据的再利用和长久保管。在数据科学中，数据管理方法与技术发生了根本性的改变--不仅包括传统关系型数据库，而且还出现了一些新兴数据管理技术，例如NoSQL、NewSQL技术和关系云等。
 ==数据科学的相关职业==
@@ 第193行： / 第188行： @@
 * 应用程序架构师: 应用程序架构师跟踪应用程序在整个业务中的使用情况，以及其与用户和其他应用程序的交互情况.<ref name=":4" />
 ==数据科学的影响 ==
@@ 第214行： / 第208行： @@
 这种冲击至少表现在两个方面。一是关于数据的模型将会跳出传统的统计模型的框架。更一般的数学概念，如拓扑、几何和随机场的概念将会在数据分析中扮演重要的角色。二是算法和分布式计算将成为研究的中心课题之一。
 == 所涉及的科技和技术==
 根据应用的不同，数据科学采用了多种不同的科技和技术。
 === 技术 ===
@@ 第391行： / 第383行： @@
 来源：https://blog.csdn.net/dev_csdn/article/details/79127658  翻译原文http://varianceexplained.org/r/ds-ml-ai/  原文作者：David Robinson
 ==与统计学的关系==
@@ 第576行： / 第567行： @@
 {{Reflist|35em}}
 ==编者推荐==

@@ 第103行： / 第103行： @@
 == 术语词义衍变==
 === 早期使用 ===
-“数据科学”这一术语在过去的三十年里已经出现在各种语境中，但直到最近才成为一个确定的术语。在早期，1960年它被[https://en.wikipedia.org/wiki/Peter_Naur 彼得·诺尔] Peter Naur用作[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的代名词。诺尔后来引入了[https://en.wikipedia.org/wiki/Datalogy “数据学”] datalogy这一术语。
+“数据科学”在过去的三十年里已经出现在各种语境中，但直到最近才成为一个确定的术语。在早期，1960年它被[https://en.wikipedia.org/wiki/Peter_Naur 彼得·诺尔] Peter Naur用作[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的代名词。诺尔后来引入了[https://en.wikipedia.org/wiki/Datalogy “数据学”] datalogy这一术语。
 <ref>
 {{cite journal

@@ 第413行： / 第413行： @@
-在[https://en.wikipedia.org/wiki/American_Statistical_Association 美国统计协会]的联合统计学会议上发表主旨演说后的问答部分，著名应用统计学家[https://en.wikipedia.org/wiki/Nate_Silver 纳特·西尔弗]（Nate Silver）说道：“我认为数据科学家对于统计学家是一个富有魅力的词语…统计学是科学的一条分支。数据科学家在某种意义上略显多余，而且人们不应该痛斥统计学家这个词。”
+在[https://en.wikipedia.org/wiki/American_Statistical_Association 美国统计协会]的联合统计学会议上发表主旨演说后的问答部分，著名应用统计学家[https://en.wikipedia.org/wiki/Nate_Silver 纳特·西尔弗] Nate Silver说道：“我认为数据科学家对于统计学家是一个富有魅力的词语…统计学是科学的一条分支。数据科学家在某种意义上略显多余，而且人们不应该痛斥统计学家这个词。”
 <ref name="NateSilver">
 [http://www.statisticsviews.com/details/feature/5133141/Nate-Silver-What-I-need-from-statisticians.html "Nate Silver: What I need from statisticians"]. 23 Aug 2013
@@ 第572行： / 第572行： @@
 诚如多诺霍所言蔽之：“数据科学的范围和影响在今后数十年会继续扩充，科研数据和有关科学本身的数据将无处不在、俯拾即是。”<ref name=":2" />
 ==参考文献==

@@ 第264行： / 第264行： @@
 ====[[Python(编程语言)|Python语言]]====
 Python是数据科学中广泛使用的一种语法简单的编程语言。<ref>{{Cite web|url=https://sites.engineering.ucsb.edu/~shell/che210d/python.pdf|title=An introduction to Python for scientific computing|last=Shell|first=M Scott|date=September 24, 2019|website=|url-status=live|archive-url=|archive-date=|access-date=April 2, 2020}}</ref>数据科学中使用了大量的python库，包括numpy、panda和scipy。
 ====[[R(程序设计语言)|R语言]]====

@@ 第99行： / 第99行： @@
 {{Cite web|url=https://flowingdata.com/2009/06/04/rise-of-the-data-scientist/|title=Rise of the Data Scientist|last=Yau|first=Nathan|date=2009-06-04|website=FlowingData|language=en|access-date=2020-04-03}}</ref><ref>{{Cite web|url=https://benfry.com/phd/dissertation/2.html|title=Basic Example|last=|first=|date=|website=benfry.com|url-status=live|archive-url=|archive-date=|access-date=2020-04-03}}
 </ref> 2015年，美国统计协会 American Statistical Association将数据库管理、统计和机器学习，以及分布式和并行系统确定为三个新兴的基础专业领域。<ref>{{Cite web|url=https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|title=ASA Statement on the Role of Statistics in Data Science|date=2015-10-01|website=AMSTATNEWS|publisher=American Statistical Association|access-date=2019-05-29|archive-url=https://web.archive.org/web/20190620184935/https://magazine.amstat.org/blog/2015/10/01/asa-statement-on-the-role-of-statistics-in-data-science/|archive-date=20 June 2019|url-status=live}}</ref>
 == 术语词义衍变==
@@ 第130行： / 第131行： @@
 在20世纪90年代，描述在越来越大的数据集中寻找模式的流行术语包括“知识发现”和“数据挖掘”<ref name=":01">{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/05/28/a-very-short-history-of-data-science/|title=A Very Short History Of Data Science|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref><ref name=":00" />
@@ 第155行： / 第155行： @@
 目前，对于数据科学的定义依旧没有达成共识，有些人认为这是一个流行词。<ref>{{Cite web|url=https://www.forbes.com/sites/gilpress/2013/08/19/data-science-whats-the-half-life-of-a-buzzword/|title=Data Science: What's The Half-Life Of A Buzzword?|last=Press|first=Gil|website=Forbes|language=en|access-date=2020-04-03}}</ref>
 ==研究内容==
@@ 第192行： / 第193行： @@
 * 应用程序架构师: 应用程序架构师跟踪应用程序在整个业务中的使用情况，以及其与用户和其他应用程序的交互情况.<ref name=":4" />
 ==数据科学的影响 ==
@@ 第212行： / 第214行： @@
 这种冲击至少表现在两个方面。一是关于数据的模型将会跳出传统的统计模型的框架。更一般的数学概念，如拓扑、几何和随机场的概念将会在数据分析中扮演重要的角色。二是算法和分布式计算将成为研究的中心课题之一。
 == 所涉及的科技和技术==
@@ 第256行： / 第259行： @@
 专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径。机器学习也是用数据或以往的经验,以此优化计算机程序的性能标准。
 === 科技 ===
@@ 第262行： / 第266行： @@
-====[[R(程序设计语言)|R]]====
+====[[R(程序设计语言)|R语言]]====
 R语言是一种为统计学家和数据挖掘而设计的编程语言，<ref>{{Cite web|url=https://cran.r-project.org/doc/FAQ/R-FAQ.html#What-is-R_003f|title=R FAQ|website=cran.r-project.org|access-date=2020-04-03}}</ref> 并优化了计算。
@@ 第279行： / 第283行： @@
 Tensorflow拥有一个全面而灵活的生态系统，其中包含各种工具、库和社区资源，可助力研究人员推动先进机器学习技术的发展，并使开发者能够轻松地构建和部署由机器学习提供支持的应用。TensorFlow也是一个基于'''数据流编程 Dataflow Programming''' 的符号数学系统，被广泛应用于各类'''机器学习 Machine Learning'''算法的编程实现，其前身是谷歌的神经网络算法库DistBelief 。
 Tensorflow拥有多层级结构，可部署于各类服务器、PC终端和网页并支持GPU和TPU高性能数值计算，被广泛应用于谷歌内部的产品开发和各领域的科学研究 。
@@ 第301行： / 第306行： @@
-====[[Tableau软件|Tableau]]====
+====[[Tableau软件|Tableau软件]]====
 Tableau制作了许多用于数据可视化的软件。<ref>{{Cite journal|url=https://www.wired.com/2014/07/a-drag-and-drop-toolkit-that-lets-anyone-create-interactive-maps/|journal=Wired|access-date=2020-04-03|title=A Dead-Simple Tool That Lets Anyone Create Interactive Maps|date=15 July 2014|last1=Rhodes|first1=Margaret}}</ref>.
@@ 第313行： / 第318行： @@
 它实现了Map/Reduce编程范型，计算任务会被分割成小块（多次）运行在不同的节点上。除此之外，它还提供了一款分布式文件系统（HDFS），数据被存储在计算节点上以提供极高的跨数据中心聚合带宽。
 ==与机器学习、人工智能之间的异同==
@@ 第335行： / 第341行： @@
 #沟通
 数据科学家可能使用一些简单的工具：可以报告百分比，并根据SQL查询绘制线形图。还可以使用非常复杂的方法:可能与分布数据商店合作，分析数以万亿计的记录，开发前沿的统计技术，建立交互式可视化。不管使用什么，目的是为了更好地理解数据。
 ===机器学习负责预测===
 机器学习是一个预测领域：“给定实例X具有特定的特征然后进行预测”。这些预测可能是关于未来的(“预测这个病人是否会进入脓毒症”)，但也可能是对于计算机来说并不是很轻易就识别出来的一些特质(“预测这个图像是否有鸟在里面”)。几乎所有的Kaggle竞赛都认为是机器学习的问题:提供一些训练数据，然后看看竞争对手能否对新的例子做出准确的预测。
@@ 第566行： / 第572行： @@
 诚如多诺霍所言蔽之：“数据科学的范围和影响在今后数十年会继续扩充，科研数据和有关科学本身的数据将无处不在、俯拾即是。”<ref name=":2" />
 ==参考文献==

@@ 第322行： / 第322行： @@
 ===数据科学负责见解===
-数据科学与其他两个领域不同，因为它的目标跟人类的目标尤其接近：获得洞察力和理解力。'''杰夫·利克（Jeff Leek）''' 对数据科学所能达到的见解类型有一个很好的定义，包括描述性，探索性和因果关系。
+数据科学与其他两个领域不同，因为它的目标跟人类的目标尤其接近：获得洞察力和理解力。'''杰夫·利克 Jeff Leek''' 对数据科学所能达到的见解类型有一个很好的定义，包括描述性，探索性和因果关系。
@@ 第335行： / 第335行： @@
 #沟通
 数据科学家可能使用一些简单的工具：可以报告百分比，并根据SQL查询绘制线形图。还可以使用非常复杂的方法:可能与分布数据商店合作，分析数以万亿计的记录，开发前沿的统计技术，建立交互式可视化。不管使用什么，目的是为了更好地理解数据。
 ===机器学习负责预测===

@@ 第454行： / 第454行： @@
 类似地，就像许多其他数据科学学界支持者一样，
 <ref name=":1" />
-[https://en.wikipedia.org/wiki/New_York_University 纽约大学][https://en.wikipedia.org/wiki/NYU_Stern_Center_for_Business_and_Human_Rights 斯特恩商学院]的瓦桑特·达尔（Vasant Dhar）在2013年12月更加明确地表示数据科学与现存的仅仅聚焦于解释[https://en.wikipedia.org/wiki/Data_set 数据集]的横跨所有[https://en.wikipedia.org/wiki/Discipline_(academia) 学科]的数据分析实践不同。数据科学为[https://en.wikipedia.org/wiki/Predictive_modelling 预测模型]寻求了可行和一致的[https://en.wikipedia.org/wiki/Pattern_recognition 模式]。
+[https://en.wikipedia.org/wiki/New_York_University 纽约大学][https://en.wikipedia.org/wiki/NYU_Stern_Center_for_Business_and_Human_Rights 斯特恩商学院]的瓦桑特·达尔 Vasant Dhar在2013年12月更加明确地表示数据科学与现存的仅仅聚焦于解释[https://en.wikipedia.org/wiki/Data_set 数据集]的横跨所有[https://en.wikipedia.org/wiki/Discipline_(academia) 学科]的数据分析实践不同。数据科学为[https://en.wikipedia.org/wiki/Predictive_modelling 预测模型]寻求了可行和一致的[https://en.wikipedia.org/wiki/Pattern_recognition 模式]。
 <ref name=":0" />
 这项实际的工程目标采用了超越了传统[https://en.wikipedia.org/wiki/Analytics 数据分析]的数据科学。如今这些学科和[https://en.wikipedia.org/wiki/Applied_science 应用领域]的数据缺乏可靠[https://en.wikipedia.org/wiki/Theory 理论]以供形成有力的预测模型，就像[https://en.wikipedia.org/wiki/Health_science 健康科学]和[https://en.wikipedia.org/wiki/Social_science 社会科学]那样。

←上一版本		2020年5月15日 (五) 07:48的版本
第402行：		第402行：


−	包括'''纳特•西尔弗 Nate Silver''' 在内的许多统计学家都认为，数据科学不是一个新领域，而是统计学的另一个名称。<ref>{{Cite web\|url=https://www.statisticsviews.com/details/feature/5133141/Nate-Silver-What-I-need-from-statisticians.html\|title=Nate Silver: What I need from statisticians - Statistics Views\|website=www.statisticsviews.com\|access-date=2020-04-03}}</ref> 其他人则认为，数据科学与统计学不同，因为它关注的是数字化数据特有的问题和技术。<ref>{{Cite web\|url=http://priceonomics.com/whats-the-difference-between-data-science-and/\|title=What's the Difference Between Data Science and Statistics?\|website=Priceonomics\|language=en\|access-date=2020-04-03}}</ref> '''~~瓦桑特·达尔（Vasant Dhar）~~'''写道，统计学强调定量的数据和描述。相比之下，数据科学处理定量和定性的数据(例如，图像)，并强调预测和行动。<ref>{{Cite journal\|last=DharVasant\|date=2013-12-01\|title=Data science and prediction\|journal=Communications of the ACM\|volume=56\|issue=12\|pages=64–73\|language=EN\|doi=10.1145/2500499}}</ref>哥伦比亚大学的'''~~安德鲁·格尔曼（Andrew Gelman）~~''' 和数据科学家'''~~文森特·格兰维尔（Vincent Granville）~~'''将统计学描述为数据科学中一个不重要的部分。<ref>{{Cite web\|url=https://statmodeling.stat.columbia.edu/2013/11/14/statistics-least-important-part-data-science/\|title=Statistics is the least important part of data science « Statistical Modeling, Causal Inference, and Social Science\|website=statmodeling.stat.columbia.edu\|access-date=2020-04-03}}</ref><ref>{{Cite web\|url=https://www.datasciencecentral.com/profiles/blogs/data-science-without-statistics-is-possible-even-desirable\|title=Data science without statistics is possible, even desirable\|last=Posted by Vincent Granville on December 8\|first=2014 at 5:00pm\|last2=Blog\|first2=View\|website=www.datasciencecentral.com\|language=en\|access-date=2020-04-03}}</ref>	+	包括'''纳特•西尔弗 Nate Silver''' 在内的许多统计学家都认为，数据科学不是一个新领域，而是统计学的另一个名称。<ref>{{Cite web\|url=https://www.statisticsviews.com/details/feature/5133141/Nate-Silver-What-I-need-from-statisticians.html\|title=Nate Silver: What I need from statisticians - Statistics Views\|website=www.statisticsviews.com\|access-date=2020-04-03}}</ref> 其他人则认为，数据科学与统计学不同，因为它关注的是数字化数据特有的问题和技术。<ref>{{Cite web\|url=http://priceonomics.com/whats-the-difference-between-data-science-and/\|title=What's the Difference Between Data Science and Statistics?\|website=Priceonomics\|language=en\|access-date=2020-04-03}}</ref> '''瓦桑特·达尔 Vasant Dhar'''写道，统计学强调定量的数据和描述。相比之下，数据科学处理定量和定性的数据(例如，图像)，并强调预测和行动。<ref>{{Cite journal\|last=DharVasant\|date=2013-12-01\|title=Data science and prediction\|journal=Communications of the ACM\|volume=56\|issue=12\|pages=64–73\|language=EN\|doi=10.1145/2500499}}</ref>哥伦比亚大学的'''安德鲁·格尔曼 Andrew Gelman''' 和数据科学家'''文森特·格兰维尔 Vincent Granville'''将统计学描述为数据科学中一个不重要的部分。<ref>{{Cite web\|url=https://statmodeling.stat.columbia.edu/2013/11/14/statistics-least-important-part-data-science/\|title=Statistics is the least important part of data science « Statistical Modeling, Causal Inference, and Social Science\|website=statmodeling.stat.columbia.edu\|access-date=2020-04-03}}</ref><ref>{{Cite web\|url=https://www.datasciencecentral.com/profiles/blogs/data-science-without-statistics-is-possible-even-desirable\|title=Data science without statistics is possible, even desirable\|last=Posted by Vincent Granville on December 8\|first=2014 at 5:00pm\|last2=Blog\|first2=View\|website=www.datasciencecentral.com\|language=en\|access-date=2020-04-03}}</ref>