7,129
个编辑
更改
跳到导航
跳到搜索
创建页面，内容为“<small>该词条由【zhangYUNMOOO】翻译编辑，由【Iceblaze9527】审校，【总审校者】总审校，翻译自Wikipedia词条[https://en.wikipedia.org/wik…”
<small>该词条由【zhangYUNMOOO】翻译编辑，由【Iceblaze9527】审校，【总审校者】总审校，翻译自Wikipedia词条[https://en.wikipedia.org/wiki/Machine_learning Machine Learning]''</small>
'''机器学习'''是[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的分支——[[人工智能]]的一个子集，它通常使用统计学方法，借助[https://en.wikipedia.org/wiki/Data 数据]，赋予[https://en.wikipedia.org/wiki/Computer 计算机]“学习”的能力（例如，逐渐提高在特定任务上的表现）而不需要明确编写学习过程<ref name =" 2w">The "without being explicitly programmed" definition is often attributed to Arthur Samuel, who coined the term "machine learning" in 1959. But the phrase is not found literally in this publication, and may be a paraphrase that appeared later. Confer "Paraphrasing Arthur Samuel (1959), the question is: How can computers learn to solve problems without being explicitly programmed?" in Koza, John R.; Bennett, Forrest H.; Andre, David; Keane, Martin A. (1996). [https://link.springer.com/chapter/10.1007/978-94-009-0279-4_9 Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming]. Artificial Intelligence in Design '96. Springer, Dordrecht. pp. 151–170. [https://doi.org/10.1007/978-94-009-0279-4_9 doi:10.1007/978-94-009-0279-4_9] </ref>。
<br>''机器学习''的名字是[https://en.wikipedia.org/wiki/Arthur_Samuel Arthur Samuel]
<ref name="Samuel">
{{Cite journal|last=Samuel|first=Arthur|date=1959|title=[http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.368.2254 Some Studies in Machine Learning Using the Game of Checkers] |journal=IBM Journal of Research and Development|volume=3|issue=3|pages=210–229|via=|citeseerx=10.1.1.368.2254}}</ref>
在1959年创建的。它由[[人工智能]]
<ref name="Britannica">http://www.britannica.com/EBchecked/topic/1116194/machine-learning </ref>
中的[https://en.wikipedia.org/wiki/Pattern_recognition 模式识别]与[https://en.wikipedia.org/wiki/Computational_learning_theory 计算学习理论]研究发展而来，探究从数据
<ref>{{cite journal |title=Glossary of terms |author1=Ron Kohavi |author2=Foster Provost |journal=Machine Learning |volume=30 |pages=271–274 |year=1998 |url=http://ai.stanford.edu/~ronnyk/glossary.html}}</ref>
中学习、做出预测的[https://en.wikipedia.org/wiki/Algorithm 算法]的研究与结构——这些算法通过从样本输入中建立[https://en.wikipedia.org/wiki/Mathematical_model 模型]，做出数据驱动的预测或决定
<ref name="bishop2006" />，
避免了一系列严格的静态[https://en.wikipedia.org/wiki/Computer_program 程序指令]。机器学习被应用于那些设计运转良好、 清晰明确的算法十分困难或根本不可行的计算任务中 ；其应用范围包括[https://en.wikipedia.org/wiki/Email_filtering 电子邮件过滤]、网络入侵者与针对[https://en.wikipedia.org/wiki/Data_breach 数据泄露]的恶意内部人员的探查、[https://en.wikipedia.org/wiki/Optical_character_recognition 光学字符识别]、[https://en.wikipedia.org/wiki/Learning_to_rank 学习排序]、[https://en.wikipedia.org/wiki/Computer_vision 计算机视觉]。
<br>机器学习与[https://en.wikipedia.org/wiki/Computational_statistics 计算统计学]密切相关(而且常常与之重叠)，计算统计学也专注于通过使用计算机进行预测。它与[https://en.wikipedia.org/wiki/Mathematical_optimization 数学优化]有着很强的联系，后者为之提供了方法、理论和应用领域。机器学习有时与[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]
<ref>
Mannila Heikki(1996).
''Data mining: machine learning, statistics, and databases.''
Int'l Conf. Scientific and Statistical Database Management.IEEE Computer Society.
</ref>
混为一谈，后者更侧重于[https://en.wikipedia.org/wiki/Exploratory_data_analysis 探索性数据分析]，被称为[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]
<ref name="bishop2006" />
<ref>
{{cite journal |last=Friedman |first=Jerome H.
|title=Data Mining and Statistics: What's the connection? |journal=Computing Science and Statistics |volume=29 |issue=1 |year=1998 |pages=3–9}}</ref>。机器学习也可以是无监督的，并可用于为各种实体，学习和建立基线行为轮廓，然后用于寻找有意义的异常。
<br>在[https://en.wikipedia.org/wiki/Analytics 数据分析]领域，机器学习是设计复杂模型和算法的一种方法。这有助于预测；在商业用途中，这被称为[https://en.wikipedia.org/wiki/Predictive_analytics 预测分析]。这些分析模型使研究人员、[https://en.wikipedia.org/wiki/Data_science 数据科学家]、工程师和分析人员能够“产生可靠的、可重复的决策和结果”，并通过从数据中的历史关系和趋势中学习，来发现“隐藏的洞见”。
<ref>
[http://www.sas.com/it_it/insights/analytics/machine-learning.html "Machine Learning: What it is and why it matters"].
''www.sas.com.'' Retrieved 2016-03-29.
</ref>
==概述==
[https://en.wikipedia.org/wiki/Tom_M._Mitchell Tom M.Mitchell]对机器学习领域中研究的算法提供了一个被广泛引用的、更正式的定义：“计算机程序被描述为从经验E中学习某些类型的任务T和性能度量P，如果它在T中的性能(用P来衡量)随着经验E而提高。”
<ref>{{cite book
|author=Mitchell, T.
|title=Machine Learning
|publisher=McGraw Hill
|isbn:978-0-07-042807-2
|pages=2
|year=1997}}</ref>
这一将机器学习与任务进行关联的定义提供了一个基本的[https://en.wikipedia.org/wiki/Operational_definition 可执行定义]，而不是认知术语形式的定义。这与[https://en.wikipedia.org/wiki/Alan_Turing 艾伦·图灵]在他的论文“[https://en.wikipedia.org/wiki/Computing_Machinery_and_Intelligence 计算机器和智能]”中的提议一脉相承，其中“机器能思考吗？”被替换为“机器能做我们(作为思维实体)能做的事情吗？”
<ref>
Harnad, Stevan(2008),
[http://eprints.ecs.soton.ac.uk/12954/ "The Annotation Game: On Turing (1950) on Computing, Machinery, and Intelligence"],
in Epstein, Robert; Peters, Grace,
''The Turing Test Sourcebook: Philosophical and Methodological Issues in the Quest for the Thinking Computer '',
Kluwer
</ref> 。图灵的建议揭露了''思维机器''可能具有的各种特性以及构建机器时的诸多暗含之意 。
===机器学习的任务===
机器学习任务通常分为两大类，取决于学习系统是否存在学习“信号”或“反馈”:
* [https://en.wikipedia.org/wiki/Supervised_learning 监督学习]：向计算机展示由“教师”提供的示例输入及其期望的输出，目标是学习将输入[https://en.wikipedia.org/wiki/Map_(mathematics) 映射]到输出的一般规则。作为特例，输入信号只能被部分提供，或仅限于特定反馈：
** [https://en.wikipedia.org/wiki/Semi-supervised_learning 半监督学习]：只提供给计算机一个不完整的训练信号：一个训练集，其中有一些（通常很多）的目标输出丢失。
** [https://en.wikipedia.org/wiki/Active_learning_(machine_learning) 主动学习]：计算机只能获得有限的实例集(基于预算)的训练标签，还必须优化对象的选择以获取标签。当交互使用时，可以向用户展示这些对象以供标签。
** [https://en.wikipedia.org/wiki/Reinforcement_learning 强化学习]：训练数据(以奖励和惩罚的形式)只作为对程序在动态环境中的行为的反馈，例如[https://en.wikipedia.org/wiki/Autonomous_car 自动驾驶]或与对手玩游戏<ref name="bishop2006" />。
* [https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]：没有标签给学习算法，留下它自己在其输入中找到结构。无监督学习本身可以是一个目标（发现数据中隐藏的模式），或者是一种达到目的的手段（[https://en.wikipedia.org/wiki/Feature_learning 特征学习]）。
===机器学习的应用===
当考虑机器学习系统的期望输出时，机器学习任务的另一种分类出现了。
<ref name="bishop2006" />
* 在[https://en.wikipedia.org/wiki/Statistical_classification 分类]中，输入被分成两个或多个类，学习者必须生成一个模型，将未被分类的输入分配给这些类的一个或多个([https://en.wikipedia.org/wiki/Multi-label_classification 多标签分类])。这通常是以监督的方式处理的。垃圾邮件过滤是分类的一个例子，其中输入是电子邮件(或其他)消息，类是“垃圾邮件”和“非垃圾邮件”。
* 在[https://en.wikipedia.org/wiki/Regression_analysis 回归]中，也是一个有监督学习问题，输出是连续的而不是离散的。
* 在[https://en.wikipedia.org/wiki/Cluster_analysis 聚类]中，一组输入被分为不同组。与分类不同的是，这些组事先是未知的，因此这通常是无监督学习的任务。
* [https://en.wikipedia.org/wiki/Density_estimation 密度估计]挖掘输入在某一空间的[https://en.wikipedia.org/wiki/Probability_distribution 分布]。
* [https://en.wikipedia.org/wiki/Dimensionality_reduction 维数约简]通过将输入映射到低维空间来简化输入。[https://en.wikipedia.org/wiki/Topic_model 主题建模]是一个相关的问题，在这个问题中，程序会得到一个人类语言文档的列表，并负责找出哪些文档涵盖了类似的主题。
在其他类型的机器学习问题中， [https://en.wikipedia.org/wiki/Meta_learning_(computer_science) 元学习]在以往经验的基础上学会了自己的[https://en.wikipedia.org/wiki/Inductive_bias 归纳偏好]。 [https://en.wikipedia.org/wiki/Developmental_robotics 发育学习]是为[https://en.wikipedia.org/wiki/Robot_learning 机器人学习]而发展起来的，它通过自主的自我探索和与人类教师的社会互动，利用主动学习、成熟、运动协同和模仿等引导机制，产生自己的学习情境序列(也称为课程)，累积获得一系列新技能。
==历史、和其它领域的关系==
:''参见：[https://en.wikipedia.org/wiki/Timeline_of_machine_learning 机器学习时间线]''
美国[https://en.wikipedia.org/wiki/PC_game 计算机游戏]和[[人工智能]]领域的先驱[https://en.wikipedia.org/wiki/Arthur_Samuel Arthur Samuel]于1959年在[https://en.wikipedia.org/wiki/IBM IBM]时发明了“机器学习”一词。作为一项科学探索，机器学习源于对人工智能的探索
<ref>R. Kohavi and F. Provost, "Glossary of terms," Machine Learning, vol. 30, no. 2–3, pp. 271–274, 1998.</ref>. 。
早在人工智能作为一门学术学科的时期，一些研究人员就对让机器从数据中学习产生了兴趣。他们试图用各种符号方法以及后来被称为“[https://en.wikipedia.org/wiki/Neural_network 神经网络]”的方法来解决这个问题；这些模型大多是[https://en.wikipedia.org/wiki/Perceptron 感知器]和其他模型，后来被发现是[https://en.wikipedia.org/wiki/Generalized_linear_model 广义线性统计模型]的再发明
<ref>
Sarle Warren."Neural Networks and statistical models".
[https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.27.699 10.1.1.27.699]
</ref>。[https://en.wikipedia.org/wiki/Probability_theory 统计学]推理也被使用，特别是在自动医疗诊断中
<ref name="aima"/>。
然而，对[https://en.wikipedia.org/wiki/Symbolic_artificial_intelligence 逻辑的、基于知识的方法]的日益重视，导致人工智能和机器学习之间产生了裂痕，概率系统受到数据采集和数据表示的理论和实践问题的困扰
<ref name="aima" />。
到1980年，[https://en.wikipedia.org/wiki/Expert_system 专家系统]已经主导了人工智能，而统计方法不再受欢迎
<ref name="changing">
{{Cite journal | last1 = Langley | first1 = Pat| title = The changing science of machine learning | doi : 10.1007/s10994-011-5242-y | journal = Machine Learning| volume = 82 | issue = 3 | pages = 275–279 | year = 2011 }}</ref>。
基于符号与知识的学习的工作仍然属于AI领域，这促成了[https://en.wikipedia.org/wiki/Inductive_logic_programming 归纳逻辑编程]，但更多的在[https://en.wikipedia.org/wiki/Pattern_recognition 模式识别]和[https://en.wikipedia.org/wiki/Information_retrieval 信息检索]
<ref name="aima">
Russell, Stuart; Norvig, Peter (2003) [1995].
[https://en.wikipedia.org/wiki/Artificial_Intelligence:_A_Modern_Approach ''Artificial Intelligence: A Modern Approach''] (2nd ed.). Prentice Hall. ISBN 978-0137903955.
</ref>
方面的统计方法的研究已经超出了人工智能本身的范围。神经网络的研究几乎同时被人工智能和计算机科学所抛弃。而在AI/CS领域之外，这条路线也被其他学科的研究人员奉为“[https://en.wikipedia.org/wiki/Connectionism 连接主义]”而继续存在，包括[https://en.wikipedia.org/wiki/John_Hopfield Hopfield]、[https://en.wikipedia.org/wiki/David_Rumelhart Rumelhart]和[https://en.wikipedia.org/wiki/Geoffrey_Hinton Hinton]。他们的主要成功是在上世纪80年代中期重新发明了[https://en.wikipedia.org/wiki/Backpropagation 反向传播算法]
<ref name="aima" />。
机器学习,作为一个独立的领域，在20世纪90年代开始蓬勃发展。机器学习的目标从实现人工智能转变为解决可解决的实践性问题。它将重点从AI中继承的符号方法转向了来自于[https://en.wikipedia.org/wiki/Probability_theory 统计学]和概率论的方法和模型<ref name="changing" /> ，同时也受益于数字化信息日益增长的普及性，以及互联网传播信息的能力。
机器学习和[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]通常采用相同的方法，重叠程度很大。但是机器学习侧重于预测——基于从训练数据中学习到的''已知''属性，而数据挖掘则侧重于在数据中[https://en.wikipedia.org/wiki/Discovery_(observation) 发现](以前的)''未知''属性(这是数据库中[https://en.wikipedia.org/wiki/Knowledge_discovery 知识发现]的分析步骤)。数据挖掘采用多种机器学习方法而目标不同；另一方面，机器学习也采用数据挖掘的方法作为“无监督学习”或作为预处理步骤来提高学习精度。这两个研究对象之间的许多混淆(它们通常有单独的会议和单独的期刊，[https://en.wikipedia.org/wiki/ECML_PKDD ECML PKDD]是一个主要的例外)来自于它们所使用的基本假设：在机器学习中，性能通常是根据''重复生产已知知识''的能力来评估的，而在知识发现和数据挖掘(KDD)中，关键任务是发现以前''未知''的知识。在对学习已知知识进行评估时，其他监督学习方法很容易优于无监督学习方法，而在典型的KDD任务中，由于训练数据的不可得性，则无法使用监督学习的方法。
机器学习与优化也有着密切的联系：许多学习问题被描述为训练集上的一些[https://en.wikipedia.org/wiki/Loss_function 损失函数]的最小化。损失函数表示被训练模型的预测与实际问题之间的差异(例如，在分类中，要为实例分配一个标签，且模型要被训练以正确预测一组预先分配过标签的示例)。这两个领域的区别来自于一般化的目的：优化算法可以最小化训练集上的损失，而机器学习则涉及到最小化未知样本的损失
<ref>
Le Roux, Nicolas; Bengio, Yoshua;Fitzgibbon, Andrew(2012).
"Improving First and Second-Order Methods by Modeling Uncertainty Optimization for Machine Learning"
In Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. ''Optimization for Machine Learning''. MIT Press. p. 404.
</ref>。
===与统计学的关系===
机器学习和统计是密切相关的领域。据[https://en.wikipedia.org/wiki/Michael_I._Jordan Michael I. Jordan]说，机器学习的思想，从方法论原理到理论工具，都在统计学上有着悠久的历史
<ref name="mi jordan ama">
Michael I. Jordan (2014-09-10).
[https://www.reddit.com/r/MachineLearning/comments/2fxi6v/ama_michael_i_jordan/ckelmtt?context=3 "statistics and machine learning."]
reddit. Retrieved 2014-10-01.
</ref>。
他还建议用[[数据科学]]这个术语来称呼整个领域
<ref name="mi jordan ama" />。
[https://en.wikipedia.org/wiki/Leo_Breiman Leo Breiman]区分了两种统计建模范式：数据模型和算法模型
<ref>
Cornell University Library. [http://projecteuclid.org/download/pdf_1/euclid.ss/1009213726 "Breiman: Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author)"]. Retrieved 8 August 2015.
</ref> ，其中“算法模型”或多或少是指像[https://en.wikipedia.org/wiki/Random_forest 随机森林]那样的机器学习算法。
一些统计学家采用机器学习的方法，形成了一个他们称之为''统计学习''的交叉领域<ref name="islr">{{cite book |author1=Gareth James |author2=Daniela Witten |author3=Trevor Hastie |author4=Robert Tibshirani |title=An Introduction to Statistical Learning |publisher=Springer |year=2013 |url=http://www-bcf.usc.edu/~gareth/ISL/ |page=vii}}</ref>。
==理论==
:''主文章：[https://en.wikipedia.org/wiki/Computational_learning_theory 计算学习理论]''
学习者的一个核心目标是从经验中举一反三
<ref name="bishop2006">
Bishop, C. M. (2006), ''Pattern Recognition and Machine Learning'', Springer, ISBN 978-0-387-31073-2
</ref>
<ref>
Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar, Ameet (2012). Foundations of Machine Learning. USA, Massachusetts: MIT Press. ISBN 9780262018258.
</ref>。
这里的举一反三是指学习机器在经历了学习数据集之后，能够准确地对新的、未见过的示例/任务进行精确的操作。训练实例通常来自一些未知的概率分布（常被认为是样本空间的代表），并且学习者必须建立一个关于这个空间的通用模型，使得它能够在新的情况下产生足够精确的预测。
机器学习算法及其性能的计算分析是[https://en.wikipedia.org/wiki/Theoretical_computer_science 理论计算机科学]的一个分支，称为[https://en.wikipedia.org/wiki/Computational_learning_theory 计算学习理论]。由于训练集是有限的但是未来是不确定的，所以学习理论通常不能保证算法的性能。然而，算法性能的概率的界限是相当普适的。[https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff 偏差-方差分解]是量化泛化[https://en.wikipedia.org/wiki/Errors_and_residuals 误差]的一种方法。
为了在泛化的情境中获得最佳性能，假设的复杂性应该与数据基础上的函数的复杂性相匹配。如果假设没有函数复杂，那么模型就不适合数据。如果模型的复杂度因此增加，则训练误差减小。但如果假设过于复杂，则模型会被[https://en.wikipedia.org/wiki/Overfitting 过度拟合]，泛化也将变得更差<ref name="alpaydin">{{Cite book|author=Alpaydin, Ethem|title=Introduction to Machine Learning|url=https://mitpress.mit.edu/books/introduction-machine-learning |year=2010 |publisher=The MIT Press |place=London|isbn: 978-0-262-01243-0 |access-date=4 February 2017 }}</ref>。
除了性能界限外，计算学习理论家还研究了学习的时间复杂性和可行性。在计算学习理论中，如果可以在[https://en.wikipedia.org/wiki/Time_complexity#Polynomial_time 多项式时间]内进行计算，则认为计算是可行的。有两种[https://en.wikipedia.org/wiki/Time_complexity 时间复杂度]的结果。正结果表明，一类函数可以在多项式时间内学习。负结果表明，某些类函数不能在多项式时间内学习。
==方法==
:''主文章：[https://en.wikipedia.org/wiki/List_of_machine_learning_algorithms 机器学习算法列表]''
===决策树学习===
:''主文章：[https://en.wikipedia.org/wiki/Decision_tree_learning 决策树学习]''
决策树学习使用[https://en.wikipedia.org/wiki/Decision_tree 决策树]作为[https://en.wikipedia.org/wiki/Predictive_modelling 预测模型]，它将问题相关的观察结果映射为问题目标值的结论。
===关联规则学习===
:''主文章：[https://en.wikipedia.org/wiki/Association_rule_learning 关联规则学习]''
关联规则学习是在大型数据库中发现变量间有趣关系的一种方法。
===人工神经网络===
:''主文章：[[ 人工神经网络]]''
[[人工神经网络]](ANN)学习算法，通常称为神经网络(NN)，是一种受[https://en.wikipedia.org/wiki/Neural_circuit 生物神经网络]启发的学习算法。计算是根据一组相互关联的[https://en.wikipedia.org/wiki/Artificial_neuron 人工神经元]来构造的，它们使用[https://en.wikipedia.org/wiki/Connectionism 连接主义]的[https://en.wikipedia.org/wiki/Computation 计算]方法来处理信息。现代神经网络是[https://en.wikipedia.org/wiki/Non-linear 非线性][https://en.wikipedia.org/wiki/Statistical 统计][https://en.wikipedia.org/wiki/Data_modeling 数据建模]工具。它们通常用于模拟输入和输出之间的复杂关系，在数据中[https://en.wikipedia.org/wiki/Pattern_recognition 找到模式]，或在观测变量之间的未知[https://en.wikipedia.org/wiki/Joint_probability_distribution 联合概率分布]中寻找统计结构。
====深度学习====
:''主文章：[https://en.wikipedia.org/wiki/Deep_learning 深度学习]''
近几年来，硬件价格的下降和个人用[https://en.wikipedia.org/wiki/Graphics_processing_unit GPU]的发展促进了深度学习概念的发展，该概念由人工神经网络中的多个隐层组成。这种方法试图模拟人脑将光和声音处理成视觉和听觉的方式。深入学习的一些成功应用是[https://en.wikipedia.org/wiki/Computer_vision 计算机视觉]和[https://en.wikipedia.org/wiki/Speech_recognition 语音识别]
<ref>Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng. "[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.149.802&rep=rep1&type=pdf Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations]" Proceedings of the 26th Annual International Conference on Machine Learning, 2009.</ref>。
===归纳逻辑编程===
:''主文章：[https://en.wikipedia.org/wiki/Inductive_logic_programming 归纳逻辑编程]''
归纳逻辑编程(ILP)是一种将[https://en.wikipedia.org/wiki/Logic_programming 逻辑编程]作为输入实例、背景知识和假设的统一表示的规则学习方法。给定已知背景知识的编码和作为事实逻辑数据库表示的一组示例，ILP系统将导出一个假设逻辑程序，其中包含所有正负示例。[https://en.wikipedia.org/wiki/Inductive_programming 归纳编程]是一个相关的领域，它考虑任何类型的编程语言来表示假设(而不仅仅是逻辑编程)，例如[https://en.wikipedia.org/wiki/Functional_programming 函数程序]。
===支持向量机===
:''主文章：[[SVM支持向量机]]''
[[SVM支持向量机]](SupportVectorMachine，SVMs)是一种用于[https://en.wikipedia.org/wiki/Statistical_classification 分类]和[https://en.wikipedia.org/wiki/Regression_analysis 回归]的[https://en.wikipedia.org/wiki/Supervised_learning 监督学习]算法。给出一组训练实例，每个样本会被标记为属于两类中的一个，SVM算法建立了一个模型来预测一个新的例子是否属于一个类别或另一个类别。
===聚类===
:''主文章：[https://en.wikipedia.org/wiki/Cluster_analysis 聚类分析]''
聚类分析是将一组观测数据分配到子集(称为聚类)中，使同一簇内的观测按照某些预先指定的准则相似，而从不同的簇中提取的观测值则不同。不同的聚类技术对数据的结构提出了不同的假设，通常用某种相似性度量来定义，并通过内部紧密性(同一聚类成员之间的相似性)和不同聚类之间的分离性来评估。其他方法基于估计的密度和图的连通性。聚类是一种[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]方法，是一种常用的[https://en.wikipedia.org/wiki/Statistics 统计][https://en.wikipedia.org/wiki/Data_analysis 数据分析]技术。
===贝叶斯网络===
:''主文章：[https://en.wikipedia.org/wiki/Bayesian_network 贝叶斯网络]''
贝叶斯网络，或称信任网络或者有向无环图形模型是通过[https://en.wikipedia.org/wiki/Directed_acyclic_graph 有向无环图](DAG)表示一组[https://en.wikipedia.org/wiki/Random_variable 随机变量]及其[https://en.wikipedia.org/wiki/Conditional_independence 条件独立性]的[https://en.wikipedia.org/wiki/Graphical_model 概率图形模型]。例如，贝叶斯网络可以表示疾病和症状之间的概率关系。给定症状，网络可以用来计算各种疾病出现的概率。有效的算法可以进行[https://en.wikipedia.org/wiki/Inference 推理]和学习。
===强化学习===
:''主文章：[[强化学习]]''
强化学习是指一个''智能体（agent）''应该如何在''环境''中采取''行动''，从而最大限度地获得长期''报酬''的概念。强化学习算法试图找到一种''策略''，将世界''状态''映射到智能体在这些状态中应该采取的行动。强化学习不同于[https://en.wikipedia.org/wiki/Supervised_learning 监督学习]问题，因为不会提供正确的输入/输出对，也没有明确地修正次优行为。
===表示学习===
:''主文章：[https://en.wikipedia.org/wiki/Representation_learning 表示学习]''
一些学习算法，大多是[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]算法，旨在发现更好的输入的训练数据的表示。经典的例子包括[https://en.wikipedia.org/wiki/Principal_component_analysis 主成分分析]和[https://en.wikipedia.org/wiki/Cluster_analysis 聚类分析]。表示学习算法通常试图在输入中保留信息，并将其转换成有用的方式，通常是在执行分类或预测之前的预处理步骤，允许重构来自未知数据生成分布的输入，而不一定对不太可能服从该分布的结构可靠。
[https://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction#Manifold_learning_algorithms 流形学习]算法尝试处理被学习的数据表示是低维的情况。[https://en.wikipedia.org/wiki/Neural_coding#Sparse_coding 稀疏编码]算法尝试处理被学习的数据表示是稀疏(有多个零)的情况。[https://en.wikipedia.org/wiki/Multilinear_subspace_learning 多线性子空间学习]算法的目的是直接从多维数据的[https://en.wikipedia.org/wiki/Tensor 张量]表示中学习低维表示，而不将它们重构成(高维)向量<ref>{{cite journal |first1=Haiping |last1=Lu |first2=K.N. |last2=Plataniotis |first3=A.N. |last3=Venetsanopoulos |url=http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf |title=A Survey of Multilinear Subspace Learning for Tensor Data |journal=Pattern Recognition |volume=44 |number=7 |pages=1540–1551 |year=2011 }}</ref>。深度学习算法能发现数据表示的多个层次，或者由低级特征定义(或生成)的更高、更抽象的特征层次。有人认为，智能机器是一种学习表示法的机器，它能找出那些解释观测数据的潜在变异因素<ref>{{cite book
| title = Learning Deep Architectures for AI
| author = Yoshua Bengio
| publisher = Now Publishers Inc.
| year = 2009
| isbn : 978-1-60198-294-0
| pages = 1–3
| url = https://books.google.com/books?id=cq5ewg7FniMC&pg=PA3
}}</ref>。
===相似性与度量学习===
:''主文章：[https://en.wikipedia.org/wiki/Similarity_learning 相似性学习]''
在这个问题中，学习机器给出了一对被认为相似的对象和一对不太相似的对象。然后，它需要学习一个相似函数(或距离度量函数)，该函数可以预测新对象是否相似。该算法有时用于[https://en.wikipedia.org/wiki/Recommendation_systems 推荐系统]。
===稀疏字典学习===
:''主文章：[https://en.wikipedia.org/wiki/Sparse_dictionary_learning 稀疏字典学习]''
该方法将数据表示为[https://en.wikipedia.org/wiki/Basis_function 基函数]的线性组合，并假定系数是稀疏的。设x是d维数据，D是d乘n矩阵，其中D的每一列代表一个基函数，r是用D表示x的系数。数学上，稀疏字典学习意味着求解 <math> x\approx Dr ,r </math>是稀疏的。一般说来，假设n大于d，以便稀疏表示。
学习字典和稀疏表示是[https://en.wikipedia.org/wiki/Strongly_NP-hard 强NP难解]的，也很难近似求解<ref>{{cite journal |first=A. M. |last=Tillmann |title=On the Computational Intractability of Exact and Approximate Dictionary Learning |journal=IEEE Signal Processing Letters |volume=22 |issue=1 |year=2015 |pages=45–49 |bibcode;2015ISPL...22...45T |arxiv:1405.6664 }}</ref> 。稀疏字典学习的一种流行的启发式方法是[https://en.wikipedia.org/wiki/K-SVD K-SVD]。
稀疏字典学习已经在几种环境中得到了应用。在分类中，问题是确定以前看不见的数据属于哪些类。假设已经为每个类构建了一个字典。然后，将一个新的数据与类相关联，使得它被相应的字典最优表示。稀疏字典学习也被应用于[https://en.wikipedia.org/wiki/Image_de-noising 图像去噪]。关键的思想是一个干净的图像补丁可以用图像字典来稀疏地表示，但是噪声却不能<ref>Aharon, M, M Elad, and A Bruckstein. 2006. "K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation." Signal Processing, IEEE Transactions on 54 (11): 4311–4322</ref>。
===遗传算法===
:''主文章：[https://en.wikipedia.org/wiki/Genetic_algorithm 遗传算法]''
遗传算法(GeneticAlgorithm，GA)是一种模拟[https://en.wikipedia.org/wiki/Natural_selection 自然选择]过程的[https://en.wikipedia.org/wiki/Search_algorithm 搜索][https://en.wikipedia.org/wiki/Heuristic_(computer_science) 启发]式算法，它利用[https://en.wikipedia.org/wiki/Mutation_(genetic_algorithm) 变异]和[https://en.wikipedia.org/wiki/Crossover_(genetic_algorithm) 重组]等方法生成新的[https://en.wikipedia.org/wiki/Chromosome_(genetic_algorithm) 基因型]，以期为给定问题找到好的解决方案。在机器学习中，遗传算法在20世纪80年代和90年代得到了一些应用
<ref>{{cite journal |last1=Goldberg |first1=David E. |first2=John H. |last2=Holland |title=Genetic algorithms and machine learning |journal=Machine Learning |volume=3 |issue=2 |year=1988 |pages=95–99 }}</ref><ref>{{cite book |title=Machine Learning, Neural and Statistical Classification |first1=D. |last1=Michie |first2=D. J. |last2=Spiegelhalter |first3=C. C. |last3=Taylor |year=1994 |publisher=Ellis Horwood}}</ref>。
相反，机器学习技术被用来改进遗传算法和[https://en.wikipedia.org/wiki/Evolutionary_algorithm 进化算法]的性能
<ref>{{cite journal |last1=Zhang |first1=Jun |last2=Zhan |first2=Zhi-hui |last3=Lin |first3=Ying |last4=Chen |first4=Ni |last5=Gong |first5=Yue-jiao |last6=Zhong |first6=Jing-hui |last7=Chung |first7=Henry S.H. |last8=Li |first8=Yun |last9=Shi |first9=Yu-hui |title=Evolutionary Computation Meets Machine Learning: A Survey |journal=Computational Intelligence Magazine |year=2011 |volume=6 |issue=4 |pages=68–75 |url=http://ieeexplore.ieee.org/iel5/10207/6052357/06052374.pdf?arnumber=6052374 }}</ref>。
===基于规则的机器学习===
[https://en.wikipedia.org/wiki/Rule-based_machine_learning 基于规则的机器学习]是任何机器学习方法的通用术语，它通过识别、学习或演化“规则”来存储、操作或应用知识。基于规则的机器学习者的定义特征是识别和使用一组关系规则，这些规则共同表示系统获取的知识。这与其他机器学习者不同，这些机器学习者通常会识别出一个可以普遍应用于任何实例的奇异模型，以便进行预测<ref>{{Cite journal|last=Bassel|first=George W.|last2=Glaab|first2=Enrico|last3=Marquez|first3=Julietta|last4=Holdsworth|first4=Michael J.|last5=Bacardit|first5=Jaume|date=2011-09-01|title=Functional Network Construction in Arabidopsis Using Rule-Based Machine Learning on Large-Scale Data Sets|url=http://www.plantcell.org/content/23/9/3101|journal=The Plant Cell|language=en|volume=23|issue=9|pages=3101–3116|doi:10.1105/tpc.111.088153|issn:1532-298X|pmc:3203449|pmid:21896882}}</ref> 。基于规则的机器学习方法包括[https://en.wikipedia.org/wiki/Learning_classifier_system 学习分类器系统]、[https://en.wikipedia.org/wiki/Association_rule_learning 关联规则学习]和[https://en.wikipedia.org/wiki/Artificial_immune_system 人工免疫系统]。
====学习分类器====
:''主文章：[https://en.wikipedia.org/wiki/Learning_classifier_system 学习分类器系统]''
学习分类器系统(LCS)是一组[https://en.wikipedia.org/wiki/Rule-based_machine_learning 基于规则的机器学习]算法，它将发现组件(通常是[https://en.wikipedia.org/wiki/Genetic_algorithm 遗传算法])与学习组件(执行有[https://en.wikipedia.org/wiki/Supervised_learning 监督学习]、[https://en.wikipedia.org/wiki/Reinforcement_learning 强化学习]或[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习])结合起来。他们试图找出一套与情境相关的规则，这些规则以一种[https://en.wikipedia.org/wiki/Piecewise 分段]的方式，集体存储和应用知识，以便进行预测<ref>{{Cite journal|last=Urbanowicz|first=Ryan J.|last2=Moore|first2=Jason H.|date=2009-09-22|title=Learning Classifier Systems: A Complete Introduction, Review, and Roadmap|url=http://www.hindawi.com/archive/2009/736398/|journal=Journal of Artificial Evolution and Applications|language=en|volume=2009|pages=1–25|issn:1687-6229}}</ref>。
==应用==
机器学习的应用包括：<br>
[https://en.wikipedia.org/wiki/Precision_agriculture 农业]<br>
[https://en.wikipedia.org/wiki/Automated_theorem_proving 机器证明]
<ref>Bridge, James P., Sean B. Holden, and Lawrence C. Paulson. "[https://www.cl.cam.ac.uk/~lp15/papers/Reports/Bridge-ml.pdf Machine learning for first-order theorem proving]." Journal of automated reasoning 53.2 (2014): 141–172.</ref><ref>Loos, Sarah, et al. "[https://arxiv.org/pdf/1701.06972 Deep Network Guided Proof Search]." arXiv preprint arXiv:1701.06972 (2017).</ref><br>
[https://en.wikipedia.org/wiki/Adaptive_website 适应性网站]<br>
[https://en.wikipedia.org/wiki/Affective_computing 情感计算]<br>
[https://en.wikipedia.org/wiki/Bioinformatics 生物信息学]<br>
[https://en.wikipedia.org/wiki/Brain%E2%80%93machine_interface 脑-机接口]<br>
[https://en.wikipedia.org/wiki/Cheminformatics 化学信息学]<br>
分类[https://en.wikipedia.org/wiki/Nucleic_acid_sequence DNA序列]<br>
[https://en.wikipedia.org/wiki/Computational_anatomy 计算解剖学]<br>
[https://en.wikipedia.org/wiki/Network_simulation 计算机网络]<br>
[https://en.wikipedia.org/wiki/Telecommunication 电信]<br>
[https://en.wikipedia.org/wiki/Computer_vision 计算机视觉]，包括目标识别<br>
检测[https://en.wikipedia.org/wiki/Credit_card_fraud 信用卡诈骗]<br>
[https://en.wikipedia.org/wiki/General_game_playing 通用游戏]<ref>Finnsson, Hilmar, and Yngvi Björnsson. "[https://vvvvw.aaai.org/Papers/AAAI/2008/AAAI08-041.pdf Simulation-Based Approach to General Game Playing]." AAAI. Vol. 8. 2008.</ref><br>
[https://en.wikipedia.org/wiki/Information_retrieval 信息检索]<br>
[https://en.wikipedia.org/wiki/Internet_fraud 互联网诈骗检测]<ref name="alpaydin"/><br>
[https://en.wikipedia.org/wiki/Linguistics 语言学]<br>
[https://en.wikipedia.org/wiki/Marketing 营销]<br>
[https://en.wikipedia.org/wiki/Machine_learning_control 机器学习控制]<br>
[https://en.wikipedia.org/wiki/Machine_perception 机器感知]<br>
[https://en.wikipedia.org/wiki/Diagnosis_(artificial_intelligence) 医学诊断]<br>
[https://en.wikipedia.org/wiki/Economics 经济学]<br>
[https://en.wikipedia.org/wiki/Insurance 保险]<br>
[https://en.wikipedia.org/wiki/Natural_language_processing 自然语言处理]<br>
[https://en.wikipedia.org/wiki/Natural_language_understanding 自然语言理解]<ref>Sarikaya, Ruhi, Geoffrey E. Hinton, and Anoop Deoras. "[http://www.cs.utoronto.ca/~hinton/absps/ruhijournal.pdf Application of deep belief networks for natural language understanding]." IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP) 22.4 (2014): 778–784.</ref><br>
[https://en.wikipedia.org/wiki/Mathematical_optimization 优化]和[https://en.wikipedia.org/wiki/Metaheuristic 元启发式]<br>
[https://en.wikipedia.org/wiki/Online_advertising 在线广告]<br>
[https://en.wikipedia.org/wiki/Recommender_system 推荐系统]<br>
[https://en.wikipedia.org/wiki/Robot_locomotion 机器人移动]<br>
[https://en.wikipedia.org/wiki/Web_search_engine 搜索引擎]<br>
[https://en.wikipedia.org/wiki/Sentiment_analysis 情感分析]（意见挖掘)<br>
[https://en.wikipedia.org/wiki/Sequence_mining 序列挖掘]<br>
[https://en.wikipedia.org/wiki/Software_engineering 软件工程]<br>
[https://en.wikipedia.org/wiki/Speech_recognition 语音识别]和[https://en.wikipedia.org/wiki/Handwriting_recognition 手写识别]<br>
[https://en.wikipedia.org/wiki/Financial_market 金融市场]分析<br>
[https://en.wikipedia.org/wiki/Structural_health_monitoring 结构健康监测]<br>
[https://en.wikipedia.org/wiki/Syntactic_pattern_recognition 句法模式识别]<br>
[https://en.wikipedia.org/wiki/Time_series 时间序列预测]<br>
[https://en.wikipedia.org/wiki/User_behavior_analytics 用户行为分析]<br>
[https://en.wikipedia.org/wiki/Translation 翻译]
<ref>
[http://english.yonhapnews.co.kr/news/2017/01/10/0200000000AEN20170110009700320.html?did=2106m "AI-based translation to soon reach human levels: industry officials"]. Yonhap news agency. Retrieved 4 Mar 2017.
</ref><br>
2006年，在线电影公司[https://en.wikipedia.org/wiki/Netflix Netflix]举办了第一届“[https://en.wikipedia.org/wiki/Netflix_Prize Netflix奖]”竞赛，目的是寻找一个更好地预测用户喜好的程序，并将现有Cinematch电影推荐算法的准确性提高至少10%。由[https://en.wikipedia.org/wiki/AT%26T_Labs AT&T实验室]的研究人员组成的一个联合团队与“大混乱与务实理论”合作，以100万美元的价格建立了一个[https://en.wikipedia.org/wiki/Ensemble_Averaging 集成模型]<ref>[http://www2.research.att.com/~volinsky/netflix/ "BelKor Home Page"] research.att.com</ref> ，赢得了2009年的大奖。在颁奖后不久，Netflix意识到，观众的收视率并不是他们观看模式的最佳指标(“一切都是推荐的”)，于是他们相应地改变了推荐引擎
<ref>
[http://techblog.netflix.com/2012/04/netflix-recommendations-beyond-5-stars.html "The Netflix Tech Blog: Netflix Recommendations: Beyond the 5 stars (Part 1)"]. Retrieved 8 August 2015.
</ref>。
2010年，《华尔街日报》发表了Rebellion研究公司及它们利用机器学习预测金融危机的相关报道。<ref>
Scott Patterson (13 July 2010).
[https://www.wsj.com/articles/SB10001424052748703834604575365310813948080 "Letting the Machines Decide"]. The Wall Street Journal. Retrieved 24 June 2018.
</ref>。
2012年，[https://en.wikipedia.org/wiki/Sun_Microsystems Sun Microsystems]的联合创始人[https://en.wikipedia.org/wiki/Vinod_Khosla VinodKhosla]预测，在接下来的20年里，80%的医生将因自动机器学习医疗诊断软件而失业
<ref>
Vonod Khosla (January 10, 2012).
[https://techcrunch.com/2012/01/10/doctors-or-algorithms/ "Do We Need Doctors or Algorithms?"]. Tech Crunch.
</ref>。
2014年，有报道称机器学习算法在艺术史领域被用于研究美术绘画，并可能揭示了艺术家之间先前未被认识到的影响<ref>[https://medium.com/the-physics-arxiv-blog/when-a-machine-learning-algorithm-studied-fine-art-paintings-it-saw-things-art-historians-had-never-b8e4e7bf7d3e When A Machine Learning Algorithm Studied Fine Art Paintings, It Saw Things Art Historians Had Never Noticed], ''The Physics at ArXiv blog''</ref>。
==局限==
虽然机器学习在某些领域是革命性的，但有效的机器学习仍是困难的，因为找出模式很难，而且往往没有足够的训练数据；因此，许多机器学习程序往往无法达到预期值
<ref>
[http://web.archive.org/web/20170320225010/https://www.bloomberg.com/news/articles/2016-11-10/why-machine-learning-models-often-fail-to-learn-quicktake-q-a "Why Machine Learning Models Often Fail to Learn: QuickTake Q&A"]. ''Bloomberg.com.'' 2016-11-10. Retrieved 2017-04-10.
</ref>
<ref>
[https://hbr.org/2017/04/the-first-wave-of-corporate-ai-is-doomed-to-fail "The First Wave of Corporate AI Is Doomed to Fail"]. Harvard Business Review. 2017-04-18. Retrieved 2018-08-20.
</ref>
<ref>
[https://venturebeat.com/2016/09/17/why-the-a-i-euphoria-is-doomed-to-fail/ "Why the A.I. euphoria is doomed to fail"]. VentureBeat. 2016-09-18. Retrieved 2018-08-20.
</ref> 。
造成这种情况的原因很多：缺乏(适当的)数据、无法访问数据、数据偏见、隐私问题、错误的任务选择和算法、错误的工具和人员、缺乏资源和评估问题<ref>
[https://www.kdnuggets.com/2018/07/why-machine-learning-project-fail.html|title=9 Reasons why your machine learning project will fail "9 Reasons why your machine learning project will fail"]. www.kdnuggets.com. Retrieved 2018-08-20.
</ref>。
机器学习方法尤其会受到不同数据偏见的影响。只针对当前客户进行训练的机器学习系统可能无法预测训练数据中未表示的新客户组的需求。当接受人工数据训练时，机器学习很可能会产生与社会上已经存在的相同的成体制偏见和无意识偏见
<ref>{{Cite journal|last=Garcia|first=Megan|date=2016|title=Racist in the Machine|url=https://read.dukeupress.edu/world-policy-journal/article/33/4/111-117/30942|journal=World Policy Journal|language=en|volume=33|issue=4|pages=111–117|issn:0740-2775}}</ref> 。
从数据中学到的语言模型已被证明含有类似人类的偏见
<ref>{{Cite journal|last=Caliskan|first=Aylin|last2=Bryson|first2=Joanna J.|last3=Narayanan|first3=Arvind|date=2017-04-14|title=Semantics derived automatically from language corpora contain human-like biases|url=http://science.sciencemag.org/content/356/6334/183|journal=Science|language=en|volume=356|issue=6334|pages=183–186|doi:10.1126/science.aal4230|issn:0036-8075|pmid:28408601}}</ref>
<ref>
Wang, Xinan; Dasgupta, Sanjoy (2016), Lee, D. D.; Sugiyama, M.; Luxburg, U. V.; Guyon, I., eds.,
[http://papers.nips.cc/paper/6227-an-algorithm-for-l1-nearest-neighbor-search-via-monotonic-embedding.pdf "An algorithm for L1 nearest neighbor search via monotonic embedding"] (PDF),
''Advances in Neural Information Processing Systems 29'', Curran Associates, Inc., pp. 983–991, Retrieved 2018-08-20
</ref> 。
用于犯罪风险评估的机器学习系统被发现对黑人有偏见<ref>
[https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing "Machine Bias"]. ProPublica. Julia Angwin, Jeff Larson, Lauren Kirchner, Surya Mattu. 2016-05-23. Retrieved 2018-08-20.
</ref>
<ref>
[https://www.nytimes.com/2017/10/26/opinion/algorithm-compas-sentencing-bias.html "Opinion | When an Algorithm Helps Send You to Prison"]. New York Times. Retrieved 2018-08-20.
</ref>
。在2015年，谷歌上黑人的照片常常被贴上大猩猩的标签
<ref>
[https://www.bbc.co.uk/news/technology-33347866 "Google apologises for racist blunder"]. BBC News. 2015-07-01. Retrieved 2018-08-20.
</ref> ，
而到2018年，这仍然没有得到很好的解决，但据报道，谷歌仍在使用变通方法将所有大猩猩从训练数据中删除，因此根本无法识别真正的大猩猩
<ref>
[https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai "Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech"]. The Verge. Retrieved 2018-08-20.
</ref>。
在许多其他系统中
<ref>
[https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html "Opinion | Artificial Intelligence's White Guy Problem"]. New York Times. Retrieved 2018-08-20.
</ref> ，也发现了识别非白人的类似问题。2016年，微软测试了一个从Twitter上学习的[https://en.wikipedia.org/wiki/Chatbot 聊天机器人]，而后者却很快学会了种族主义和性别歧视的语言
<ref>
Metz, Rachel.
[https://www.technologyreview.com/s/601111/why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/ "Why Microsoft's teen chatbot, Tay, said lots of awful things online"]. MIT Technology Review. Retrieved 2018-08-20.
</ref>。
由于这些挑战，机器在其他领域的有效使用仍有很长的路要走
<ref>
Simonite, Tom. [https://www.technologyreview.com/s/603944/microsoft-ai-isnt-yet-adaptable-enough-to-help-businesses/ "Microsoft says its racist chatbot illustrates how AI isn't adaptable enough to help most businesses"]. MIT Technology Review. Retrieved 2018-08-20.
</ref>。2018年，[https://en.wikipedia.org/wiki/Uber Uber]的一辆自动驾驶汽车未能检测到行人并导致其在事故中丧生。
<ref>
[https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian "Why Uber's self-driving car killed a pedestrian"]. The Economist. Retrieved 2018-08-20.
</ref>。
[https://en.wikipedia.org/wiki/Watson_(computer) IBM Watson]系统在医疗保健领域使用机器学习的尝试，即便经过多年的时间和数十亿美元的投资，也未能实现
<ref>
[https://www.statnews.com/2018/07/25/ibm-watson-recommended-unsafe-incorrect-treatments/ "IBM's Watson recommended 'unsafe and incorrect' cancer treatments - STAT"]. STAT. 2018-07-25. Retrieved 2018-08-21.
</ref>
<ref>
Hernandez, Daniela; Greenwald, Ted (2018-08-11).
[https://www.wsj.com/articles/ibm-bet-billions-that-watson-could-improve-cancer-treatment-it-hasnt-worked-1533961147 "IBM Has a Watson Dilemma"].
Wall Street Journal. ISSN 0099-9660. Retrieved 2018-08-21.
</ref>。
==模型评估==
分类机学习模型可以通过例如 [https://en.wikipedia.org/wiki/Training,_test,_and_validation_sets Holdout] 方法等精度估计技术来验证，该方法将训练和测试集(通常指定2/3为训练集，1/3为测试集)中的数据分开，并对训练模型在测试集上的性能进行评估。比较而言，N重[https://en.wikipedia.org/wiki/Cross-validation_(statistics) 交叉验证方法]将数据随机分成k个子集，其中使用k-1个实例来训练模型，而使用第k个实例来测试训练模型的预测能力。除了Holdout方法和交叉验证方法之外，[https://en.wikipedia.org/wiki/Bootstrapping Bootstrap]还可以使用从数据集中替换的n个实例来评估模型的准确性。
除了总体准确性外，调查人员还经常报告[https://en.wikipedia.org/wiki/Sensitivity_and_specificity 敏感性和特异性]，即真阳性率(TPR)和真阴性率(TNR)。同样，调查人员有时报告[https://en.wikipedia.org/wiki/False_positive_rate 假阳性率](FPR)和[https://en.wikipedia.org/wiki/False_positives_and_false_negatives#False_positive_and_false_negative_rates 假阴性率](FNR)。然而，这些比率不能显示它们的分子和分母。[https://en.wikipedia.org/wiki/Total_operating_characteristic 总运行特性](TOC)是表示模型诊断能力的一种有效方法。TOC显示上述比率的分子和分母，因此TOC提供的信息比常用的[https://en.wikipedia.org/wiki/Receiver_operating_characteristic 受试者工作特征](ROC)和曲线下ROC的关联区域(AUC)提供的信息更多<ref>{{cite journal|last1=Pontius|first1=Robert Gilmore|last2=Si|first2=Kangping|title=The total operating characteristic to measure diagnostic ability for multiple thresholds| journal=International Journal of Geographical Information Science|volume=28|issue=3|year=2014|pages=570–583|doi:10.1080/13658816.2013.862623}}</ref>。
==规范准则==
机器学习导致了许多[https://en.wikipedia.org/wiki/Machine_ethics 伦理问题]。利用偏见收集的数据集进行训练的系统可能会在使用时表现出这些偏见([https://en.wikipedia.org/wiki/Algorithmic_bias 算法偏见])，从而将文化偏见数字化
<ref>
Bostrom, Nick (2011).
[http://www.nickbostrom.com/ethics/artificial-intelligence.pdf "The Ethics of Artificial Intelligence"] (PDF). Retrieved 11 April 2016.
</ref> 。
例如，使用具有种族主义雇用政策的公司的招聘数据可能导致机器学习系统复制这种偏见，方法是将求职者与先前成功申请者的相似性打分
<ref name="Edionwe Outline">
Edionwe, Tolulope.
[https://theoutline.com/post/1571/the-fight-against-racist-algorithms "The fight against racist algorithms"]. The Outline. Retrieved 17 November 2017.
</ref>
<ref name="Jeffries Outline">
Jeffries, Adrianne.
[https://theoutline.com/post/1439/machine-learning-is-racist-because-the-internet-is-racist "Machine learning is racist because the internet is racist"]. The Outline. Retrieved 17 November 2017.
</ref> 。负责任的[https://en.wikipedia.org/wiki/Data_collection 数据收集]和系统使用的算法规则的记录是机器学习的一个关键部分。
因为语言包含偏见，受过[https://en.wikipedia.org/wiki/Text_corpus 语料]库训练的机器也必然会学习偏见
<ref>
Narayanan, Arvind (August 24, 2016).
[https://freedom-to-tinker.com/2016/08/24/language-necessarily-contains-human-biases-and-so-will-machines-trained-on-language-corpora/ "Language necessarily contains human biases, and so will machines trained on language corpora"]. Freedom to Tinker.
</ref>。
其他与个人偏见无关的道德挑战则更多地体现在医疗保健方面。医疗保健专业人士担心，这些系统可能不是为了公众利益而设计的，而是作为创收机器设计的。这在改善医疗保健和增加利润方面存在长期的道德困境的美国尤其如此。例如，这些算法可以设计为患者提供不必要的测试或药物治疗，而该算法的专属所有者在这些测试或药物中持有股份。在医疗保健领域，机器学习在成为为专业人员提供诊断、药物治疗甚至计划病人康复路径的伟大工具上有着巨大的潜力，但这在前面提到的个人偏见和这些“贪婪”偏见得到解决之前是不可能发生的<ref>Char, D. S., Shah, N. H., & Magnus, D. (2018). Implementing Machine Learning in Health Care—Addressing Ethical Challenges.New England Journal of Medicine,378(11), 981-983. doi:10.1056/nejmp1714229</ref>。
==软件==
包含各种机器学习算法的软件包包括：
===免费开源软件===
·[https://en.wikipedia.org/wiki/Microsoft_Cognitive_Toolkit CNTK] ·[https://en.wikipedia.org/wiki/MLPACK_(C%2B%2B_library) MLPACK] ·[https://en.wikipedia.org/wiki/Apache_Spark#MLlib_Machine_Learning_Library Spark MLlib]
·[https://en.wikipedia.org/wiki/Deeplearning4j Deeplearning4j] ·[https://en.wikipedia.org/wiki/Apache_MXNet MXNet] ·[https://en.wikipedia.org/wiki/TensorFlow TensorFlow]
·[https://en.wikipedia.org/wiki/ELKI ELKI] ·[https://en.wikipedia.org/wiki/OpenNN OpenNN] ·[https://en.wikipedia.org/wiki/Torch_(machine_learning) Torch]/[https://en.wikipedia.org/wiki/PyTorch PyTorch]
·[https://en.wikipedia.org/wiki/H2O_(software) H2O] ·[https://en.wikipedia.org/wiki/Orange_(software) Orange] ·[https://en.wikipedia.org/wiki/Weka_(machine_learning) Weka] / [https://en.wikipedia.org/wiki/MOA_(Massive_Online_Analysis) MOA]
·[https://en.wikipedia.org/wiki/Apache_Mahout Mahout] ·[https://en.wikipedia.org/wiki/Scikit-learn scikit-learn] ·[https://en.wikipedia.org/wiki/Yooreeka Yooreeka]
·[https://en.wikipedia.org/wiki/Mallet_(software_project) Mallet] ·[https://en.wikipedia.org/wiki/Shogun_(toolbox) Shogun]
===有免费开源版本的专利软件===
• [https://en.wikipedia.org/wiki/KNIME KNIME] • [https://en.wikipedia.org/wiki/RapidMiner RapidMiner]
===专利软件===
*[https://en.wikipedia.org/wiki/Amazon_Web_Services#Analytics Amazon Machine Learning]
*[https://en.wikipedia.org/wiki/Angoss Angoss] KnowledgeSTUDIO
*[https://en.wikipedia.org/wiki/Ayasdi Ayasdi]
*[https://en.wikipedia.org/wiki/IBM_Data_Science_Experience IBM Data Science Experience]
*[https://en.wikipedia.org/wiki/Google_APIs Google Prediction API]
*[https://en.wikipedia.org/wiki/SPSS_Modeler IBM SPSS Modeler]
*[https://en.wikipedia.org/wiki/KXEN_Inc. KXEN Modeler]
*[https://en.wikipedia.org/wiki/LIONsolver LIONsolver]
*[https://en.wikipedia.org/wiki/Wolfram_Mathematica Mathematica]
*[https://en.wikipedia.org/wiki/MATLAB MATLAB]
*[https://en.wikipedia.org/wiki/Microsoft_Azure#Machine_Learning Microsoft Azure Machine Learning]
*[https://en.wikipedia.org/wiki/Neural_Designer Neural Designer]
*[https://en.wikipedia.org/wiki/NeuroSolutions NeuroSolutions]
*[https://en.wikipedia.org/wiki/Oracle_Data_Mining Oracle Data Mining]
*[https://en.wikipedia.org/wiki/Oracle_Cloud#Platform_as_a_Service_(PaaS) Oracle AI Platform Cloud Service]
*[https://en.wikipedia.org/wiki/RCASE RCASE]
*[https://en.wikipedia.org/wiki/SAS_(software)#Components SAS Enterprise Miner]
*[https://en.wikipedia.org/wiki/SequenceL SequenceL]
*[https://en.wikipedia.org/wiki/Splunk Splunk]
*[https://en.wikipedia.org/wiki/Statistica STATISTICA] Data Miner
==期刊==
*''[https://en.wikipedia.org/wiki/Journal_of_Machine_Learning_Research Journal of Machine Learning Research]''
*''[https://en.wikipedia.org/wiki/Machine_Learning_(journal) Machine Learning]''
*''[https://en.wikipedia.org/wiki/Neural_Computation_(journal) Neural Computation]''
==会议==
*''[https://en.wikipedia.org/wiki/Conference_on_Neural_Information_Processing_Systems Conference on Neural Information Processing Systems]''
*''[https://en.wikipedia.org/wiki/International_Conference_on_Machine_Learning International Conference on Machine Learning]''
*''International Conference on Learning Representations''
*''[https://odsc.com/ Open Data Science Conference (ODSC)]''
==参见==
*[[人工智能]]
*[https://en.wikipedia.org/wiki/Automated_machine_learning 自动机器学习]
*[https://en.wikipedia.org/wiki/Automated_reasoning 自动推理法]
*[https://en.wikipedia.org/wiki/Big_data 大数据]
*[https://en.wikipedia.org/wiki/Computational_intelligence 计算智能]
*[https://en.wikipedia.org/wiki/Computational_neuroscience 计算神经科学]
*[[数据科学]]
*[[深度学习]]
*[https://en.wikipedia.org/wiki/Ethics_of_artificial_intelligence 人工智能伦理]
*[https://en.wikipedia.org/wiki/Existential_risk_from_advanced_artificial_intelligence 先进人工智能的生存危机]
*[https://en.wikipedia.org/wiki/Explanation-based_learning 基于解释的学习]
*[https://en.wikipedia.org/wiki/List_of_important_publications_in_computer_science#Machine_learning 机器学习方面的重要出版物]
*[https://en.wikipedia.org/wiki/List_of_machine_learning_algorithms 机器学习算法列表]
*[https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research 机器学习研究数据集列表]
*[[量子机器学习]]
*[https://en.wikipedia.org/wiki/Similarity_learning 相似学习]
*[https://en.wikipedia.org/wiki/Machine_learning_in_bioinformatics 机器学习在生物信息学中的应用]
==参考文献==
<references/>
==拓展阅读==
* Nils J. Nilsson, [http://ai.stanford.edu/people/nilsson/mlbook.html Introduction to Machine Learning.]
* Trevor Hastie, Robert Tibshirani and Jerome H. Friedman (2001). [https://web.stanford.edu/~hastie/ElemStatLearn/ The Elements of Statistical Learning], Springer. ISBN 0-387-95284-5.
* Pedro Domingos (September 2015), [https://en.wikipedia.org/wiki/The_Master_Algorithm The Master Algorithm], Basic Books, ISBN 978-0-465-06570-7
* Ian H. Witten and Eibe Frank (2011). Data Mining: Practical machine learning tools and techniques Morgan Kaufmann, 664pp., ISBN 978-0-12-374856-0.
* Ethem Alpaydin (2004). Introduction to Machine Learning, MIT Press, ISBN 978-0-262-01243-0.
* David J. C. MacKay. [http://www.inference.org.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms] Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
* Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern classification (2nd edition), Wiley, New York, ISBN 0-471-05669-3.
* Christopher Bishop (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0-19-853864-2.
* Stuart Russell & Peter Norvig, (2002). Artificial Intelligence – A Modern Approach. Prentice Hall, ISBN 0-136-04259-7.
* Ray Solomonoff, An Inductive Inference Machine, IRE Convention Record, Section on Information Theory, Part 2, pp., 56–62, 1957.
* Ray Solomonoff, [http://world.std.com/~rjs/indinf56.pdf An Inductive Inference Machine] A privately circulated report from the 1956 Dartmouth Summer Research Conference on AI.
==外部链接==
* [http://machinelearning.org/ International Machine Learning Society]
* Popular online course by [https://en.wikipedia.org/wiki/Andrew_Ng Andrew Ng], at [https://www.coursera.org/learn/machine-learning Coursera]. It uses [https://en.wikipedia.org/wiki/GNU_Octave GNU Octave]. The course is a free version of [https://en.wikipedia.org/wiki/Stanford_University Stanford University]'s actual course taught by Ng, whose lectures are also [https://see.stanford.edu/Course/CS229 available for free].
* [https://mloss.org/ mloss] is an academic database of open-source machine learning software.
* [https://developers.google.com/machine-learning/crash-course/ Machine Learning Crash Course] by [https://en.wikipedia.org/wiki/Google Google]. This is a free course on machine learning through the use of [https://en.wikipedia.org/wiki/TensorFlow TensorFlow].
[[category:机器学习]]
[[category:人工智能]]
本词条内容翻译自 en.wikipedia.org，遵守 CC3.0协议。
'''机器学习'''是[https://en.wikipedia.org/wiki/Computer_science 计算机科学]的分支——[[人工智能]]的一个子集，它通常使用统计学方法，借助[https://en.wikipedia.org/wiki/Data 数据]，赋予[https://en.wikipedia.org/wiki/Computer 计算机]“学习”的能力（例如，逐渐提高在特定任务上的表现）而不需要明确编写学习过程<ref name =" 2w">The "without being explicitly programmed" definition is often attributed to Arthur Samuel, who coined the term "machine learning" in 1959. But the phrase is not found literally in this publication, and may be a paraphrase that appeared later. Confer "Paraphrasing Arthur Samuel (1959), the question is: How can computers learn to solve problems without being explicitly programmed?" in Koza, John R.; Bennett, Forrest H.; Andre, David; Keane, Martin A. (1996). [https://link.springer.com/chapter/10.1007/978-94-009-0279-4_9 Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming]. Artificial Intelligence in Design '96. Springer, Dordrecht. pp. 151–170. [https://doi.org/10.1007/978-94-009-0279-4_9 doi:10.1007/978-94-009-0279-4_9] </ref>。
<br>''机器学习''的名字是[https://en.wikipedia.org/wiki/Arthur_Samuel Arthur Samuel]
<ref name="Samuel">
{{Cite journal|last=Samuel|first=Arthur|date=1959|title=[http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.368.2254 Some Studies in Machine Learning Using the Game of Checkers] |journal=IBM Journal of Research and Development|volume=3|issue=3|pages=210–229|via=|citeseerx=10.1.1.368.2254}}</ref>
在1959年创建的。它由[[人工智能]]
<ref name="Britannica">http://www.britannica.com/EBchecked/topic/1116194/machine-learning </ref>
中的[https://en.wikipedia.org/wiki/Pattern_recognition 模式识别]与[https://en.wikipedia.org/wiki/Computational_learning_theory 计算学习理论]研究发展而来，探究从数据
<ref>{{cite journal |title=Glossary of terms |author1=Ron Kohavi |author2=Foster Provost |journal=Machine Learning |volume=30 |pages=271–274 |year=1998 |url=http://ai.stanford.edu/~ronnyk/glossary.html}}</ref>
中学习、做出预测的[https://en.wikipedia.org/wiki/Algorithm 算法]的研究与结构——这些算法通过从样本输入中建立[https://en.wikipedia.org/wiki/Mathematical_model 模型]，做出数据驱动的预测或决定
<ref name="bishop2006" />，
避免了一系列严格的静态[https://en.wikipedia.org/wiki/Computer_program 程序指令]。机器学习被应用于那些设计运转良好、 清晰明确的算法十分困难或根本不可行的计算任务中 ；其应用范围包括[https://en.wikipedia.org/wiki/Email_filtering 电子邮件过滤]、网络入侵者与针对[https://en.wikipedia.org/wiki/Data_breach 数据泄露]的恶意内部人员的探查、[https://en.wikipedia.org/wiki/Optical_character_recognition 光学字符识别]、[https://en.wikipedia.org/wiki/Learning_to_rank 学习排序]、[https://en.wikipedia.org/wiki/Computer_vision 计算机视觉]。
<br>机器学习与[https://en.wikipedia.org/wiki/Computational_statistics 计算统计学]密切相关(而且常常与之重叠)，计算统计学也专注于通过使用计算机进行预测。它与[https://en.wikipedia.org/wiki/Mathematical_optimization 数学优化]有着很强的联系，后者为之提供了方法、理论和应用领域。机器学习有时与[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]
<ref>
Mannila Heikki(1996).
''Data mining: machine learning, statistics, and databases.''
Int'l Conf. Scientific and Statistical Database Management.IEEE Computer Society.
</ref>
混为一谈，后者更侧重于[https://en.wikipedia.org/wiki/Exploratory_data_analysis 探索性数据分析]，被称为[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]
<ref name="bishop2006" />
<ref>
{{cite journal |last=Friedman |first=Jerome H.
|title=Data Mining and Statistics: What's the connection? |journal=Computing Science and Statistics |volume=29 |issue=1 |year=1998 |pages=3–9}}</ref>。机器学习也可以是无监督的，并可用于为各种实体，学习和建立基线行为轮廓，然后用于寻找有意义的异常。
<br>在[https://en.wikipedia.org/wiki/Analytics 数据分析]领域，机器学习是设计复杂模型和算法的一种方法。这有助于预测；在商业用途中，这被称为[https://en.wikipedia.org/wiki/Predictive_analytics 预测分析]。这些分析模型使研究人员、[https://en.wikipedia.org/wiki/Data_science 数据科学家]、工程师和分析人员能够“产生可靠的、可重复的决策和结果”，并通过从数据中的历史关系和趋势中学习，来发现“隐藏的洞见”。
<ref>
[http://www.sas.com/it_it/insights/analytics/machine-learning.html "Machine Learning: What it is and why it matters"].
''www.sas.com.'' Retrieved 2016-03-29.
</ref>
==概述==
[https://en.wikipedia.org/wiki/Tom_M._Mitchell Tom M.Mitchell]对机器学习领域中研究的算法提供了一个被广泛引用的、更正式的定义：“计算机程序被描述为从经验E中学习某些类型的任务T和性能度量P，如果它在T中的性能(用P来衡量)随着经验E而提高。”
<ref>{{cite book
|author=Mitchell, T.
|title=Machine Learning
|publisher=McGraw Hill
|isbn:978-0-07-042807-2
|pages=2
|year=1997}}</ref>
这一将机器学习与任务进行关联的定义提供了一个基本的[https://en.wikipedia.org/wiki/Operational_definition 可执行定义]，而不是认知术语形式的定义。这与[https://en.wikipedia.org/wiki/Alan_Turing 艾伦·图灵]在他的论文“[https://en.wikipedia.org/wiki/Computing_Machinery_and_Intelligence 计算机器和智能]”中的提议一脉相承，其中“机器能思考吗？”被替换为“机器能做我们(作为思维实体)能做的事情吗？”
<ref>
Harnad, Stevan(2008),
[http://eprints.ecs.soton.ac.uk/12954/ "The Annotation Game: On Turing (1950) on Computing, Machinery, and Intelligence"],
in Epstein, Robert; Peters, Grace,
''The Turing Test Sourcebook: Philosophical and Methodological Issues in the Quest for the Thinking Computer '',
Kluwer
</ref> 。图灵的建议揭露了''思维机器''可能具有的各种特性以及构建机器时的诸多暗含之意 。
===机器学习的任务===
机器学习任务通常分为两大类，取决于学习系统是否存在学习“信号”或“反馈”:
* [https://en.wikipedia.org/wiki/Supervised_learning 监督学习]：向计算机展示由“教师”提供的示例输入及其期望的输出，目标是学习将输入[https://en.wikipedia.org/wiki/Map_(mathematics) 映射]到输出的一般规则。作为特例，输入信号只能被部分提供，或仅限于特定反馈：
** [https://en.wikipedia.org/wiki/Semi-supervised_learning 半监督学习]：只提供给计算机一个不完整的训练信号：一个训练集，其中有一些（通常很多）的目标输出丢失。
** [https://en.wikipedia.org/wiki/Active_learning_(machine_learning) 主动学习]：计算机只能获得有限的实例集(基于预算)的训练标签，还必须优化对象的选择以获取标签。当交互使用时，可以向用户展示这些对象以供标签。
** [https://en.wikipedia.org/wiki/Reinforcement_learning 强化学习]：训练数据(以奖励和惩罚的形式)只作为对程序在动态环境中的行为的反馈，例如[https://en.wikipedia.org/wiki/Autonomous_car 自动驾驶]或与对手玩游戏<ref name="bishop2006" />。
* [https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]：没有标签给学习算法，留下它自己在其输入中找到结构。无监督学习本身可以是一个目标（发现数据中隐藏的模式），或者是一种达到目的的手段（[https://en.wikipedia.org/wiki/Feature_learning 特征学习]）。
===机器学习的应用===
当考虑机器学习系统的期望输出时，机器学习任务的另一种分类出现了。
<ref name="bishop2006" />
* 在[https://en.wikipedia.org/wiki/Statistical_classification 分类]中，输入被分成两个或多个类，学习者必须生成一个模型，将未被分类的输入分配给这些类的一个或多个([https://en.wikipedia.org/wiki/Multi-label_classification 多标签分类])。这通常是以监督的方式处理的。垃圾邮件过滤是分类的一个例子，其中输入是电子邮件(或其他)消息，类是“垃圾邮件”和“非垃圾邮件”。
* 在[https://en.wikipedia.org/wiki/Regression_analysis 回归]中，也是一个有监督学习问题，输出是连续的而不是离散的。
* 在[https://en.wikipedia.org/wiki/Cluster_analysis 聚类]中，一组输入被分为不同组。与分类不同的是，这些组事先是未知的，因此这通常是无监督学习的任务。
* [https://en.wikipedia.org/wiki/Density_estimation 密度估计]挖掘输入在某一空间的[https://en.wikipedia.org/wiki/Probability_distribution 分布]。
* [https://en.wikipedia.org/wiki/Dimensionality_reduction 维数约简]通过将输入映射到低维空间来简化输入。[https://en.wikipedia.org/wiki/Topic_model 主题建模]是一个相关的问题，在这个问题中，程序会得到一个人类语言文档的列表，并负责找出哪些文档涵盖了类似的主题。
在其他类型的机器学习问题中， [https://en.wikipedia.org/wiki/Meta_learning_(computer_science) 元学习]在以往经验的基础上学会了自己的[https://en.wikipedia.org/wiki/Inductive_bias 归纳偏好]。 [https://en.wikipedia.org/wiki/Developmental_robotics 发育学习]是为[https://en.wikipedia.org/wiki/Robot_learning 机器人学习]而发展起来的，它通过自主的自我探索和与人类教师的社会互动，利用主动学习、成熟、运动协同和模仿等引导机制，产生自己的学习情境序列(也称为课程)，累积获得一系列新技能。
==历史、和其它领域的关系==
:''参见：[https://en.wikipedia.org/wiki/Timeline_of_machine_learning 机器学习时间线]''
美国[https://en.wikipedia.org/wiki/PC_game 计算机游戏]和[[人工智能]]领域的先驱[https://en.wikipedia.org/wiki/Arthur_Samuel Arthur Samuel]于1959年在[https://en.wikipedia.org/wiki/IBM IBM]时发明了“机器学习”一词。作为一项科学探索，机器学习源于对人工智能的探索
<ref>R. Kohavi and F. Provost, "Glossary of terms," Machine Learning, vol. 30, no. 2–3, pp. 271–274, 1998.</ref>. 。
早在人工智能作为一门学术学科的时期，一些研究人员就对让机器从数据中学习产生了兴趣。他们试图用各种符号方法以及后来被称为“[https://en.wikipedia.org/wiki/Neural_network 神经网络]”的方法来解决这个问题；这些模型大多是[https://en.wikipedia.org/wiki/Perceptron 感知器]和其他模型，后来被发现是[https://en.wikipedia.org/wiki/Generalized_linear_model 广义线性统计模型]的再发明
<ref>
Sarle Warren."Neural Networks and statistical models".
[https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.27.699 10.1.1.27.699]
</ref>。[https://en.wikipedia.org/wiki/Probability_theory 统计学]推理也被使用，特别是在自动医疗诊断中
<ref name="aima"/>。
然而，对[https://en.wikipedia.org/wiki/Symbolic_artificial_intelligence 逻辑的、基于知识的方法]的日益重视，导致人工智能和机器学习之间产生了裂痕，概率系统受到数据采集和数据表示的理论和实践问题的困扰
<ref name="aima" />。
到1980年，[https://en.wikipedia.org/wiki/Expert_system 专家系统]已经主导了人工智能，而统计方法不再受欢迎
<ref name="changing">
{{Cite journal | last1 = Langley | first1 = Pat| title = The changing science of machine learning | doi : 10.1007/s10994-011-5242-y | journal = Machine Learning| volume = 82 | issue = 3 | pages = 275–279 | year = 2011 }}</ref>。
基于符号与知识的学习的工作仍然属于AI领域，这促成了[https://en.wikipedia.org/wiki/Inductive_logic_programming 归纳逻辑编程]，但更多的在[https://en.wikipedia.org/wiki/Pattern_recognition 模式识别]和[https://en.wikipedia.org/wiki/Information_retrieval 信息检索]
<ref name="aima">
Russell, Stuart; Norvig, Peter (2003) [1995].
[https://en.wikipedia.org/wiki/Artificial_Intelligence:_A_Modern_Approach ''Artificial Intelligence: A Modern Approach''] (2nd ed.). Prentice Hall. ISBN 978-0137903955.
</ref>
方面的统计方法的研究已经超出了人工智能本身的范围。神经网络的研究几乎同时被人工智能和计算机科学所抛弃。而在AI/CS领域之外，这条路线也被其他学科的研究人员奉为“[https://en.wikipedia.org/wiki/Connectionism 连接主义]”而继续存在，包括[https://en.wikipedia.org/wiki/John_Hopfield Hopfield]、[https://en.wikipedia.org/wiki/David_Rumelhart Rumelhart]和[https://en.wikipedia.org/wiki/Geoffrey_Hinton Hinton]。他们的主要成功是在上世纪80年代中期重新发明了[https://en.wikipedia.org/wiki/Backpropagation 反向传播算法]
<ref name="aima" />。
机器学习,作为一个独立的领域，在20世纪90年代开始蓬勃发展。机器学习的目标从实现人工智能转变为解决可解决的实践性问题。它将重点从AI中继承的符号方法转向了来自于[https://en.wikipedia.org/wiki/Probability_theory 统计学]和概率论的方法和模型<ref name="changing" /> ，同时也受益于数字化信息日益增长的普及性，以及互联网传播信息的能力。
机器学习和[https://en.wikipedia.org/wiki/Data_mining 数据挖掘]通常采用相同的方法，重叠程度很大。但是机器学习侧重于预测——基于从训练数据中学习到的''已知''属性，而数据挖掘则侧重于在数据中[https://en.wikipedia.org/wiki/Discovery_(observation) 发现](以前的)''未知''属性(这是数据库中[https://en.wikipedia.org/wiki/Knowledge_discovery 知识发现]的分析步骤)。数据挖掘采用多种机器学习方法而目标不同；另一方面，机器学习也采用数据挖掘的方法作为“无监督学习”或作为预处理步骤来提高学习精度。这两个研究对象之间的许多混淆(它们通常有单独的会议和单独的期刊，[https://en.wikipedia.org/wiki/ECML_PKDD ECML PKDD]是一个主要的例外)来自于它们所使用的基本假设：在机器学习中，性能通常是根据''重复生产已知知识''的能力来评估的，而在知识发现和数据挖掘(KDD)中，关键任务是发现以前''未知''的知识。在对学习已知知识进行评估时，其他监督学习方法很容易优于无监督学习方法，而在典型的KDD任务中，由于训练数据的不可得性，则无法使用监督学习的方法。
机器学习与优化也有着密切的联系：许多学习问题被描述为训练集上的一些[https://en.wikipedia.org/wiki/Loss_function 损失函数]的最小化。损失函数表示被训练模型的预测与实际问题之间的差异(例如，在分类中，要为实例分配一个标签，且模型要被训练以正确预测一组预先分配过标签的示例)。这两个领域的区别来自于一般化的目的：优化算法可以最小化训练集上的损失，而机器学习则涉及到最小化未知样本的损失
<ref>
Le Roux, Nicolas; Bengio, Yoshua;Fitzgibbon, Andrew(2012).
"Improving First and Second-Order Methods by Modeling Uncertainty Optimization for Machine Learning"
In Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. ''Optimization for Machine Learning''. MIT Press. p. 404.
</ref>。
===与统计学的关系===
机器学习和统计是密切相关的领域。据[https://en.wikipedia.org/wiki/Michael_I._Jordan Michael I. Jordan]说，机器学习的思想，从方法论原理到理论工具，都在统计学上有着悠久的历史
<ref name="mi jordan ama">
Michael I. Jordan (2014-09-10).
[https://www.reddit.com/r/MachineLearning/comments/2fxi6v/ama_michael_i_jordan/ckelmtt?context=3 "statistics and machine learning."]
reddit. Retrieved 2014-10-01.
</ref>。
他还建议用[[数据科学]]这个术语来称呼整个领域
<ref name="mi jordan ama" />。
[https://en.wikipedia.org/wiki/Leo_Breiman Leo Breiman]区分了两种统计建模范式：数据模型和算法模型
<ref>
Cornell University Library. [http://projecteuclid.org/download/pdf_1/euclid.ss/1009213726 "Breiman: Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author)"]. Retrieved 8 August 2015.
</ref> ，其中“算法模型”或多或少是指像[https://en.wikipedia.org/wiki/Random_forest 随机森林]那样的机器学习算法。
一些统计学家采用机器学习的方法，形成了一个他们称之为''统计学习''的交叉领域<ref name="islr">{{cite book |author1=Gareth James |author2=Daniela Witten |author3=Trevor Hastie |author4=Robert Tibshirani |title=An Introduction to Statistical Learning |publisher=Springer |year=2013 |url=http://www-bcf.usc.edu/~gareth/ISL/ |page=vii}}</ref>。
==理论==
:''主文章：[https://en.wikipedia.org/wiki/Computational_learning_theory 计算学习理论]''
学习者的一个核心目标是从经验中举一反三
<ref name="bishop2006">
Bishop, C. M. (2006), ''Pattern Recognition and Machine Learning'', Springer, ISBN 978-0-387-31073-2
</ref>
<ref>
Mohri, Mehryar; Rostamizadeh, Afshin; Talwalkar, Ameet (2012). Foundations of Machine Learning. USA, Massachusetts: MIT Press. ISBN 9780262018258.
</ref>。
这里的举一反三是指学习机器在经历了学习数据集之后，能够准确地对新的、未见过的示例/任务进行精确的操作。训练实例通常来自一些未知的概率分布（常被认为是样本空间的代表），并且学习者必须建立一个关于这个空间的通用模型，使得它能够在新的情况下产生足够精确的预测。
机器学习算法及其性能的计算分析是[https://en.wikipedia.org/wiki/Theoretical_computer_science 理论计算机科学]的一个分支，称为[https://en.wikipedia.org/wiki/Computational_learning_theory 计算学习理论]。由于训练集是有限的但是未来是不确定的，所以学习理论通常不能保证算法的性能。然而，算法性能的概率的界限是相当普适的。[https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff 偏差-方差分解]是量化泛化[https://en.wikipedia.org/wiki/Errors_and_residuals 误差]的一种方法。
为了在泛化的情境中获得最佳性能，假设的复杂性应该与数据基础上的函数的复杂性相匹配。如果假设没有函数复杂，那么模型就不适合数据。如果模型的复杂度因此增加，则训练误差减小。但如果假设过于复杂，则模型会被[https://en.wikipedia.org/wiki/Overfitting 过度拟合]，泛化也将变得更差<ref name="alpaydin">{{Cite book|author=Alpaydin, Ethem|title=Introduction to Machine Learning|url=https://mitpress.mit.edu/books/introduction-machine-learning |year=2010 |publisher=The MIT Press |place=London|isbn: 978-0-262-01243-0 |access-date=4 February 2017 }}</ref>。
除了性能界限外，计算学习理论家还研究了学习的时间复杂性和可行性。在计算学习理论中，如果可以在[https://en.wikipedia.org/wiki/Time_complexity#Polynomial_time 多项式时间]内进行计算，则认为计算是可行的。有两种[https://en.wikipedia.org/wiki/Time_complexity 时间复杂度]的结果。正结果表明，一类函数可以在多项式时间内学习。负结果表明，某些类函数不能在多项式时间内学习。
==方法==
:''主文章：[https://en.wikipedia.org/wiki/List_of_machine_learning_algorithms 机器学习算法列表]''
===决策树学习===
:''主文章：[https://en.wikipedia.org/wiki/Decision_tree_learning 决策树学习]''
决策树学习使用[https://en.wikipedia.org/wiki/Decision_tree 决策树]作为[https://en.wikipedia.org/wiki/Predictive_modelling 预测模型]，它将问题相关的观察结果映射为问题目标值的结论。
===关联规则学习===
:''主文章：[https://en.wikipedia.org/wiki/Association_rule_learning 关联规则学习]''
关联规则学习是在大型数据库中发现变量间有趣关系的一种方法。
===人工神经网络===
:''主文章：[[ 人工神经网络]]''
[[人工神经网络]](ANN)学习算法，通常称为神经网络(NN)，是一种受[https://en.wikipedia.org/wiki/Neural_circuit 生物神经网络]启发的学习算法。计算是根据一组相互关联的[https://en.wikipedia.org/wiki/Artificial_neuron 人工神经元]来构造的，它们使用[https://en.wikipedia.org/wiki/Connectionism 连接主义]的[https://en.wikipedia.org/wiki/Computation 计算]方法来处理信息。现代神经网络是[https://en.wikipedia.org/wiki/Non-linear 非线性][https://en.wikipedia.org/wiki/Statistical 统计][https://en.wikipedia.org/wiki/Data_modeling 数据建模]工具。它们通常用于模拟输入和输出之间的复杂关系，在数据中[https://en.wikipedia.org/wiki/Pattern_recognition 找到模式]，或在观测变量之间的未知[https://en.wikipedia.org/wiki/Joint_probability_distribution 联合概率分布]中寻找统计结构。
====深度学习====
:''主文章：[https://en.wikipedia.org/wiki/Deep_learning 深度学习]''
近几年来，硬件价格的下降和个人用[https://en.wikipedia.org/wiki/Graphics_processing_unit GPU]的发展促进了深度学习概念的发展，该概念由人工神经网络中的多个隐层组成。这种方法试图模拟人脑将光和声音处理成视觉和听觉的方式。深入学习的一些成功应用是[https://en.wikipedia.org/wiki/Computer_vision 计算机视觉]和[https://en.wikipedia.org/wiki/Speech_recognition 语音识别]
<ref>Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng. "[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.149.802&rep=rep1&type=pdf Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations]" Proceedings of the 26th Annual International Conference on Machine Learning, 2009.</ref>。
===归纳逻辑编程===
:''主文章：[https://en.wikipedia.org/wiki/Inductive_logic_programming 归纳逻辑编程]''
归纳逻辑编程(ILP)是一种将[https://en.wikipedia.org/wiki/Logic_programming 逻辑编程]作为输入实例、背景知识和假设的统一表示的规则学习方法。给定已知背景知识的编码和作为事实逻辑数据库表示的一组示例，ILP系统将导出一个假设逻辑程序，其中包含所有正负示例。[https://en.wikipedia.org/wiki/Inductive_programming 归纳编程]是一个相关的领域，它考虑任何类型的编程语言来表示假设(而不仅仅是逻辑编程)，例如[https://en.wikipedia.org/wiki/Functional_programming 函数程序]。
===支持向量机===
:''主文章：[[SVM支持向量机]]''
[[SVM支持向量机]](SupportVectorMachine，SVMs)是一种用于[https://en.wikipedia.org/wiki/Statistical_classification 分类]和[https://en.wikipedia.org/wiki/Regression_analysis 回归]的[https://en.wikipedia.org/wiki/Supervised_learning 监督学习]算法。给出一组训练实例，每个样本会被标记为属于两类中的一个，SVM算法建立了一个模型来预测一个新的例子是否属于一个类别或另一个类别。
===聚类===
:''主文章：[https://en.wikipedia.org/wiki/Cluster_analysis 聚类分析]''
聚类分析是将一组观测数据分配到子集(称为聚类)中，使同一簇内的观测按照某些预先指定的准则相似，而从不同的簇中提取的观测值则不同。不同的聚类技术对数据的结构提出了不同的假设，通常用某种相似性度量来定义，并通过内部紧密性(同一聚类成员之间的相似性)和不同聚类之间的分离性来评估。其他方法基于估计的密度和图的连通性。聚类是一种[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]方法，是一种常用的[https://en.wikipedia.org/wiki/Statistics 统计][https://en.wikipedia.org/wiki/Data_analysis 数据分析]技术。
===贝叶斯网络===
:''主文章：[https://en.wikipedia.org/wiki/Bayesian_network 贝叶斯网络]''
贝叶斯网络，或称信任网络或者有向无环图形模型是通过[https://en.wikipedia.org/wiki/Directed_acyclic_graph 有向无环图](DAG)表示一组[https://en.wikipedia.org/wiki/Random_variable 随机变量]及其[https://en.wikipedia.org/wiki/Conditional_independence 条件独立性]的[https://en.wikipedia.org/wiki/Graphical_model 概率图形模型]。例如，贝叶斯网络可以表示疾病和症状之间的概率关系。给定症状，网络可以用来计算各种疾病出现的概率。有效的算法可以进行[https://en.wikipedia.org/wiki/Inference 推理]和学习。
===强化学习===
:''主文章：[[强化学习]]''
强化学习是指一个''智能体（agent）''应该如何在''环境''中采取''行动''，从而最大限度地获得长期''报酬''的概念。强化学习算法试图找到一种''策略''，将世界''状态''映射到智能体在这些状态中应该采取的行动。强化学习不同于[https://en.wikipedia.org/wiki/Supervised_learning 监督学习]问题，因为不会提供正确的输入/输出对，也没有明确地修正次优行为。
===表示学习===
:''主文章：[https://en.wikipedia.org/wiki/Representation_learning 表示学习]''
一些学习算法，大多是[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习]算法，旨在发现更好的输入的训练数据的表示。经典的例子包括[https://en.wikipedia.org/wiki/Principal_component_analysis 主成分分析]和[https://en.wikipedia.org/wiki/Cluster_analysis 聚类分析]。表示学习算法通常试图在输入中保留信息，并将其转换成有用的方式，通常是在执行分类或预测之前的预处理步骤，允许重构来自未知数据生成分布的输入，而不一定对不太可能服从该分布的结构可靠。
[https://en.wikipedia.org/wiki/Nonlinear_dimensionality_reduction#Manifold_learning_algorithms 流形学习]算法尝试处理被学习的数据表示是低维的情况。[https://en.wikipedia.org/wiki/Neural_coding#Sparse_coding 稀疏编码]算法尝试处理被学习的数据表示是稀疏(有多个零)的情况。[https://en.wikipedia.org/wiki/Multilinear_subspace_learning 多线性子空间学习]算法的目的是直接从多维数据的[https://en.wikipedia.org/wiki/Tensor 张量]表示中学习低维表示，而不将它们重构成(高维)向量<ref>{{cite journal |first1=Haiping |last1=Lu |first2=K.N. |last2=Plataniotis |first3=A.N. |last3=Venetsanopoulos |url=http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf |title=A Survey of Multilinear Subspace Learning for Tensor Data |journal=Pattern Recognition |volume=44 |number=7 |pages=1540–1551 |year=2011 }}</ref>。深度学习算法能发现数据表示的多个层次，或者由低级特征定义(或生成)的更高、更抽象的特征层次。有人认为，智能机器是一种学习表示法的机器，它能找出那些解释观测数据的潜在变异因素<ref>{{cite book
| title = Learning Deep Architectures for AI
| author = Yoshua Bengio
| publisher = Now Publishers Inc.
| year = 2009
| isbn : 978-1-60198-294-0
| pages = 1–3
| url = https://books.google.com/books?id=cq5ewg7FniMC&pg=PA3
}}</ref>。
===相似性与度量学习===
:''主文章：[https://en.wikipedia.org/wiki/Similarity_learning 相似性学习]''
在这个问题中，学习机器给出了一对被认为相似的对象和一对不太相似的对象。然后，它需要学习一个相似函数(或距离度量函数)，该函数可以预测新对象是否相似。该算法有时用于[https://en.wikipedia.org/wiki/Recommendation_systems 推荐系统]。
===稀疏字典学习===
:''主文章：[https://en.wikipedia.org/wiki/Sparse_dictionary_learning 稀疏字典学习]''
该方法将数据表示为[https://en.wikipedia.org/wiki/Basis_function 基函数]的线性组合，并假定系数是稀疏的。设x是d维数据，D是d乘n矩阵，其中D的每一列代表一个基函数，r是用D表示x的系数。数学上，稀疏字典学习意味着求解 <math> x\approx Dr ,r </math>是稀疏的。一般说来，假设n大于d，以便稀疏表示。
学习字典和稀疏表示是[https://en.wikipedia.org/wiki/Strongly_NP-hard 强NP难解]的，也很难近似求解<ref>{{cite journal |first=A. M. |last=Tillmann |title=On the Computational Intractability of Exact and Approximate Dictionary Learning |journal=IEEE Signal Processing Letters |volume=22 |issue=1 |year=2015 |pages=45–49 |bibcode;2015ISPL...22...45T |arxiv:1405.6664 }}</ref> 。稀疏字典学习的一种流行的启发式方法是[https://en.wikipedia.org/wiki/K-SVD K-SVD]。
稀疏字典学习已经在几种环境中得到了应用。在分类中，问题是确定以前看不见的数据属于哪些类。假设已经为每个类构建了一个字典。然后，将一个新的数据与类相关联，使得它被相应的字典最优表示。稀疏字典学习也被应用于[https://en.wikipedia.org/wiki/Image_de-noising 图像去噪]。关键的思想是一个干净的图像补丁可以用图像字典来稀疏地表示，但是噪声却不能<ref>Aharon, M, M Elad, and A Bruckstein. 2006. "K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation." Signal Processing, IEEE Transactions on 54 (11): 4311–4322</ref>。
===遗传算法===
:''主文章：[https://en.wikipedia.org/wiki/Genetic_algorithm 遗传算法]''
遗传算法(GeneticAlgorithm，GA)是一种模拟[https://en.wikipedia.org/wiki/Natural_selection 自然选择]过程的[https://en.wikipedia.org/wiki/Search_algorithm 搜索][https://en.wikipedia.org/wiki/Heuristic_(computer_science) 启发]式算法，它利用[https://en.wikipedia.org/wiki/Mutation_(genetic_algorithm) 变异]和[https://en.wikipedia.org/wiki/Crossover_(genetic_algorithm) 重组]等方法生成新的[https://en.wikipedia.org/wiki/Chromosome_(genetic_algorithm) 基因型]，以期为给定问题找到好的解决方案。在机器学习中，遗传算法在20世纪80年代和90年代得到了一些应用
<ref>{{cite journal |last1=Goldberg |first1=David E. |first2=John H. |last2=Holland |title=Genetic algorithms and machine learning |journal=Machine Learning |volume=3 |issue=2 |year=1988 |pages=95–99 }}</ref><ref>{{cite book |title=Machine Learning, Neural and Statistical Classification |first1=D. |last1=Michie |first2=D. J. |last2=Spiegelhalter |first3=C. C. |last3=Taylor |year=1994 |publisher=Ellis Horwood}}</ref>。
相反，机器学习技术被用来改进遗传算法和[https://en.wikipedia.org/wiki/Evolutionary_algorithm 进化算法]的性能
<ref>{{cite journal |last1=Zhang |first1=Jun |last2=Zhan |first2=Zhi-hui |last3=Lin |first3=Ying |last4=Chen |first4=Ni |last5=Gong |first5=Yue-jiao |last6=Zhong |first6=Jing-hui |last7=Chung |first7=Henry S.H. |last8=Li |first8=Yun |last9=Shi |first9=Yu-hui |title=Evolutionary Computation Meets Machine Learning: A Survey |journal=Computational Intelligence Magazine |year=2011 |volume=6 |issue=4 |pages=68–75 |url=http://ieeexplore.ieee.org/iel5/10207/6052357/06052374.pdf?arnumber=6052374 }}</ref>。
===基于规则的机器学习===
[https://en.wikipedia.org/wiki/Rule-based_machine_learning 基于规则的机器学习]是任何机器学习方法的通用术语，它通过识别、学习或演化“规则”来存储、操作或应用知识。基于规则的机器学习者的定义特征是识别和使用一组关系规则，这些规则共同表示系统获取的知识。这与其他机器学习者不同，这些机器学习者通常会识别出一个可以普遍应用于任何实例的奇异模型，以便进行预测<ref>{{Cite journal|last=Bassel|first=George W.|last2=Glaab|first2=Enrico|last3=Marquez|first3=Julietta|last4=Holdsworth|first4=Michael J.|last5=Bacardit|first5=Jaume|date=2011-09-01|title=Functional Network Construction in Arabidopsis Using Rule-Based Machine Learning on Large-Scale Data Sets|url=http://www.plantcell.org/content/23/9/3101|journal=The Plant Cell|language=en|volume=23|issue=9|pages=3101–3116|doi:10.1105/tpc.111.088153|issn:1532-298X|pmc:3203449|pmid:21896882}}</ref> 。基于规则的机器学习方法包括[https://en.wikipedia.org/wiki/Learning_classifier_system 学习分类器系统]、[https://en.wikipedia.org/wiki/Association_rule_learning 关联规则学习]和[https://en.wikipedia.org/wiki/Artificial_immune_system 人工免疫系统]。
====学习分类器====
:''主文章：[https://en.wikipedia.org/wiki/Learning_classifier_system 学习分类器系统]''
学习分类器系统(LCS)是一组[https://en.wikipedia.org/wiki/Rule-based_machine_learning 基于规则的机器学习]算法，它将发现组件(通常是[https://en.wikipedia.org/wiki/Genetic_algorithm 遗传算法])与学习组件(执行有[https://en.wikipedia.org/wiki/Supervised_learning 监督学习]、[https://en.wikipedia.org/wiki/Reinforcement_learning 强化学习]或[https://en.wikipedia.org/wiki/Unsupervised_learning 无监督学习])结合起来。他们试图找出一套与情境相关的规则，这些规则以一种[https://en.wikipedia.org/wiki/Piecewise 分段]的方式，集体存储和应用知识，以便进行预测<ref>{{Cite journal|last=Urbanowicz|first=Ryan J.|last2=Moore|first2=Jason H.|date=2009-09-22|title=Learning Classifier Systems: A Complete Introduction, Review, and Roadmap|url=http://www.hindawi.com/archive/2009/736398/|journal=Journal of Artificial Evolution and Applications|language=en|volume=2009|pages=1–25|issn:1687-6229}}</ref>。
==应用==
机器学习的应用包括：<br>
[https://en.wikipedia.org/wiki/Precision_agriculture 农业]<br>
[https://en.wikipedia.org/wiki/Automated_theorem_proving 机器证明]
<ref>Bridge, James P., Sean B. Holden, and Lawrence C. Paulson. "[https://www.cl.cam.ac.uk/~lp15/papers/Reports/Bridge-ml.pdf Machine learning for first-order theorem proving]." Journal of automated reasoning 53.2 (2014): 141–172.</ref><ref>Loos, Sarah, et al. "[https://arxiv.org/pdf/1701.06972 Deep Network Guided Proof Search]." arXiv preprint arXiv:1701.06972 (2017).</ref><br>
[https://en.wikipedia.org/wiki/Adaptive_website 适应性网站]<br>
[https://en.wikipedia.org/wiki/Affective_computing 情感计算]<br>
[https://en.wikipedia.org/wiki/Bioinformatics 生物信息学]<br>
[https://en.wikipedia.org/wiki/Brain%E2%80%93machine_interface 脑-机接口]<br>
[https://en.wikipedia.org/wiki/Cheminformatics 化学信息学]<br>
分类[https://en.wikipedia.org/wiki/Nucleic_acid_sequence DNA序列]<br>
[https://en.wikipedia.org/wiki/Computational_anatomy 计算解剖学]<br>
[https://en.wikipedia.org/wiki/Network_simulation 计算机网络]<br>
[https://en.wikipedia.org/wiki/Telecommunication 电信]<br>
[https://en.wikipedia.org/wiki/Computer_vision 计算机视觉]，包括目标识别<br>
检测[https://en.wikipedia.org/wiki/Credit_card_fraud 信用卡诈骗]<br>
[https://en.wikipedia.org/wiki/General_game_playing 通用游戏]<ref>Finnsson, Hilmar, and Yngvi Björnsson. "[https://vvvvw.aaai.org/Papers/AAAI/2008/AAAI08-041.pdf Simulation-Based Approach to General Game Playing]." AAAI. Vol. 8. 2008.</ref><br>
[https://en.wikipedia.org/wiki/Information_retrieval 信息检索]<br>
[https://en.wikipedia.org/wiki/Internet_fraud 互联网诈骗检测]<ref name="alpaydin"/><br>
[https://en.wikipedia.org/wiki/Linguistics 语言学]<br>
[https://en.wikipedia.org/wiki/Marketing 营销]<br>
[https://en.wikipedia.org/wiki/Machine_learning_control 机器学习控制]<br>
[https://en.wikipedia.org/wiki/Machine_perception 机器感知]<br>
[https://en.wikipedia.org/wiki/Diagnosis_(artificial_intelligence) 医学诊断]<br>
[https://en.wikipedia.org/wiki/Economics 经济学]<br>
[https://en.wikipedia.org/wiki/Insurance 保险]<br>
[https://en.wikipedia.org/wiki/Natural_language_processing 自然语言处理]<br>
[https://en.wikipedia.org/wiki/Natural_language_understanding 自然语言理解]<ref>Sarikaya, Ruhi, Geoffrey E. Hinton, and Anoop Deoras. "[http://www.cs.utoronto.ca/~hinton/absps/ruhijournal.pdf Application of deep belief networks for natural language understanding]." IEEE/ACM Transactions on Audio, Speech and Language Processing (TASLP) 22.4 (2014): 778–784.</ref><br>
[https://en.wikipedia.org/wiki/Mathematical_optimization 优化]和[https://en.wikipedia.org/wiki/Metaheuristic 元启发式]<br>
[https://en.wikipedia.org/wiki/Online_advertising 在线广告]<br>
[https://en.wikipedia.org/wiki/Recommender_system 推荐系统]<br>
[https://en.wikipedia.org/wiki/Robot_locomotion 机器人移动]<br>
[https://en.wikipedia.org/wiki/Web_search_engine 搜索引擎]<br>
[https://en.wikipedia.org/wiki/Sentiment_analysis 情感分析]（意见挖掘)<br>
[https://en.wikipedia.org/wiki/Sequence_mining 序列挖掘]<br>
[https://en.wikipedia.org/wiki/Software_engineering 软件工程]<br>
[https://en.wikipedia.org/wiki/Speech_recognition 语音识别]和[https://en.wikipedia.org/wiki/Handwriting_recognition 手写识别]<br>
[https://en.wikipedia.org/wiki/Financial_market 金融市场]分析<br>
[https://en.wikipedia.org/wiki/Structural_health_monitoring 结构健康监测]<br>
[https://en.wikipedia.org/wiki/Syntactic_pattern_recognition 句法模式识别]<br>
[https://en.wikipedia.org/wiki/Time_series 时间序列预测]<br>
[https://en.wikipedia.org/wiki/User_behavior_analytics 用户行为分析]<br>
[https://en.wikipedia.org/wiki/Translation 翻译]
<ref>
[http://english.yonhapnews.co.kr/news/2017/01/10/0200000000AEN20170110009700320.html?did=2106m "AI-based translation to soon reach human levels: industry officials"]. Yonhap news agency. Retrieved 4 Mar 2017.
</ref><br>
2006年，在线电影公司[https://en.wikipedia.org/wiki/Netflix Netflix]举办了第一届“[https://en.wikipedia.org/wiki/Netflix_Prize Netflix奖]”竞赛，目的是寻找一个更好地预测用户喜好的程序，并将现有Cinematch电影推荐算法的准确性提高至少10%。由[https://en.wikipedia.org/wiki/AT%26T_Labs AT&T实验室]的研究人员组成的一个联合团队与“大混乱与务实理论”合作，以100万美元的价格建立了一个[https://en.wikipedia.org/wiki/Ensemble_Averaging 集成模型]<ref>[http://www2.research.att.com/~volinsky/netflix/ "BelKor Home Page"] research.att.com</ref> ，赢得了2009年的大奖。在颁奖后不久，Netflix意识到，观众的收视率并不是他们观看模式的最佳指标(“一切都是推荐的”)，于是他们相应地改变了推荐引擎
<ref>
[http://techblog.netflix.com/2012/04/netflix-recommendations-beyond-5-stars.html "The Netflix Tech Blog: Netflix Recommendations: Beyond the 5 stars (Part 1)"]. Retrieved 8 August 2015.
</ref>。
2010年，《华尔街日报》发表了Rebellion研究公司及它们利用机器学习预测金融危机的相关报道。<ref>
Scott Patterson (13 July 2010).
[https://www.wsj.com/articles/SB10001424052748703834604575365310813948080 "Letting the Machines Decide"]. The Wall Street Journal. Retrieved 24 June 2018.
</ref>。
2012年，[https://en.wikipedia.org/wiki/Sun_Microsystems Sun Microsystems]的联合创始人[https://en.wikipedia.org/wiki/Vinod_Khosla VinodKhosla]预测，在接下来的20年里，80%的医生将因自动机器学习医疗诊断软件而失业
<ref>
Vonod Khosla (January 10, 2012).
[https://techcrunch.com/2012/01/10/doctors-or-algorithms/ "Do We Need Doctors or Algorithms?"]. Tech Crunch.
</ref>。
2014年，有报道称机器学习算法在艺术史领域被用于研究美术绘画，并可能揭示了艺术家之间先前未被认识到的影响<ref>[https://medium.com/the-physics-arxiv-blog/when-a-machine-learning-algorithm-studied-fine-art-paintings-it-saw-things-art-historians-had-never-b8e4e7bf7d3e When A Machine Learning Algorithm Studied Fine Art Paintings, It Saw Things Art Historians Had Never Noticed], ''The Physics at ArXiv blog''</ref>。
==局限==
虽然机器学习在某些领域是革命性的，但有效的机器学习仍是困难的，因为找出模式很难，而且往往没有足够的训练数据；因此，许多机器学习程序往往无法达到预期值
<ref>
[http://web.archive.org/web/20170320225010/https://www.bloomberg.com/news/articles/2016-11-10/why-machine-learning-models-often-fail-to-learn-quicktake-q-a "Why Machine Learning Models Often Fail to Learn: QuickTake Q&A"]. ''Bloomberg.com.'' 2016-11-10. Retrieved 2017-04-10.
</ref>
<ref>
[https://hbr.org/2017/04/the-first-wave-of-corporate-ai-is-doomed-to-fail "The First Wave of Corporate AI Is Doomed to Fail"]. Harvard Business Review. 2017-04-18. Retrieved 2018-08-20.
</ref>
<ref>
[https://venturebeat.com/2016/09/17/why-the-a-i-euphoria-is-doomed-to-fail/ "Why the A.I. euphoria is doomed to fail"]. VentureBeat. 2016-09-18. Retrieved 2018-08-20.
</ref> 。
造成这种情况的原因很多：缺乏(适当的)数据、无法访问数据、数据偏见、隐私问题、错误的任务选择和算法、错误的工具和人员、缺乏资源和评估问题<ref>
[https://www.kdnuggets.com/2018/07/why-machine-learning-project-fail.html|title=9 Reasons why your machine learning project will fail "9 Reasons why your machine learning project will fail"]. www.kdnuggets.com. Retrieved 2018-08-20.
</ref>。
机器学习方法尤其会受到不同数据偏见的影响。只针对当前客户进行训练的机器学习系统可能无法预测训练数据中未表示的新客户组的需求。当接受人工数据训练时，机器学习很可能会产生与社会上已经存在的相同的成体制偏见和无意识偏见
<ref>{{Cite journal|last=Garcia|first=Megan|date=2016|title=Racist in the Machine|url=https://read.dukeupress.edu/world-policy-journal/article/33/4/111-117/30942|journal=World Policy Journal|language=en|volume=33|issue=4|pages=111–117|issn:0740-2775}}</ref> 。
从数据中学到的语言模型已被证明含有类似人类的偏见
<ref>{{Cite journal|last=Caliskan|first=Aylin|last2=Bryson|first2=Joanna J.|last3=Narayanan|first3=Arvind|date=2017-04-14|title=Semantics derived automatically from language corpora contain human-like biases|url=http://science.sciencemag.org/content/356/6334/183|journal=Science|language=en|volume=356|issue=6334|pages=183–186|doi:10.1126/science.aal4230|issn:0036-8075|pmid:28408601}}</ref>
<ref>
Wang, Xinan; Dasgupta, Sanjoy (2016), Lee, D. D.; Sugiyama, M.; Luxburg, U. V.; Guyon, I., eds.,
[http://papers.nips.cc/paper/6227-an-algorithm-for-l1-nearest-neighbor-search-via-monotonic-embedding.pdf "An algorithm for L1 nearest neighbor search via monotonic embedding"] (PDF),
''Advances in Neural Information Processing Systems 29'', Curran Associates, Inc., pp. 983–991, Retrieved 2018-08-20
</ref> 。
用于犯罪风险评估的机器学习系统被发现对黑人有偏见<ref>
[https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing "Machine Bias"]. ProPublica. Julia Angwin, Jeff Larson, Lauren Kirchner, Surya Mattu. 2016-05-23. Retrieved 2018-08-20.
</ref>
<ref>
[https://www.nytimes.com/2017/10/26/opinion/algorithm-compas-sentencing-bias.html "Opinion | When an Algorithm Helps Send You to Prison"]. New York Times. Retrieved 2018-08-20.
</ref>
。在2015年，谷歌上黑人的照片常常被贴上大猩猩的标签
<ref>
[https://www.bbc.co.uk/news/technology-33347866 "Google apologises for racist blunder"]. BBC News. 2015-07-01. Retrieved 2018-08-20.
</ref> ，
而到2018年，这仍然没有得到很好的解决，但据报道，谷歌仍在使用变通方法将所有大猩猩从训练数据中删除，因此根本无法识别真正的大猩猩
<ref>
[https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai "Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech"]. The Verge. Retrieved 2018-08-20.
</ref>。
在许多其他系统中
<ref>
[https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html "Opinion | Artificial Intelligence's White Guy Problem"]. New York Times. Retrieved 2018-08-20.
</ref> ，也发现了识别非白人的类似问题。2016年，微软测试了一个从Twitter上学习的[https://en.wikipedia.org/wiki/Chatbot 聊天机器人]，而后者却很快学会了种族主义和性别歧视的语言
<ref>
Metz, Rachel.
[https://www.technologyreview.com/s/601111/why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/ "Why Microsoft's teen chatbot, Tay, said lots of awful things online"]. MIT Technology Review. Retrieved 2018-08-20.
</ref>。
由于这些挑战，机器在其他领域的有效使用仍有很长的路要走
<ref>
Simonite, Tom. [https://www.technologyreview.com/s/603944/microsoft-ai-isnt-yet-adaptable-enough-to-help-businesses/ "Microsoft says its racist chatbot illustrates how AI isn't adaptable enough to help most businesses"]. MIT Technology Review. Retrieved 2018-08-20.
</ref>。2018年，[https://en.wikipedia.org/wiki/Uber Uber]的一辆自动驾驶汽车未能检测到行人并导致其在事故中丧生。
<ref>
[https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian "Why Uber's self-driving car killed a pedestrian"]. The Economist. Retrieved 2018-08-20.
</ref>。
[https://en.wikipedia.org/wiki/Watson_(computer) IBM Watson]系统在医疗保健领域使用机器学习的尝试，即便经过多年的时间和数十亿美元的投资，也未能实现
<ref>
[https://www.statnews.com/2018/07/25/ibm-watson-recommended-unsafe-incorrect-treatments/ "IBM's Watson recommended 'unsafe and incorrect' cancer treatments - STAT"]. STAT. 2018-07-25. Retrieved 2018-08-21.
</ref>
<ref>
Hernandez, Daniela; Greenwald, Ted (2018-08-11).
[https://www.wsj.com/articles/ibm-bet-billions-that-watson-could-improve-cancer-treatment-it-hasnt-worked-1533961147 "IBM Has a Watson Dilemma"].
Wall Street Journal. ISSN 0099-9660. Retrieved 2018-08-21.
</ref>。
==模型评估==
分类机学习模型可以通过例如 [https://en.wikipedia.org/wiki/Training,_test,_and_validation_sets Holdout] 方法等精度估计技术来验证，该方法将训练和测试集(通常指定2/3为训练集，1/3为测试集)中的数据分开，并对训练模型在测试集上的性能进行评估。比较而言，N重[https://en.wikipedia.org/wiki/Cross-validation_(statistics) 交叉验证方法]将数据随机分成k个子集，其中使用k-1个实例来训练模型，而使用第k个实例来测试训练模型的预测能力。除了Holdout方法和交叉验证方法之外，[https://en.wikipedia.org/wiki/Bootstrapping Bootstrap]还可以使用从数据集中替换的n个实例来评估模型的准确性。
除了总体准确性外，调查人员还经常报告[https://en.wikipedia.org/wiki/Sensitivity_and_specificity 敏感性和特异性]，即真阳性率(TPR)和真阴性率(TNR)。同样，调查人员有时报告[https://en.wikipedia.org/wiki/False_positive_rate 假阳性率](FPR)和[https://en.wikipedia.org/wiki/False_positives_and_false_negatives#False_positive_and_false_negative_rates 假阴性率](FNR)。然而，这些比率不能显示它们的分子和分母。[https://en.wikipedia.org/wiki/Total_operating_characteristic 总运行特性](TOC)是表示模型诊断能力的一种有效方法。TOC显示上述比率的分子和分母，因此TOC提供的信息比常用的[https://en.wikipedia.org/wiki/Receiver_operating_characteristic 受试者工作特征](ROC)和曲线下ROC的关联区域(AUC)提供的信息更多<ref>{{cite journal|last1=Pontius|first1=Robert Gilmore|last2=Si|first2=Kangping|title=The total operating characteristic to measure diagnostic ability for multiple thresholds| journal=International Journal of Geographical Information Science|volume=28|issue=3|year=2014|pages=570–583|doi:10.1080/13658816.2013.862623}}</ref>。
==规范准则==
机器学习导致了许多[https://en.wikipedia.org/wiki/Machine_ethics 伦理问题]。利用偏见收集的数据集进行训练的系统可能会在使用时表现出这些偏见([https://en.wikipedia.org/wiki/Algorithmic_bias 算法偏见])，从而将文化偏见数字化
<ref>
Bostrom, Nick (2011).
[http://www.nickbostrom.com/ethics/artificial-intelligence.pdf "The Ethics of Artificial Intelligence"] (PDF). Retrieved 11 April 2016.
</ref> 。
例如，使用具有种族主义雇用政策的公司的招聘数据可能导致机器学习系统复制这种偏见，方法是将求职者与先前成功申请者的相似性打分
<ref name="Edionwe Outline">
Edionwe, Tolulope.
[https://theoutline.com/post/1571/the-fight-against-racist-algorithms "The fight against racist algorithms"]. The Outline. Retrieved 17 November 2017.
</ref>
<ref name="Jeffries Outline">
Jeffries, Adrianne.
[https://theoutline.com/post/1439/machine-learning-is-racist-because-the-internet-is-racist "Machine learning is racist because the internet is racist"]. The Outline. Retrieved 17 November 2017.
</ref> 。负责任的[https://en.wikipedia.org/wiki/Data_collection 数据收集]和系统使用的算法规则的记录是机器学习的一个关键部分。
因为语言包含偏见，受过[https://en.wikipedia.org/wiki/Text_corpus 语料]库训练的机器也必然会学习偏见
<ref>
Narayanan, Arvind (August 24, 2016).
[https://freedom-to-tinker.com/2016/08/24/language-necessarily-contains-human-biases-and-so-will-machines-trained-on-language-corpora/ "Language necessarily contains human biases, and so will machines trained on language corpora"]. Freedom to Tinker.
</ref>。
其他与个人偏见无关的道德挑战则更多地体现在医疗保健方面。医疗保健专业人士担心，这些系统可能不是为了公众利益而设计的，而是作为创收机器设计的。这在改善医疗保健和增加利润方面存在长期的道德困境的美国尤其如此。例如，这些算法可以设计为患者提供不必要的测试或药物治疗，而该算法的专属所有者在这些测试或药物中持有股份。在医疗保健领域，机器学习在成为为专业人员提供诊断、药物治疗甚至计划病人康复路径的伟大工具上有着巨大的潜力，但这在前面提到的个人偏见和这些“贪婪”偏见得到解决之前是不可能发生的<ref>Char, D. S., Shah, N. H., & Magnus, D. (2018). Implementing Machine Learning in Health Care—Addressing Ethical Challenges.New England Journal of Medicine,378(11), 981-983. doi:10.1056/nejmp1714229</ref>。
==软件==
包含各种机器学习算法的软件包包括：
===免费开源软件===
·[https://en.wikipedia.org/wiki/Microsoft_Cognitive_Toolkit CNTK] ·[https://en.wikipedia.org/wiki/MLPACK_(C%2B%2B_library) MLPACK] ·[https://en.wikipedia.org/wiki/Apache_Spark#MLlib_Machine_Learning_Library Spark MLlib]
·[https://en.wikipedia.org/wiki/Deeplearning4j Deeplearning4j] ·[https://en.wikipedia.org/wiki/Apache_MXNet MXNet] ·[https://en.wikipedia.org/wiki/TensorFlow TensorFlow]
·[https://en.wikipedia.org/wiki/ELKI ELKI] ·[https://en.wikipedia.org/wiki/OpenNN OpenNN] ·[https://en.wikipedia.org/wiki/Torch_(machine_learning) Torch]/[https://en.wikipedia.org/wiki/PyTorch PyTorch]
·[https://en.wikipedia.org/wiki/H2O_(software) H2O] ·[https://en.wikipedia.org/wiki/Orange_(software) Orange] ·[https://en.wikipedia.org/wiki/Weka_(machine_learning) Weka] / [https://en.wikipedia.org/wiki/MOA_(Massive_Online_Analysis) MOA]
·[https://en.wikipedia.org/wiki/Apache_Mahout Mahout] ·[https://en.wikipedia.org/wiki/Scikit-learn scikit-learn] ·[https://en.wikipedia.org/wiki/Yooreeka Yooreeka]
·[https://en.wikipedia.org/wiki/Mallet_(software_project) Mallet] ·[https://en.wikipedia.org/wiki/Shogun_(toolbox) Shogun]
===有免费开源版本的专利软件===
• [https://en.wikipedia.org/wiki/KNIME KNIME] • [https://en.wikipedia.org/wiki/RapidMiner RapidMiner]
===专利软件===
*[https://en.wikipedia.org/wiki/Amazon_Web_Services#Analytics Amazon Machine Learning]
*[https://en.wikipedia.org/wiki/Angoss Angoss] KnowledgeSTUDIO
*[https://en.wikipedia.org/wiki/Ayasdi Ayasdi]
*[https://en.wikipedia.org/wiki/IBM_Data_Science_Experience IBM Data Science Experience]
*[https://en.wikipedia.org/wiki/Google_APIs Google Prediction API]
*[https://en.wikipedia.org/wiki/SPSS_Modeler IBM SPSS Modeler]
*[https://en.wikipedia.org/wiki/KXEN_Inc. KXEN Modeler]
*[https://en.wikipedia.org/wiki/LIONsolver LIONsolver]
*[https://en.wikipedia.org/wiki/Wolfram_Mathematica Mathematica]
*[https://en.wikipedia.org/wiki/MATLAB MATLAB]
*[https://en.wikipedia.org/wiki/Microsoft_Azure#Machine_Learning Microsoft Azure Machine Learning]
*[https://en.wikipedia.org/wiki/Neural_Designer Neural Designer]
*[https://en.wikipedia.org/wiki/NeuroSolutions NeuroSolutions]
*[https://en.wikipedia.org/wiki/Oracle_Data_Mining Oracle Data Mining]
*[https://en.wikipedia.org/wiki/Oracle_Cloud#Platform_as_a_Service_(PaaS) Oracle AI Platform Cloud Service]
*[https://en.wikipedia.org/wiki/RCASE RCASE]
*[https://en.wikipedia.org/wiki/SAS_(software)#Components SAS Enterprise Miner]
*[https://en.wikipedia.org/wiki/SequenceL SequenceL]
*[https://en.wikipedia.org/wiki/Splunk Splunk]
*[https://en.wikipedia.org/wiki/Statistica STATISTICA] Data Miner
==期刊==
*''[https://en.wikipedia.org/wiki/Journal_of_Machine_Learning_Research Journal of Machine Learning Research]''
*''[https://en.wikipedia.org/wiki/Machine_Learning_(journal) Machine Learning]''
*''[https://en.wikipedia.org/wiki/Neural_Computation_(journal) Neural Computation]''
==会议==
*''[https://en.wikipedia.org/wiki/Conference_on_Neural_Information_Processing_Systems Conference on Neural Information Processing Systems]''
*''[https://en.wikipedia.org/wiki/International_Conference_on_Machine_Learning International Conference on Machine Learning]''
*''International Conference on Learning Representations''
*''[https://odsc.com/ Open Data Science Conference (ODSC)]''
==参见==
*[[人工智能]]
*[https://en.wikipedia.org/wiki/Automated_machine_learning 自动机器学习]
*[https://en.wikipedia.org/wiki/Automated_reasoning 自动推理法]
*[https://en.wikipedia.org/wiki/Big_data 大数据]
*[https://en.wikipedia.org/wiki/Computational_intelligence 计算智能]
*[https://en.wikipedia.org/wiki/Computational_neuroscience 计算神经科学]
*[[数据科学]]
*[[深度学习]]
*[https://en.wikipedia.org/wiki/Ethics_of_artificial_intelligence 人工智能伦理]
*[https://en.wikipedia.org/wiki/Existential_risk_from_advanced_artificial_intelligence 先进人工智能的生存危机]
*[https://en.wikipedia.org/wiki/Explanation-based_learning 基于解释的学习]
*[https://en.wikipedia.org/wiki/List_of_important_publications_in_computer_science#Machine_learning 机器学习方面的重要出版物]
*[https://en.wikipedia.org/wiki/List_of_machine_learning_algorithms 机器学习算法列表]
*[https://en.wikipedia.org/wiki/List_of_datasets_for_machine_learning_research 机器学习研究数据集列表]
*[[量子机器学习]]
*[https://en.wikipedia.org/wiki/Similarity_learning 相似学习]
*[https://en.wikipedia.org/wiki/Machine_learning_in_bioinformatics 机器学习在生物信息学中的应用]
==参考文献==
<references/>
==拓展阅读==
* Nils J. Nilsson, [http://ai.stanford.edu/people/nilsson/mlbook.html Introduction to Machine Learning.]
* Trevor Hastie, Robert Tibshirani and Jerome H. Friedman (2001). [https://web.stanford.edu/~hastie/ElemStatLearn/ The Elements of Statistical Learning], Springer. ISBN 0-387-95284-5.
* Pedro Domingos (September 2015), [https://en.wikipedia.org/wiki/The_Master_Algorithm The Master Algorithm], Basic Books, ISBN 978-0-465-06570-7
* Ian H. Witten and Eibe Frank (2011). Data Mining: Practical machine learning tools and techniques Morgan Kaufmann, 664pp., ISBN 978-0-12-374856-0.
* Ethem Alpaydin (2004). Introduction to Machine Learning, MIT Press, ISBN 978-0-262-01243-0.
* David J. C. MacKay. [http://www.inference.org.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms] Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
* Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern classification (2nd edition), Wiley, New York, ISBN 0-471-05669-3.
* Christopher Bishop (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0-19-853864-2.
* Stuart Russell & Peter Norvig, (2002). Artificial Intelligence – A Modern Approach. Prentice Hall, ISBN 0-136-04259-7.
* Ray Solomonoff, An Inductive Inference Machine, IRE Convention Record, Section on Information Theory, Part 2, pp., 56–62, 1957.
* Ray Solomonoff, [http://world.std.com/~rjs/indinf56.pdf An Inductive Inference Machine] A privately circulated report from the 1956 Dartmouth Summer Research Conference on AI.
==外部链接==
* [http://machinelearning.org/ International Machine Learning Society]
* Popular online course by [https://en.wikipedia.org/wiki/Andrew_Ng Andrew Ng], at [https://www.coursera.org/learn/machine-learning Coursera]. It uses [https://en.wikipedia.org/wiki/GNU_Octave GNU Octave]. The course is a free version of [https://en.wikipedia.org/wiki/Stanford_University Stanford University]'s actual course taught by Ng, whose lectures are also [https://see.stanford.edu/Course/CS229 available for free].
* [https://mloss.org/ mloss] is an academic database of open-source machine learning software.
* [https://developers.google.com/machine-learning/crash-course/ Machine Learning Crash Course] by [https://en.wikipedia.org/wiki/Google Google]. This is a free course on machine learning through the use of [https://en.wikipedia.org/wiki/TensorFlow TensorFlow].
[[category:机器学习]]
[[category:人工智能]]
本词条内容翻译自 en.wikipedia.org，遵守 CC3.0协议。