Bernhard Schölkopf

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
跳到导航 跳到搜索

Bernhard Schölkopf 是一位德国计算机科学家(生于1968年2月20日) ，以其在机器学习，尤其是核方法和因果关系方面的工作而闻名。他是蒂宾根马克斯普朗克智能系统研究所(Max Planck Institute for intelligence Systems)所长，领导该所的经验推理研究部门。他还是苏黎世联邦理工学院的附属教授、蒂宾根大学和柏林技术大学的名誉教授，以及欧洲学习和智能系统实验室(ELLIS)的主席。

Bernhard Schölkopf
Bernhard Schölkopf in 2018
Born 1968年2月（54岁）
Alma mater
  • 伦敦大学（1992年，数学理学硕士学位）
  • 图伯根大学 (1994, 物理技术硕士学位)
  • 柏林工业大学 (1997, 计算机博士学位)
Known for
  • 机器学习
  • 核方法
  • 因果推理
Awards BBVA基础知识前沿奖（2020）

Körber欧洲科学奖（2019）

美国统计协会统计教育因果奖(2018)[1]

莱布尼茨奖（2018）

计算机协会会员（2018）

德国莱翁波迪亚科学院院士（2017）

米尔纳奖（2014）

柏林-勃兰登堡科学与人文学院奖(2012)

马克思普朗克研究奖（2011）

国际模式识别协会 J.K. 阿加沃尔奖(2006)

Scientific career
Institutions 马克思普朗克智能系统研究所

研究领域

Kernel methods 内核方法

Schölkopf 开发的 SVM 方法在当时 MNIST 的模式识别基准测试中取得了世界纪录的性能[2]。随着核主成分分析的引入，Schölkopf 和他的合著者认为支持向量机是一类更大的方法的特例，所有可以用点积表示的算法都可以通过所谓的再生核推广到非线性环境中[3][4]。另一个重要的观察结果是，只要核 Gram 矩阵是正定的，定义核的数据就不需要是向量的[5]。这两种见解共同奠定了核方法领域的基础，包括支持向量机和许多其他算法。核方法是当今教科书中的知识，也是研究和应用中的主要机器学习范式之一。

Schölkopf 开发了内核主成分分析(kernel PCA) ，并将其扩展到提取不变特征和设计不变内核[6][7][8] ，并演示了如何将其他主要的降维分析方法(如 LLE 和 Isomap)视为特例。在与 Alex Smola 和其他人的进一步合作中，他将 SVM 方法扩展到具有预先指定的稀疏度[[9]和分位数/支持估计[10]的回归和分类。他证明了一个表示定理，这意味着支持向量机、核主成分分析(kernel PCA)和大多数其他核算法，都是由一个再生核希尔伯特空间中的一个范数正则化的，它们的解决方案都是在训练数据上以核展开的形式出现的，从而将无限维的最佳化问题缩减为有限维的。他与人合作开发了分布方法的内核嵌入来表示 Hilbert Spaces 的概率分布，[11][12][13][14]与夫琅禾费衍射的链接[15]以及独立性测试的应用[16][17][18]。

因果关系

从2005年开始，Schölkopf 将注意力转向因果推理。世界上的因果机制产生统计依赖性作为附带现象，但只有后者被流行的机器学习算法所利用。关于因果结构和机制的知识是有用的，它不仅使我们能够预测来自同一来源的未来数据，而且还能预测系统内干预措施的效果，并促进将发现的规律转移到新的情况[19]。

Schölkopf 和他的同事解决了双变量设置的因果发现问题[20][21][22][23][24]，并将因果关系与柯氏复杂性联系起来[25]。

大约在2010年，Schölkopf 开始探索如何利用因果关系进行机器学习，利用机制独立性和不变性的假设[26]。他早期关于因果学习的工作在2011年 NeurIPS 上的波斯纳演讲[27]以及2017年 ICML 的主题演讲中向更广泛的机器学习听众展示[28]。他分析了如何利用潜在的因果结构，以使机器学习方法在分布偏移[29][30][31]和系统误差[32]方面更加强大，后者导致发现了一些新的系外行星[33] ，包括 K2-18b，随后发现其大气中含有水蒸气，这是首次在可居住区的系外行星。

教育及就业

舍尔科夫在蒂宾根和伦敦学习数学、物理和哲学。他得到了学生基金会的支持，并获得了莱昂内尔 · 库珀纪念奖的最佳硕士学位[34]。伦敦大学数学系。[34]他获得了物理学文凭，然后搬到了新泽西州的贝尔实验室，在那里他与弗拉基米尔 · 瓦普尼克(Vladimir Vapnik)一起工作，后者成为了他在柏林理工大学(TU Berlin)的博士论文的联合顾问(与斯蒂芬 · 贾尼钦(Stefan Jähnchen)合作)。他的论文在1997年获得了德国信息学协会的年度奖[35]。[35]2001年，在柏林、剑桥和纽约任职之后，他在马克斯 · 普朗克生物控制论研究所(Max Planck Institute for Biology Cybernetics)创建了经验推理部，该研究所成长为机器学习研究的领先中心。2011年，他成为马克斯 · 普朗克智能系统研究所的创始董事[36][37]。

Schölkopf 与 Alex Smola 共同创立了机器学习暑期学校系列[38]。他还共同创办了剑桥-图宾根博士项目[39]和马克斯 · 普朗克-瑞士联邦理工学院学习系统中心[40]。2016年，他与人共同创立了网络谷研究联盟[41]。他参加了 IEEE 全球倡议的“伦理结盟设计”[42]。

Schölkopf 是《机器学习研究杂志》(Journal of Machine Learning Research)的联合主编，该杂志是他帮助创办的，是《机器学习杂志》(Machine Learning)编辑委员会大规模辞职的一部分。他是世界上被引用最多的计算机科学家之一[43]。他实验室的校友包括 Ulrike von Luxburg，Carl Rasmussen，Matthias Hein，Arthur Gretton，Gunnar Rätsch，Matthias Bethge，Stefanie Jegelka，Jason Weston，Olivier Bousquet，Olivier Chapelle，Joaquin Quinonero-Candela 和 Sebastian Nowozin[44]。

个人荣誉

Schölkopf 获得的奖项包括英国皇家学会米尔纳奖，以及与伊莎贝尔 · 盖恩和弗拉基米尔 · 瓦普尼克共同获得的信息和通信技术类 BBVA基金会前沿奖。他是在欧洲工作的第一位获得这个奖项的科学家[45]。

2018年3月，Schölkopf获得了莱布尼茨奖，这是德国最重要的科研促进奖。在国际上他也享有很高的声望，曾获英国皇家学会米尔纳奖。Schölkopf的研究绝不仅仅是灰色的理论。美国企业亚马逊也采用了他的专有技术，并与马克斯-普朗克学会密切合作，以通过人工智能来优化搜索结果的用户友好度。

编者推荐

集智学园课程推荐

图灵奖得主朱迪亚·珀尔教授认为，当下正在进行一场改变数据科学的新革命 ”因果革命“。它以科学为中心，涉及从数据到政策、可解释性、机制的泛化，再到一些社会科学中的归因和公平性问题，甚至哲学中的创造性和自由意志 。本季读书会以Elements of Causal Inference一书为线索，主要展现因果科学在机器学习各个方向上的影响，包括强化学习、迁移学习、表示学习等等，并分享在工业界的部分应用成果。本季读书会梳理了因果科学的核心内容，理解它如何改变数据科学，助力 AI 系统超越曲线拟合和获得回答因果问题的能力。

因果推断与机器学习领域的结合已经吸引了越来越多来自学界业界的关注。第一季读书会主要关注了因果科学在机器学习方向上的前沿应用，为深入探讨、普及推广因果科学议题，第二季读书会着力于实操性、基础性，带领大家精读因果科学方向两本非常受广泛认可的入门教材：Causal inference in statistics: A primer和Elements of causal inference: foundations and learning algorithms。读书会以直播讨论为主，结合习题交流、夜谈、编程实践、前沿讲座等多类型内容，主要面向有机器学习背景、希望深入学习因果科学基础知识和重要模型方法、寻求解决相关研究问题的研究人员。

“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。通过前两季的分享，我们主要梳理了因果科学在计算机领域的前沿进展。如要融会贯通，我们需要回顾数十年来在社会学、经济学、医学、生物学等多个领域中，都是使用了什么样的因果模型、以什么样的范式、解决了什么样的问题。我们还要尝试进行对比和创新，看能否以现在的眼光，用其他的模型，为这些研究提供新的解决思路。

“因果+X”就是要让因果真正地应用于我们的科学研究中，不管你是来自计算机、数理统计领域，还是社会学、经济学、管理学领域，还是医学、生物学领域，我们希望共同探究出因果研究的范式，真正解决因果的多学科应用问题，乃至解决工业界的问题。

文章推荐

因果科学入门读什么书？Y. Bengio博士候选人的研读路径推荐

因果表征学习最新综述：连接因果科学和机器学习的桥梁

历时3个月，全球32位讲者，共同讲述因果科学与Causal AI的全景框架！

因果科学：连接统计学、机器学习与自动推理的新兴交叉领域

相关路径

  • 因果科学与Casual AI读书会必读参考文献列表，这个是根据读书会中解读的论文，做的一个分类和筛选，方便大家梳理整个框架和内容。
  • 因果推断方法概述,这个路径对因果在哲学方面的探讨，以及因果在机器学习方面应用的分析。
  • 因果科学和 Causal AI入门路径，这条路径解释了因果科学是什么以及它的发展脉络。此路径将分为三个部分进行展开，第一部分是因果科学的基本定义及其哲学基础，第二部分是统计领域中的因果推断，第三个部分是机器学习中的因果（Causal AI）。

参考文献

  1. ↑ "Causality in Statistics Education Award". www.amstat.org.
  2. ↑ Decoste, Dennis; Schölkopf, Bernhard (1 January 2002). "Training Invariant Support Vector Machines". Machine Learning. 46 (1): 161–190. doi:10.1023/A:1012454411458. hdl:11858/00-001M-0000-0013-E06A-A. S2CID 85843 – via Springer Link
  3. ↑ https://direct.mit.edu/neco/article/10/5/1299/6193/Nonlinear-Component-Analysis-as-a-Kernel, https://ei.is.tuebingen.mpg.de/publications/5634
  4. ↑ Burges, Christopher J.C. (1 June 1998). "A Tutorial on Support Vector Machines for Pattern Recognition". Data Mining and Knowledge Discovery. 2 (2): 121–167.
  5. ↑ B. Schölkopf, Support Vector Learning. PhD Thesis, 1997, https://ei.is.tuebingen.mpg.de/publications/5634
  6. ↑ B. Schölkopf, A. J. Smola, and K.-R. Müller. Nonlinear component analysis as a kernel eigenvalue problem. Neural Computation, 10(5):1299–1319, 1998e
  7. ↑ Schölkopf, P. Simard, A. J. Smola, and V. Vapnik. Prior knowledge in support vector kernels. In M. Jordan, M. Kearns, and S. Solla, editors, Advances in Neural Information Processing Systems 10, pages 640–646, Cambridge, MA, USA, 1998d. MIT Press
  8. ↑ Chapelle and B. Schölkopf. Incorporating invariances in nonlinear SVMs. In T. G. Dietterich, S. Becker, and Z. Ghahramani, editors, Advances in Neural Information Processing Systems 14, pages 609–616, Cambridge, MA, USA, 2002. MIT Press
  9. ↑ B. Schölkopf, A. J. Smola, R. C. Williamson, and P. L. Bartlett. New support vector algorithms. Neural Computation, 12(5):1207–1245, 2000a
  10. ↑ B. Schölkopf, J. C. Platt, J. Shawe-Taylor, A. J. Smola, and R. C. Williamson. Estimating the support of a high-dimensional distribution. Neural Computation, 13(7):1443–1471, 2001b
  11. ↑ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf and A. Smola. A Kernel Method for the Two-Sample-Problem. Advances in Neural Information Processing Systems 19: 513--520, 2007
  12. ↑ A. J. Smola and A. Gretton and L. Song and B. Schölkopf. A Hilbert Space Embedding for Distributions. Algorithmic Learning Theory: 18th International Conference: 13--31, 2007
  13. ↑ B. Sriperumbudur, A. Gretton, K. Fukumizu, B. Schölkopf and G. Lanckriet. Hilbert Space Embeddings and Metrics on Probability Measures. Journal of Machine Learning Research, 11: 1517--1561, 2010
  14. ↑ A. Gretton, K. Borgwardt, M. Rasch, B. Schölkopf and A. J. Smola. A Kernel Two-Sample Test. Journal of Machine Learning Research, 13: 723--773, 2012
  15. ↑ S. Harmeling, M. Hirsch, and B. Schölkopf. On a link between kernel mean maps and Fraunhofer diffraction, with an application to super-resolution beyond the diffraction limit. In Computer Vision and Pattern Recognition (CVPR), pages 1083–1090. IEEE, 2013
  16. ↑ A. Gretton, R. Herbrich, A. J. Smola, O. Bousquet, and B. Schölkopf. Kernel methods for measuring independence. Journal of Machine Learning Research, 6:2075–2129, 2005a
  17. ↑ A. Gretton, O. Bousquet, A. J. Smola and B. Schölkopf. Measuring Statistical Dependence with Hilbert-Schmidt Norms. Algorithmic Learning Theory: 16th International Conference, 2005b
  18. ↑ A. Gretton, K. Fukumizu, C.H. Teo, L. Song, B. Schölkopf and A. J. Smola. A Kernel Statistical Test of Independence. Advances in Neural Information Processing Systems 20, 2007
  19. ↑ B. Schölkopf, D. Janzing, J. Peters, E. Sgouritsa, K. Zhang, and J. Mooij. On causal and anticausal learning. In J. Langford and J. Pineau, editors, Proceedings of the 29th International Conference on Machine Learning (ICML), pages 1255–1262, New York, NY, USA, 2012. Omnipress
  20. ↑ P. O. Hoyer, D. Janzing, J. M. Mooij, J. Peters, and B. Schölkopf. Nonlinear causal discovery with additive noise models. In D. Koller, D. Schuurmans, Y. Bengio, and L. Bottou, editors, Advances in Neural Information Processing Systems 21, pages 689–696, Red Hook, NY, USA, 2009. Curran
  21. ↑ D. Janzing, P. Hoyer, and B. Schölkopf. Telling cause from effect based on high-dimensional observations. In J. Fu ̈rnkranz and T. Joachims, editors, Proceedings of the 27th International Conference on Machine Learning, pages 479–486, Madison, WI, USA, 2010. International Machine Learning Society
  22. ↑ J.M. Mooij, J. Peters, D. Janzing, J. Zscheischler, and B. Schölkopf. Distinguishing cause from effect using observational data: methods and benchmarks. Journal of Machine Learning Research, 17(32):1–102, 2016
  23. ↑ J. Peters, JM. Mooij, D. Janzing, and B. Schölkopf. Causal discovery with continuous additive noise models. Journal of Machine Learning Research, 15:2009–2053, 2014
  24. ↑ P. Daniusis, D. Janzing, J. Mooij, J. Zscheischler, B. Steudel, K. Zhang, and B. Schölkopf. Inferring deterministic causal relations. In P. Grünwald and P. Spirtes, editors, 26th Conference on Uncertainty in Artificial Intelligence, pages 143–150, Corvallis, OR, 2010. AUAI Press. Best student paper award
  25. ↑ Janzing, Dominik; Schölkopf, Bernhard (6 October 2010). "Causal Inference Using the Algorithmic Markov Condition". IEEE Transactions on Information Theory. 56 (10): 5168–5194. arXiv:0804.3678. doi:10.1109/TIT.2010.2060095. S2CID 11867432 – via IEEE Xplore.
  26. ↑ https://icml.cc/2012/papers/625.pdf[bare URL PDF]
  27. ↑ "From kernels to causal inference". videolectures.net.
  28. ↑ "Causal Learning --- Bernhard Schölkopf". 15 October 2017 – via Vimeo.
  29. ↑ B. Schölkopf, D. Janzing, J. Peters, E. Sgouritsa, K. Zhang, and J. Mooij. On causal and anticausal learning. In J. Langford and J. Pineau, editors, Proceedings of the 29th International Conference on Machine Learning (ICML), pages 1255–1262, New York, NY, USA, 2012. Omnipress
  30. ↑ K. Zhang, B. Schölkopf, K. Muandet, and Z. Wang. Domain adaptation under target and conditional shift. In S. Dasgupta and D. McAllester, editors, Proceedings of the 30th International Conference on Machine Learning, volume 28 of JMLR Workshop and Conference Proceedings, pages 819–827, 2013
  31. ↑ Schölkopf, Bernhard (6 February 2015). "Learning to see and act". Nature. 518 (7540): 486–487. doi:10.1038/518486a. PMID 25719660. S2CID 4461791 – via www.nature.com.
  32. ↑ Schölkopf, Bernhard; Hogg, David W.; Wang, Dun; Foreman-Mackey, Daniel; Janzing, Dominik; Simon-Gabriel, Carl-Johann; Peters, Jonas (5 July 2016). "Modeling confounding by half-sibling regression". Proceedings of the National Academy of Sciences. 113 (27): 7391–7398. Bibcode:2016PNAS..113.7391S. doi:10.1073/pnas.1511656113. PMC 4941423. PMID 27382154.
  33. ↑ D. Foreman-Mackey, B. T. Montet, D. W. Hogg, T. D. Morton, D. Wang, and B. Schölkopf. A systematic search for transiting planets in the K2 data. The Astrophysical Journal, 806(2), 2015
  34. ↑ https://www.leopoldina.org/fileadmin/redaktion/Mitglieder/CV_Schoelkopf_Bernhard_D.pdf[bare URL PDF]
  35. ↑ "TU Berlin – Medieninformation Nr. 209 – 17. September 1998".
  36. ↑ History of the Institute". www.kyb.tuebingen.mpg.de.
  37. ↑ https://www.mpg.de/4379702/MPR_2011_2.pdf[bare URL PDF]
  38. ↑ "Machine Learning Summer Schools – MLSS". mlss.cc.
  39. ↑ "Cambridge Machine Learning Group | PhD Programme in Advanced Machine Learning".
  40. ↑ Williams, Jonathan. "Max Planck ETH Center for Learning Systems". cls-staging.is.localnet.
  41. ↑ "Service". Baden-Württemberg.de.
  42. ↑ https://standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead_v1.pdf[bare URL PDF]
  43. ↑ "World's Top Computer Scientists: H-Index Computer Science Ranking". www.guide2research.com.
  44. ↑ http://people.tuebingen.mpg.de/bs/alumni.htm
  45. ↑ Williams, Jon. "Bernhard Schölkopf receives Frontiers of Knowledge Award | Empirical Inference". Max Planck Institute for Intelligent Systems.
取自“https://wiki.swarma.org/index.php?title=Bernhard_Schölkopf&oldid=32993”