2019集智-凯风研读营

来自集智百科 - 复杂系统|人工智能|复杂科学|复杂网络|自组织
（重定向自2019凯风研读营）
跳到导航 跳到搜索

主题：网络、几何与机器学习

“网络、几何与机器学习”研读营是由集智俱乐部主办，凯风基金会资助的“复杂系统的信息物理研讨会”系列活动的第三期。我们计划将于2019年6月举行的为期5天的前沿文献研读、讨论的活动，主题范围涵盖：复杂网络、统计物理、量子物理与机器学习。其目的是为了从这些前沿科学领域获得新的研究灵感以及促进集智科学家成员之间的彼此互动、交流，从而孕育全新的科研思想。


背景

网络、几何与机器学习研讨会旨在把握当前前沿物理学与人工智能的发展趋势与本质。一方面，复杂网络模型可以用于理解时空的本源，也可以构建复杂的神经网络，模拟大脑的思维。另一方面，网络是几何学的进一步延伸与拓展，我们利用几何化的思路来抓住网络背后的简单原理，机器学习则是一种必要的技术。 传统的社会科学研究的一个主要目标是模仿自然科学把社会活动及其背后的原理运用数学进行定量化。近年来在科学界掀起的注重关系而非实体的思潮可能给这种社会科学－自然科学的交融的产生很大的影响，从而产生新的研究范式。这种范式注重数据分析和社会活动所依托的复杂网络，运用近年来在人工智能领域很有可能在不远的将来颠覆以往的社会科学的研究方式。因此，本研讨会的研讨结果将有可能对社会科学研究产生重要的作用。

本届研读营是对2016年第一届研读营的延伸讨论，主题涉及：张量网络、深度学习、消息传播算法等

参加人员

  • 张江，北京师范大学系统科学学院教授，集智俱乐部创始人、集智学园创始人，腾讯研究院特聘专家，华为特聘专家。研究兴趣包括：复杂系统、集体注意力流、流网络、异速生长律等。
  • 尤亦庄，加州大学圣地亚哥分校助理教授，集智科学家，主要研究领域是量子多体物理，关注集体行为导致的演生现象和临界现象。对信息论（特别是量子信息），复杂系统，人工智能等领域也很感兴趣。
  • 苑明理，彩云科技软件工程师，集智核心成员，数学系毕业、程序员生涯，年龄渐长，但对许多事情仍然充满好奇和困惑。因维基对知识工程发生兴趣，想去探寻知识大厦搭建之道。通过一些长期的思考，认为知识表示的几何化有助于揭示概念创生过程的秘密。
  • 肖达，北京邮电大学计算机学院讲师，彩云科技联合创始人、首席科学家。
  • 李林倬，芝加哥大学在读博士生，研究兴趣为使用词向量模型等计算方法研究公共知识生产与意识形态形成与演化。
  • 章彦博，亚利桑那州立大学复杂系统博士在读，研究方向为因果涌现、意识理论，以及化学合成路径与生命起源之关系。同时也对深度学习、复杂网络颇感兴趣。个人主页
  • 张章，北京师范大学系统科学学院2019级研究生，研究兴趣集中于深度学习和复杂网络的交叉领域，目前在进行使用机器学习方法进行网络重构等工作。个人主页
  • 崔浩川，北京师范大学系统科学学院博士在读。研究兴趣：复杂系统、知识社会学。目前在研究的项目是科学壁垒的形成与科学系统的演化。个人主页
  • 牟牧云，北京师范大学系统科学学院2019级直博生。研究方向为人工智能与复杂性科学，同时对认知科学兴趣浓厚。
  • 贾小双，中山大学社会学与人类学学院社会学在读博士。研究方向为计算社会科学，关心社会科学研究如何实现有监督学习（理论驱动）和无监督学习（数据驱动）相结合。对因果推论感兴趣，目前正在做的项目是如何通过表象发现事物的本质。个人主页
  • 高飞，北京师范大学系统科学学院在读硕士。研究兴趣：利用机器学习技术解决复杂网络上的优化问题。
  • 仇玮祎，北京生物工程研究所助理研究员。研究兴趣：模式生成，生命起源与生命复杂性。
  • 王力飞，中国科学院北京基因组研究所在读博士。研究方向为生物信息学，对系统科学，深度学习，信息论也感兴趣。目前正在做的项目是利用深度学习的模型来处理单细胞数据。
  • 刘金国，中国科学院物理研究所博士后，研究方向为量子算法与高性能计算。最近痴迷于用Julia语言实现高性能张量网络计算，张量网络图表示论，张量网络的GPU加速，以及在此之上的自动微分。个人主页
  • 李烁辉，中国科学院物理研究所在读博士生，研究方向为机器学习在凝聚态统计物理中的应用。目前正在做的工作为利用Normlizing flow模型进行辛变换。
  • 林意灵 ，即将去往芝加哥大学攻读研究生，集智俱乐部核心志愿者。对自然语言处理在社会科学当中的应用，学科之间的类比科普感兴趣。个人主页
  • 王呈伟，即将芝加哥大学研究生，上海大学研究生，研究兴趣：语义网络，话语与社会变迁。个人主页
  • 徐绘敏，南京大学新闻传播学院研究生，研究兴趣：计算传播学、计算叙事。
  • 曾立， X-Order数据科学家，知识图谱项目负责人。密歇根大学城市规划/环境科学双硕士，清华建筑学学士。
  • 陆云波，陆云波教授，现任同济大学组织仿真中心主任，奇弦智能创始人。
  • 吴吉人，奇弦智能联合创始人。

基本信息

  • 时间：2019年6月8日－6月12日
  • 地点：大理剑川沙溪

日程安排

日程安排建议划分单元模块，每一个模块有一个明确的主题，然后将不同主题穿插在一起以体现多学科交叉，比如我根据已有的大家的主题，安排的顺序如下：

  • 6月8日晚上破冰环节（大家介绍自己和自己的科研问题和项目）
条目 6.9 6.10 6.11 6.12
上午 尤亦庄：机器学习与重整化 （理论物理与机器学习模块） 肖达：自然语言语义理解和关系推理（机器学习模块） 张江：Learning Discrete Operators by Gradient Back Propagation（机器学习模块） 李烁辉：From EBM to flow model（理论物理与机器学习模块）
吴令飞：团队规模与颠覆式创新（计算社会科学模块） 刘金国：可自动微分的张量网络（理论物理与机器学习模块） 苑明理：再谈自动微分 自由分享讨论
下午 高飞：最大化传播（机器学习/复杂网络模块） 仇玮祎：模式生成与生命复杂系统（复杂系统模块） 章彦博：哲学僵尸与意识起源——整合信息论（IIT）与意识（复杂系统模块）
张章：基于松弛优化方法的最优结构设计（机器学习/复杂网络模块) 王力飞：胶囊网络 崔浩川：学科边界的产生——从科学研究纲领与科学研究传统谈起 （复杂网络模块）
6月9日
  • 尤亦庄 机器学习与重整化
  • 吴令飞 团队规模与颠覆式创新
  • 张章：A General Deep Learning Framework for Network Reconstruction
  • 张江： Learning discrete operators
6月10日
  • 肖达：预训练语言模型——历史、原理、应用与分析
  • 刘金国：Differentiable Tensors
  • 王力飞：The application of CapsNet in biology
  • 仇玮祎： 小木球 模式生成与生命复杂性
6月11日
  • 苑明理：再说自动微分
  • 李硕辉：From Energy-based Model to Flow
  • 章彦博：如何寻找复杂系统的宏观态
  • 尤亦庄（晚间闲聊）
6月12日
  • 高飞：如何最大化社交网络上的影响力
  • 崔浩川：How to quantify the impact of a team
  • 曾立：Crypto Knowledge Graph Project

说明

  • 先按照负责人制把基本的活动安排分配下去，每位负责人负责自己的时间段，可以自己讲，也可以邀请与会者来讲

详细内容安排

尤亦庄

  • 机器学习与重整化

这里填入要讲的主题

  • 参考资料

https://arxiv.org/pdf/1802.02840.pdf ； https://arxiv.org/pdf/1903.00804.pdf；

刘金国

  • 数值科学家的新玩物: 可自动微分的张量网络

可以自动微分的张量网络, 它可以用来解决凝聚态材料计算, 量子线路的自动设计等重要问题. 这是我在 Google Summer of Code 指导的一个项目, 基于 Julia 语言, 我们将会建立张量网络收缩的图表示论, 高效的 Einstein 求和以及在此基础之上的自动微分算法. 最后, 希望能与不同领域的人探讨这种技术对小世界模型, 对路径优化问题的启发.

  • 参考资料

- Liao H J, Liu J G, Wang L, et al. Differentiable Programming Tensor Networks[J]. arXiv preprint arXiv:1903.09650, 2019.

张江

  • Learning Discrete Operators by Gradient Back Propagation

The triumph of deep learning technology has enabled us to learn very complex functions in various backgrounds via image recognition to natural language processing. The platforms like Tensorflow and pytorch further accelerate the progress of deep learning programming by automating the computation of gradient on complex structures. However, the requirement of the differentialability blocks the wide applications of automatic gradient computation because non-differential operators, such as sampling, permutation, selection, indexing, and so forth widely exists in programs. Although the conventional reinforcement learning algorithm like policy gradient my alleviates the suffering of non-differentialability in some sense, the slow speed of computation and the requirement of complicated skills made it difficult to apply. While, recently, researchers have invented several tricks like gumbel softmax, sinkhorn gumbel, and soft indexing to tackle the problem of non-differentialability, by carefully devising the computation process, we can do sampling, permutation, and indexing various objects with gradients. In this talk, I would like to introduce these methods and some applications.

  • 参考资料

- Categorical Reparameterization with Gumbel-Softmax, arXiv:1611.01144 - LEARNING LATENT PERMUTATIONS WITH GUMBEL- SINKHORN NETWORKS, arXiv:1802.08665v1 - Learning sparse transformations through backpropagation, arXiv:1810.09184v1 -

章彦博

  • 因果涌现与宏观态
  • 参考资料

-

崔浩川

  • Layer Reuse 和Normalization 能给Neural Network带来什么
  • 学科边界的产生——从科学研究纲领与科学研究传统谈起

张章

  • 基于松弛优化方法的最优结构设计

结构是智能涌现的基础。在复杂网络中，去重构某个存在但未知的结构，或针对某些优化目标设置最优结构对诸多下游任务和理解复杂网络本身都有重要的意义。在这里我们提出一种基于连续松弛（continuous relaxation）的优化方法，可以根据特定目标设计复杂网络的离散结构。我们发现，在一些节点互动系统中（如boolean network），模型设计的离散结构与网络的真实结构相同，因此我们可以将这种方法应用于网络重构，同时我们也可以将其应用于自动机器学习领域中的的神经模块连接结构设计等最优结构未知的问题。

  • 参考资料

- Categorical Reparameterization with Gumbel-Softmax（https://arxiv.org/abs/1611.01144） - A general Deep learning​ framework for Network Reconstruction (http://export.arxiv.org/pdf/1812.11482) - Learning Discrete Structures for Graph Neural Networks (https://arxiv.org/abs/1903.11960)

苑明理

  • 再谈自动微分

大多数深度学习教材，一般从误差的梯度回传讲起，但从链式法则入手，我们可以看到正传和反传的两种形式的可能。我们首先回顾文献里的对偶数方法，用对偶数（Dual number）为工具给出正传方案的一种实现方法。然后，我们考察一类特定的优化问题，它们以含时演化的微分方程为约束，我们将仔细研究这类问题的正传、反传和伴随，给出伴随同对偶数的关系以及伴随的几何含义。上述探讨，有助于我们进一步理解方程同神经网络的结合。


高飞

  • 社交网络上如何做到影响力最大化

社交网络已经是商业和政界必争之地，通过网络传播使得自己的影响最大化，从而获得最高的选票或者最多的效益。那么预算有限的基础上，怎么才能让你的影响力最大化呢？这个问题在十几年前被抽象成一个算法问题：影响力最大化问题，并建立了一个贪婪算法的框架求解。我们会回顾至今该问题的进一步进展，已有解决方案的局限之处。然后会介绍一种基于可微分优化框架的求解方法，在至关重要的影响力范围的求解问题上，介绍一种基于RNN的预测方法。

  • 参考资料
    • Li Y, Fan J, Wang Y, et al. Influence maximization on social graphs: A survey[J]. IEEE Transactions on Knowledge and Data Engineering, 2018, 30(10): 1852-1872.
    • Kempe D, Kleinberg J, Tardos É. Maximizing the spread of influence through a social network[C]//Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2003: 137-146.

李烁辉

  • From EBM to flow model

This talk introduces a bottom-up view of flow model. Starts with EBM and RBM model, I will talk about how RBM is actually a "Self-GAN" EBM model. Then VAE is introduced and joined with GAN to form a so-called divergence triangle model. Then we will see this divergence triangle model is a rough approximation of flow model. At this point, we can see that flow models can be viewed a GAN, VAE and EBM model. And from here I will introduce a flow model that is also a renormalization group method. Then we will see that neuralODE is a continue version of flow model.

  • 参考资料

- https://arxiv.org/abs/1812.10907;

- https://arxiv.org/abs/1802.02840;

- https://arxiv.org/abs/1806.07366；

- https://arxiv.org/abs/1809.10188.

肖达

  • 预训练语言模型的语义理解能力考察——从关系推理视角

以BERT为代表的预训练语言模型通过海量数据无监督训练得到自然语言的强大和通用的表征，在其上构建的模型在文本分类、问答、翻译和生成等诸多任务都取得了显著进步。然而，从认知语言学的角度考察预训练语言模型，我们尚不清楚它有多强的关系推理能力，这一人类语言理解的核心技能。关系推理按难度可分为一阶关系（实体之间或实体和属性之间，又叫常识，例如“大象比蚂蚁大”，“大象很大”）、二阶关系（关系和关系之间，又叫规则，例如“某物x放不进某物y因为某物x太大了”）和高阶关系（因果、转折、同义、反义等关系）。本报告介绍一种定量评估BERT各级关系推理能力的简单方法及其评估结果，从一个侧面反映了BERT相对于人类在语言理解上的局限，进而探讨了从模型层面增强BERT二阶和高阶关系推理能力的可能改进方案。

  • 参考资料

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee and Kristina Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.

[2] Alon Talmor, Jonathan Herzig, Nicholas Lourie and Jonathan Berant. CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge. NAACL 2019. [3] Levesque H, Davis E, Morgenstern L. The winograd schema challenge. 13th International Conference on the Principles of Knowledge Representation and Reasoning. 2012. [4] Weston J, Bordes A, Chopra S, et al. Towards ai-complete question answering: A set of prerequisite toy tasks[J]. arXiv preprint arXiv:1502.05698, 2015.

仇玮祎

  • 模式生成与生命复杂性

（待填充）

  • 参考资料

王力飞

  • Capsnet在单细胞分析中的应用
  • 参考资料

https://www.biorxiv.org/content/10.1101/506642v1 https://www.biorxiv.org/content/10.1101/570507v1

牟牧云

  • 图神经网络在交通网路中的应用
  • 参考资料

https://arxiv.org/abs/1904.08831?context=cs

徐绘敏

  • 寻找故事中的规律：基于词向量方法的计算叙事研究

介绍：人类偏爱讲故事，因为故事更能打动人或说服人。故事也是人类理解社会现实的一种形式，因而可以从故事文本中发现人类对社会结构的认知倾向。本研究将尝试采用自然语言处理和机器学习的方法来分析故事文本当中是否隐藏着普适模式，并探索故事在叙事过程中是否存在性别歧视。


主办方介绍

集智俱乐部

集智俱乐部，英文名：Swarma Club，成立于 2003 年，是一个从事学术研究、享受科学乐趣的探索者的团体，也是国内最早的研究人工智能、复杂系统的科学社区。它倡导以平等开放的态度、科学实证的精神，进行跨学科的研究与交流，力图搭建一个中国的 “ 没有围墙的研究所 ”。


凯风基金会

凯风公益基金会于2007年3月设立，是国家民政部主管的非公募公益基金会。也是首批由企业发起、国家民政部批准设立，并由国家民政部作为上级主管部门的公益基金会。凯风公益基金会主要通过机构合作方式，对在学术研究、政策研究、教育和公益实践方面获得重要成果、具备实力和潜力的学术精英和公益精英，进行资助和奖励，进而达到提升公共福利、增加公众利益、传播公益思想的目的。凯风公益基金会的战略合作伙伴包括国内外顶尖的综合性大学和研究机构、专业艺术院校、国内外一流的NGO。

企业赞助

  • 背景

集智俱乐部的粉丝中有一部分科研企业家，这些企业家大都是科技企业的CEO，本身具有较强的科研能力，热爱科学，所带领的企业看重科研创新，重视科学研究，自身企业也在做一些科研方面的探索。考虑到这些企业家的需求，我们可以每期研读营开放2个左右的名额，可以让他们深度参与进来，感受研读营的魅力，也促进大家的交流探讨。

  • 参与方式

企业家可以以赞助的名义参与，主要操作是赞助且申请，经由研读营的核心科学家审核，然后按赞助额排序录取，每届两名。

如果想要参与，请联系王婷Email ：wangting@swarma.org / Wechat：wt1511181498

  • 申明

所有赞助的经费均用会用于资助学者或者科研团队进行研究，而不用于其他任何商业用途。 最终解释权归北京集智会自然科学研究中心所有。


  • 申请截止日期

研读营正式开始的前30天截止申请（此次正常的截止日期为：5月7日）

如果在开营前30天内申请，考虑到会增加额外的人力和管理成本，赞助费用须>3万/人。

取自“https://wiki.swarma.org/index.php?title=2019集智-凯风研读营&oldid=33360”