113
个编辑
更改
跳到导航
跳到搜索
创建页面，内容为“<big>'''关于课程回看，请给[mailto:swarma_era@163.com 班长]写信索要，并请用如下格式：目的-姓名-微信号，如"回看申请-程序员-code…”
<big>'''关于课程回看，请给[mailto:swarma_era@163.com 班长]写信索要，并请用如下格式：目的-姓名-微信号，如"回看申请-程序员-codermonkey"，否则邮件将不会被处理，详细规则请跳转到本页最后查看'''</big>
* 简介：目前，自然语言处理和深度学习都是非常火热的内容，鉴于此，集智俱乐部的小s开展了系列课程，以研讨、学习相关的内容。
* 时间：2016年7月底－2016年11月初，预计活动11-13次
* 地点：互联网授课
* 主讲人：李嫣然，北京大学智能科学专业本科，现为香港理工大学在读博士生。研究方向为自然语言处理中的语义表达和语言生成。曾于自然语言领域的顶级会议上发表多篇论文，合著有《科学的极致——漫谈人工智能》一书。集智俱乐部成员，同时是微信公众号［程序媛的日常］的维护者之一小Ｓ。
==课表==
所有的资料都在这里：[http://pan.baidu.com/s/1qYN9yji http://pan.baidu.com/s/1qYN9yji]，密码：j7hu
{| class="wikitable"
|-
! 课次 !! 时间 !! 内容!! 参考资料
|-
| 1 || 2016-7-21 20:00-21:00 || Word2Vec: Basics and Model [https://pan.baidu.com/s/1o8cWVs2 课件下载] [mailto:swarma_era@163.com 课程回看]|| [http://licstar.net/archives/328 Deep Learning in NLP(一) ]、[http://120.52.73.78/arxiv.org/pdf/1301.3781.pdf Efficient Estimation of Word Representations in Vector Space]、[http://www.jair.org/media/2934/live-2934-4846-jair.pdf From Frequency to Meaning: Vector Space Models of Semantics]
|-
| 2 || 2016-7-28 20:00-21:00 || Word2Vec: code and practice [https://pan.baidu.com/s/1qYgqA2S 课件下载] || [https://code.google.com/p/word2vec/ source code], [http://www.jianshu.com/p/e439b43ea464 word2vec/lstm on mxnet with NCE loss], [https://www.tensorflow.org/versions/r0.9/tutorials/word2vec/index.html Vector Representations of Words], [http://techblog.youdao.com/?p=915 Deep Learning实战之word2vec], [http://www.52nlp.cn/中英文维基百科语料上的word2vec实验 中英文维基百科语料上的Word2Vec实验], [https://passport.weibo.com/visitor/visitor?entry=miniblog&a=enter&url=http%3A%2F%2Fweibo.com%2Fp%2F1001603974934580865719&domain=.weibo.com&ua=php-sso_sdk_client-0.6.23&_rand=1469146820.0293 一些关于word2vec实现的人僧经验]
|-
| 3 || 2016-8-4 20:00-21:00 || Word Embeddings: Further Issues [https://pan.baidu.com/s/1kVuEsbt 课件下载] || [http://nlp.stanford.edu/projects/glove/ GloVe: Global Vectors for Word Representation], [http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/ Deep Learning, NLP, and Representations], [http://yanran.li/peppypapers/2015/08/17/post-word-embedding.html “后 Word Embedding ”的热点会在哪里?]
|-
| 4 || 2016-8-11 20:00-21:00 || Foundations of Neural Network （主讲人：钟翰廷）[https://pan.baidu.com/s/1qYlHdCg 课件下载]||
|-
| 5 || 2016-8-18 20:00-21:00 || RNN 及其在 NLP 中的应用 （主讲人：钟翰廷）[https://pan.baidu.com/s/1mizwNKO 课件下载]||[https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/lecture11.pdf Recurrent nets and LSTM], [http://karpathy.github.io/2015/05/21/rnn-effectiveness/ The Unreasonable Effectiveness of Recurrent Neural Networks], [http://www.jmlr.org/proceedings/papers/v28/pascanu13.pdf On the difficulty of training recurrent neural networks], [http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf Recurrent neural network based language model]
|-
| 6 || 2016-8-25 20:00-21:00 || NLP in Action with RNN （主讲人：钟翰廷）[https://pan.baidu.com/s/1mhVBaNu 课件下载]||[http://aclweb.org/anthology/D/D14/D14-1074.pdf Chinese Poetry Generation with Recurrent Neural Networks]
|-
|-
| 7 || 2016-09-08 20:00-21:00 || LDA简介 （主讲人：谷伟伟）[http://pan.baidu.com/s/1jH9vlbS 课件下载]||
[沈志勇，主题模型简介(PPT)：http://dwz.cn/2kC5Av lda数学八卦：http://www.flickering.cn/tag/lda/]
|-
| 8 || 2016-9-22 20:00-21:00 || Convolutional Neural Networks （主讲人：李嫣然）[https://pan.baidu.com/s/1pLq5vw3 课件下载]||[http://colah.github.io/posts/2014-07-Understanding-Convolutions/ Understanding Convolutions]
|-
| 9 || 2016-9-29 20:00-21:00 || Sentiment Analysis （主讲人：李嫣然）[https://pan.baidu.com/s/1hsK69X6 课件下载]||[http://nlp.stanford.edu:8080/sentiment/rntnDemo.html Stanford Sentiment Analysis Demo]
|-
| 10 || 2016-9-29 20:00-21:00 || Machine Translation （主讲人：李嫣然）[https://pan.baidu.com/s/1c2dvt1A 课件下载]||[https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation]
|-
| 11 || 2016-10-06 20:00-21:00 || Neural Response Generation （主讲人：李嫣然）[https://pan.baidu.com/s/1kUMSeRt 课件下载]||[https://chatbotslife.com/ultimate-guide-to-leveraging-nlp-machine-learning-for-you-chatbot-531ff2dd870c#.2bmwke3f0 Ultimate Guide to Your Chatbot]
|-
|}
课程回放在这里：[http://xue.duobeiyun.com/ http://xue.duobeiyun.com/]，邀请码请与[mailto:swarma_era@163.com 班长]联系。
==内容提纲==
感谢大家对于集智俱乐部《自然语言处理与深度学习》读书会活动感兴趣。由于这次活动我们想采取全新的收费模式,请大家务必在充分了解课程大纲和收费模式后,评估对于课程的预期,再决定是否缴费参加。
关于收费模式的详细信息,请参考集智俱乐部的公众号文章,点击此处查看。 读书会大纲如下(预计分10次)
===Word Representations===
108Merely wanna comment on few general things, The website layout is perfect, the articles is real superb. “Some for renown, on scraps of learning dote, And think they grow immortal as they quo&t.e#8221; by Edward Young.
===Sentence Modeling===
====RNN====
# neural network basics (back propagation, gradient, regularization, activations)
# RNN (model, calculation, language modeling)
# further reading and related issues (gradient vanishing, GRU, LSTM)
====CNN====
# convolutional operation basics
# paper (model, pooling, sentence modeling, variable-length...)
# further reading and related issues (character-level CNN...)

===NLP Tasks===
====Sentiment Analysis====
# Sentiment Analysis tasks and benchmarks (Stanford TreeBank...)
# papers (GAN, duyu-tang)
====Machine Translation====
# Seq2Seq and encoder-decoder framework
# papers (attention, code)
# further reading and related issues ([http://www.statmt.org/ued/?n=Public.WeeklyMeeting http://www.statmt.org/ued/?n=Public.WeeklyMeeting])
===Fancy topics===
# Machine Comprehension
# Neural Turing Machine
# Dynamic Memory Network
# Neural Conversation Model
==考核要求==
# 由于很多人不能保证同一个时间点参与活动,所以我们取消了每次上课都点人数的 规定,也就取消了必须参加完所有课程的规定;
# 每个人登陆都必须用自己的微信昵称;
# 每个人在全部课(10-12次)下来,必须积分达到10分才行。其中完成一次作业为1分,完成一次符合要求(见后面的说明)的笔记积2分,如果笔记被选中发布了集智公众号则这次笔记积4分。其中笔记或者作业可以在所有课中任选。
# 所谓符合要求的一次读书会笔记是指一篇编辑工整的图文并茂的文章,篇幅不得少于3页A4纸(含图,正常五号字,正常行间距),参考文章请[https://mp.weixin.qq.com/s?__biz=MjM5NzQyODk2Mw==&mid=401797601&idx=1&sn=41fa2f8148096c3c33e52a73c9da1752&scene=1&srcid=0722gFgefp3Vwb3GdDWMCrRz&key=77421cf58af4a653debb650f538f490ca6cd8c8fd74d797fd42fe50e58f3afb1183f11b0561e07b8f105714f70c34721&ascene=0&uin=MTY5NTc1MDc2MA%3D%3D&devicetype=iMac+MacBookPro11%2C2+OSX+OSX+10.11.6+build(15G31)&version=11020201&pass_ticket=7C4SHQBtViNUtpDJu8DBLgrj5b8C9OavnQ5C%2BKaxNvP3otskuO7%2BBzp6GfUDXDO4 点击这里]查看。
# 每次课的笔记或者作业都必须在下一次讲课前完成,补交不算数!
# 上述要求达到才算完成了整个课程学习,退费80%,否则都算未完成,不退费!
==前期活动预热==
在读书会开始之前，集智俱乐部举办了一次公开活动，由小s主讲，内容是对整个读书会的一个更改介绍。有关这次活动信息，请参看[http://mp.weixin.qq.com/s?__biz=MzIzMjQyNzQ5MA==&mid=2247483667&idx=1&sn=658da85489324e125dbd2941cca50bd6&scene=25#wechat_redirect 这里]，本次活动的课件可在[https://pan.baidu.com/s/1c1GqtzU 这里]下载。
==相关负责人信息==
集智《自然语言与深度学习》读书会上课、课后流程负责人
# 每次活动前三天准备好多贝云系统(或其他听课系统),新建一个教室。负责人: Jake
# 每次活动前一天发送教室地址和讲稿给群中。负责人:年糕
# 所有的作业或笔记统一交给班长侯月源(email:swarma_era@163.com)。班长在下一次活动结束后把上一次活动的作业和笔记打包给助教,并将活动笔记统一交给Jake。
# 助教钟翰廷负责记录每个人交作业的情况
# 年糕负责从作业中抽样(10个),并给成绩,成绩太差则不算这次成绩,并通报。
# Jake 负责从笔记中选出最好的发布公众号,并相应地更改分数。
==邮件规则==
为了方便大家及时得到邮件反馈，邮箱现在使用脚本管理+人工审核机制，所以希望参课的同学按照主题格式发送邮件。
主题的格式为：邮件主题-昵称-ID
现在支持的邮件主题：回看申请，作业（包含笔记）
附件的格式 ：作业/笔记-课程日期-昵称
例如：
回看申请-程序员-codermonkey
作业-程序员-codermonkey
附件名：作业-0721-程序员
现在id确定为微信号，能搜到的，昵称为微信昵称
=== '''注意：''' ===
'''本期课程已经结束，为了方便已经参加课程的同学回看往期课程，回看申请格式变更：'''
'''回看申请-课程序号-用户名-用户id'''
'''课程序号参见课程安排表格第一列。'''
例如：
'''回看申请-1-程序员-codermonkey'''
[[category:旧词条迁移]]
* 简介：目前，自然语言处理和深度学习都是非常火热的内容，鉴于此，集智俱乐部的小s开展了系列课程，以研讨、学习相关的内容。
* 时间：2016年7月底－2016年11月初，预计活动11-13次
* 地点：互联网授课
* 主讲人：李嫣然，北京大学智能科学专业本科，现为香港理工大学在读博士生。研究方向为自然语言处理中的语义表达和语言生成。曾于自然语言领域的顶级会议上发表多篇论文，合著有《科学的极致——漫谈人工智能》一书。集智俱乐部成员，同时是微信公众号［程序媛的日常］的维护者之一小Ｓ。
==课表==
所有的资料都在这里：[http://pan.baidu.com/s/1qYN9yji http://pan.baidu.com/s/1qYN9yji]，密码：j7hu
{| class="wikitable"
|-
! 课次 !! 时间 !! 内容!! 参考资料
|-
| 1 || 2016-7-21 20:00-21:00 || Word2Vec: Basics and Model [https://pan.baidu.com/s/1o8cWVs2 课件下载] [mailto:swarma_era@163.com 课程回看]|| [http://licstar.net/archives/328 Deep Learning in NLP(一) ]、[http://120.52.73.78/arxiv.org/pdf/1301.3781.pdf Efficient Estimation of Word Representations in Vector Space]、[http://www.jair.org/media/2934/live-2934-4846-jair.pdf From Frequency to Meaning: Vector Space Models of Semantics]
|-
| 2 || 2016-7-28 20:00-21:00 || Word2Vec: code and practice [https://pan.baidu.com/s/1qYgqA2S 课件下载] || [https://code.google.com/p/word2vec/ source code], [http://www.jianshu.com/p/e439b43ea464 word2vec/lstm on mxnet with NCE loss], [https://www.tensorflow.org/versions/r0.9/tutorials/word2vec/index.html Vector Representations of Words], [http://techblog.youdao.com/?p=915 Deep Learning实战之word2vec], [http://www.52nlp.cn/中英文维基百科语料上的word2vec实验 中英文维基百科语料上的Word2Vec实验], [https://passport.weibo.com/visitor/visitor?entry=miniblog&a=enter&url=http%3A%2F%2Fweibo.com%2Fp%2F1001603974934580865719&domain=.weibo.com&ua=php-sso_sdk_client-0.6.23&_rand=1469146820.0293 一些关于word2vec实现的人僧经验]
|-
| 3 || 2016-8-4 20:00-21:00 || Word Embeddings: Further Issues [https://pan.baidu.com/s/1kVuEsbt 课件下载] || [http://nlp.stanford.edu/projects/glove/ GloVe: Global Vectors for Word Representation], [http://colah.github.io/posts/2014-07-NLP-RNNs-Representations/ Deep Learning, NLP, and Representations], [http://yanran.li/peppypapers/2015/08/17/post-word-embedding.html “后 Word Embedding ”的热点会在哪里?]
|-
| 4 || 2016-8-11 20:00-21:00 || Foundations of Neural Network （主讲人：钟翰廷）[https://pan.baidu.com/s/1qYlHdCg 课件下载]||
|-
| 5 || 2016-8-18 20:00-21:00 || RNN 及其在 NLP 中的应用 （主讲人：钟翰廷）[https://pan.baidu.com/s/1mizwNKO 课件下载]||[https://www.cs.ox.ac.uk/people/nando.defreitas/machinelearning/lecture11.pdf Recurrent nets and LSTM], [http://karpathy.github.io/2015/05/21/rnn-effectiveness/ The Unreasonable Effectiveness of Recurrent Neural Networks], [http://www.jmlr.org/proceedings/papers/v28/pascanu13.pdf On the difficulty of training recurrent neural networks], [http://www.fit.vutbr.cz/research/groups/speech/publi/2010/mikolov_interspeech2010_IS100722.pdf Recurrent neural network based language model]
|-
| 6 || 2016-8-25 20:00-21:00 || NLP in Action with RNN （主讲人：钟翰廷）[https://pan.baidu.com/s/1mhVBaNu 课件下载]||[http://aclweb.org/anthology/D/D14/D14-1074.pdf Chinese Poetry Generation with Recurrent Neural Networks]
|-
|-
| 7 || 2016-09-08 20:00-21:00 || LDA简介 （主讲人：谷伟伟）[http://pan.baidu.com/s/1jH9vlbS 课件下载]||
[沈志勇，主题模型简介(PPT)：http://dwz.cn/2kC5Av lda数学八卦：http://www.flickering.cn/tag/lda/]
|-
| 8 || 2016-9-22 20:00-21:00 || Convolutional Neural Networks （主讲人：李嫣然）[https://pan.baidu.com/s/1pLq5vw3 课件下载]||[http://colah.github.io/posts/2014-07-Understanding-Convolutions/ Understanding Convolutions]
|-
| 9 || 2016-9-29 20:00-21:00 || Sentiment Analysis （主讲人：李嫣然）[https://pan.baidu.com/s/1hsK69X6 课件下载]||[http://nlp.stanford.edu:8080/sentiment/rntnDemo.html Stanford Sentiment Analysis Demo]
|-
| 10 || 2016-9-29 20:00-21:00 || Machine Translation （主讲人：李嫣然）[https://pan.baidu.com/s/1c2dvt1A 课件下载]||[https://arxiv.org/abs/1609.08144 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation]
|-
| 11 || 2016-10-06 20:00-21:00 || Neural Response Generation （主讲人：李嫣然）[https://pan.baidu.com/s/1kUMSeRt 课件下载]||[https://chatbotslife.com/ultimate-guide-to-leveraging-nlp-machine-learning-for-you-chatbot-531ff2dd870c#.2bmwke3f0 Ultimate Guide to Your Chatbot]
|-
|}
课程回放在这里：[http://xue.duobeiyun.com/ http://xue.duobeiyun.com/]，邀请码请与[mailto:swarma_era@163.com 班长]联系。
==内容提纲==
感谢大家对于集智俱乐部《自然语言处理与深度学习》读书会活动感兴趣。由于这次活动我们想采取全新的收费模式,请大家务必在充分了解课程大纲和收费模式后,评估对于课程的预期,再决定是否缴费参加。
关于收费模式的详细信息,请参考集智俱乐部的公众号文章,点击此处查看。 读书会大纲如下(预计分10次)
===Word Representations===
108Merely wanna comment on few general things, The website layout is perfect, the articles is real superb. “Some for renown, on scraps of learning dote, And think they grow immortal as they quo&t.e#8221; by Edward Young.
===Sentence Modeling===
====RNN====
# neural network basics (back propagation, gradient, regularization, activations)
# RNN (model, calculation, language modeling)
# further reading and related issues (gradient vanishing, GRU, LSTM)
====CNN====
# convolutional operation basics
# paper (model, pooling, sentence modeling, variable-length...)
# further reading and related issues (character-level CNN...)

===NLP Tasks===
====Sentiment Analysis====
# Sentiment Analysis tasks and benchmarks (Stanford TreeBank...)
# papers (GAN, duyu-tang)
====Machine Translation====
# Seq2Seq and encoder-decoder framework
# papers (attention, code)
# further reading and related issues ([http://www.statmt.org/ued/?n=Public.WeeklyMeeting http://www.statmt.org/ued/?n=Public.WeeklyMeeting])
===Fancy topics===
# Machine Comprehension
# Neural Turing Machine
# Dynamic Memory Network
# Neural Conversation Model
==考核要求==
# 由于很多人不能保证同一个时间点参与活动,所以我们取消了每次上课都点人数的 规定,也就取消了必须参加完所有课程的规定;
# 每个人登陆都必须用自己的微信昵称;
# 每个人在全部课(10-12次)下来,必须积分达到10分才行。其中完成一次作业为1分,完成一次符合要求(见后面的说明)的笔记积2分,如果笔记被选中发布了集智公众号则这次笔记积4分。其中笔记或者作业可以在所有课中任选。
# 所谓符合要求的一次读书会笔记是指一篇编辑工整的图文并茂的文章,篇幅不得少于3页A4纸(含图,正常五号字,正常行间距),参考文章请[https://mp.weixin.qq.com/s?__biz=MjM5NzQyODk2Mw==&mid=401797601&idx=1&sn=41fa2f8148096c3c33e52a73c9da1752&scene=1&srcid=0722gFgefp3Vwb3GdDWMCrRz&key=77421cf58af4a653debb650f538f490ca6cd8c8fd74d797fd42fe50e58f3afb1183f11b0561e07b8f105714f70c34721&ascene=0&uin=MTY5NTc1MDc2MA%3D%3D&devicetype=iMac+MacBookPro11%2C2+OSX+OSX+10.11.6+build(15G31)&version=11020201&pass_ticket=7C4SHQBtViNUtpDJu8DBLgrj5b8C9OavnQ5C%2BKaxNvP3otskuO7%2BBzp6GfUDXDO4 点击这里]查看。
# 每次课的笔记或者作业都必须在下一次讲课前完成,补交不算数!
# 上述要求达到才算完成了整个课程学习,退费80%,否则都算未完成,不退费!
==前期活动预热==
在读书会开始之前，集智俱乐部举办了一次公开活动，由小s主讲，内容是对整个读书会的一个更改介绍。有关这次活动信息，请参看[http://mp.weixin.qq.com/s?__biz=MzIzMjQyNzQ5MA==&mid=2247483667&idx=1&sn=658da85489324e125dbd2941cca50bd6&scene=25#wechat_redirect 这里]，本次活动的课件可在[https://pan.baidu.com/s/1c1GqtzU 这里]下载。
==相关负责人信息==
集智《自然语言与深度学习》读书会上课、课后流程负责人
# 每次活动前三天准备好多贝云系统(或其他听课系统),新建一个教室。负责人: Jake
# 每次活动前一天发送教室地址和讲稿给群中。负责人:年糕
# 所有的作业或笔记统一交给班长侯月源(email:swarma_era@163.com)。班长在下一次活动结束后把上一次活动的作业和笔记打包给助教,并将活动笔记统一交给Jake。
# 助教钟翰廷负责记录每个人交作业的情况
# 年糕负责从作业中抽样(10个),并给成绩,成绩太差则不算这次成绩,并通报。
# Jake 负责从笔记中选出最好的发布公众号,并相应地更改分数。
==邮件规则==
为了方便大家及时得到邮件反馈，邮箱现在使用脚本管理+人工审核机制，所以希望参课的同学按照主题格式发送邮件。
主题的格式为：邮件主题-昵称-ID
现在支持的邮件主题：回看申请，作业（包含笔记）
附件的格式 ：作业/笔记-课程日期-昵称
例如：
回看申请-程序员-codermonkey
作业-程序员-codermonkey
附件名：作业-0721-程序员
现在id确定为微信号，能搜到的，昵称为微信昵称
=== '''注意：''' ===
'''本期课程已经结束，为了方便已经参加课程的同学回看往期课程，回看申请格式变更：'''
'''回看申请-课程序号-用户名-用户id'''
'''课程序号参见课程安排表格第一列。'''
例如：
'''回看申请-1-程序员-codermonkey'''
[[category:旧词条迁移]]