信息抽取 - 版本历史

薄荷：/* 编辑推荐 */

2021-08-28T11:54:06Z

编辑推荐

2021年8月28日 (六) 11:45 薄荷

2021-08-28T11:45:40Z

2021年8月28日 (六) 11:44 薄荷

2021-08-28T11:44:04Z

薄荷：/* 编辑推荐 */

2021-08-28T11:43:16Z

编辑推荐

薄荷：/* 编辑推荐 */

2021-08-28T11:42:55Z

编辑推荐

薄荷：/* 其他链接 */

2021-08-28T11:37:39Z

其他链接

薄荷：/* 基于万维网的应用 */

2021-08-28T11:33:44Z

基于万维网的应用

薄荷：/* 任务与子任务 */

2021-08-28T11:32:09Z

任务与子任务

薄荷：/* 任务与子任务 */

2021-08-28T11:31:21Z

任务与子任务

薄荷：/* 任务与子任务 */

2021-08-28T11:30:40Z

任务与子任务

@@ 第168行： / 第168行： @@
 ----
-本中文词条由[[用户:林登万|林登万]]审校，[[用户:薄荷|薄荷]编辑，欢迎在讨论页面留言。
+本中文词条由[[用户:林登万|林登万]]审校，[[用户:薄荷|薄荷]]编辑，欢迎在讨论页面留言。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第22行： / 第22行： @@
-信息抽取是一个较为上游的任务。它涉及的问题是设计文本管理的自动方法，不再局限于文本的传输，存储和显示。信息检索学科已经在应用许多自动化的方法<ref name=":0" />，比如典型的统计方法，用于为大型文档集合建立索引和对文档进行分类。另一个互补的方法是自然语言处理(NLP) ，它解决了人类语言处理建模的问题，在处理大规模任务时取得了相当的成功。就难度和重点而言，信息抽取处理介于[[信息获取]] Information Retrieval（IR）<ref name=":0">{{Cite journal|url = http://www.cs.bilkent.edu.tr/~guvenir/courses/CS550/Seminar/freitag2000-ml.pdf|title = Machine Learning for Information Extraction in Informal Domains|last = FREITAG|first = DAYNE|journal = 2000 Kluwer Academic Publishers. Printed in the Netherlands}}</ref>和 [[NLP]] 之间的任务。对于IE任务的输入假设为，一组文档，其中每个文档都遵循一个模板，即，以类似于其他文档中的方式描述一个或多个实体或事件，但在细节上有所不同。例如，考虑一组关于拉丁美洲恐怖主义的新闻专线文章，每一条都被认为是基于一种或多种恐怖主义行为。我们还为任何给定的 IE 任务定义了一个模板，它是一个(或一组)案例框架，用于保存单个文档中包含的信息。对于恐怖主义的例子，一个模板应该有与恐怖主义行为的肇事者、受害者和武器相对应的位置，以及事件发生的日期。针对这个问题的 IE 系统需要“理解”一篇关于恐怖袭击的文章，找到与此模板中角色相对应的数据。
+信息抽取是一个较为上游的任务。它涉及的问题是设计文本管理的自动方法，不再局限于文本的传输，存储和显示。信息检索学科已经在应用许多自动化的方法<ref name=":0" />，比如典型的统计方法，用于为大型文档集合建立索引和对文档进行分类。另一个互补的方法是自然语言处理（NLP） ，它解决了人类语言处理建模的问题，在处理大规模任务时取得了相当的成功。就难度和重点而言，信息抽取处理介于[[信息获取]] Information Retrieval（IR）<ref name=":0">{{Cite journal|url = http://www.cs.bilkent.edu.tr/~guvenir/courses/CS550/Seminar/freitag2000-ml.pdf|title = Machine Learning for Information Extraction in Informal Domains|last = FREITAG|first = DAYNE|journal = 2000 Kluwer Academic Publishers. Printed in the Netherlands}}</ref>和 [[NLP]] 之间的任务。对于IE任务的输入假设为，一组文档，其中每个文档都遵循一个模板，即，以类似于其他文档中的方式描述一个或多个实体或事件，但在细节上有所不同。例如，考虑一组关于拉丁美洲恐怖主义的新闻专线文章，每一条都被认为是基于一种或多种恐怖主义行为。我们还为任何给定的 IE 任务定义了一个模板，它是一个（或一组）案例框架，用于保存单个文档中包含的信息。对于恐怖主义的例子，一个模板应该有与恐怖主义行为的肇事者、受害者和武器相对应的位置，以及事件发生的日期。针对这个问题的 IE 系统需要“理解”一篇关于恐怖袭击的文章，找到与此模板中角色相对应的数据。
@@ 第54行： / 第54行： @@
 ** 事件提取: 给定一个输入文档，输出零个或多个事件模板。例如，一篇报纸文章可能描述了多起恐怖袭击。
 * 知识库填充: 填充给定一组文件的事实数据库。通常数据库是三元组的形式，例如: 实体1，关系，实体2。
-** 命名实体识别: 利用现有的领域知识或从其他句子中提取的信息，识别已知的实体名称(用于人和组织)、地名、时间表达式和某些类型的数字表达式<ref name="ecir2019">{{cite conference| author= Dat Quoc Nguyen and Karin Verspoor  | title=End-to-end neural relation extraction using deep biaffine attention | book-title=Proceedings of the 41st European Conference on Information Retrieval (ECIR)| year=2019 |doi=10.1007/978-3-030-15712-8_47| arxiv=1812.11275}}</ref> 。一般来说，识别任务需要将一个唯一标识符分配给提取的实体。一个简单的任务是命名实体检测，其目的是检测实体没有任何实体实例的现有知识。例如，在处理”Smith先生喜欢捕鱼”一句时，命名实体检测将表示检测到”Smith先生”一词确实指的是一个人，但不一定了解(或使用)某个史密斯先生，他就是(或”可能是”)该句所指的具体人。
+** 命名实体识别: 利用现有的领域知识或从其他句子中提取的信息，识别已知的实体名称（用于人和组织）、地名、时间表达式和某些类型的数字表达式<ref name="ecir2019">{{cite conference| author= Dat Quoc Nguyen and Karin Verspoor  | title=End-to-end neural relation extraction using deep biaffine attention | book-title=Proceedings of the 41st European Conference on Information Retrieval (ECIR)| year=2019 |doi=10.1007/978-3-030-15712-8_47| arxiv=1812.11275}}</ref> 。一般来说，识别任务需要将一个唯一标识符分配给提取的实体。一个简单的任务是命名实体检测，其目的是检测实体没有任何实体实例的现有知识。例如，在处理”Smith先生喜欢捕鱼”一句时，命名实体检测将表示检测到”Smith先生”一词确实指的是一个人，但不一定了解（或使用）某个Smith先生，他就是（或”可能是”）该句所指的具体人。
 ** 共指消解: 检测文本实体之间的共指和回指链接。在 IE 任务中，这通常局限于查找以前提取的命名实体之间的链接。例如，“ International Business Machines”和“ IBM”指的是相同的实际实体。如果我们把这两个句子取为“Smith先生喜欢钓鱼。但是他不喜欢骑自行车”，共指消解指能够发现“他”指的是先前被发现的人“ M.Smith”。
 ** 关系抽取: 识别实体之间的关系<ref name="ecir2019" /> ，例如:
@@ 第110行： / 第110行： @@
 * 文本工程通用体系结构（GATE）捆绑了一个免费信息抽取系统
 * Apache OpenNLP 是一个用于自然语言处理的 Java 机器学习工具包
-* OpenCalais 是来自 Thomson Reuters 的一个自动化的信息抽取网络服务(免费限制版本)
+* OpenCalais 是来自 Thomson Reuters 的一个自动化的信息抽取网络服务（免费限制版本）
 * Machine Learning for Language Toolkit（Mallet）是一个用于各种自然语言处理任务的基于 Java 的软件包，包括信息抽取。
 * DBpedia Spotlight 是 Java/Scala 中的一个开源工具（以及免费的 web 服务），可用于命名实体识别和名称解析。

@@ 第168行： / 第168行： @@
 ----
-本中文词条由[[用户:煜行|煜行]]编辑，[[用户:Vicky|Vicky]]、[[用户:Thingamabob|Thingamabob]]审校，[[用户:薄荷|薄荷]编辑，欢迎在讨论页面留言。
+本中文词条由[[用户:林登万|林登万]]审校，[[用户:薄荷|薄荷]编辑，欢迎在讨论页面留言。
 '''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''

@@ 第149行： / 第149行： @@
 ==编辑推荐==
-[[File:产学结合_爱奇艺.jpg|right|200px]]
+[[File:产学结合_爱奇艺.jpg|right|thumb|300px]]
 ====知识抽取与挖掘====
 知识图谱的意义在于构筑行业的场景数据模型，帮助发现和学习数据之间的关联规律，理解事物全貌，赋能各行各业的智能化发展。知识图谱需要庞大的数据作为支持，大规模知识库的构建与应用需要多种技术的支持。通过知识提取技术，可以从一些公开的网络半结构化、非结构化数据和结构化数据库的数据中提取出实体、关系、属性等知识要素。

@@ 第149行： / 第149行： @@
 ==编辑推荐==
-===集智相关文章===
+[[File:产学结合_爱奇艺.jpg|right|200px]]
-====[https://swarma.org/?p=8233  讲座笔记分享：深度学习在自然语言处理中的应用]====
+====知识抽取与挖掘====
-AI界著名学者兼实践者、深度好奇公司CTO吕正东博士「深度学习与自然语言（NLP）处理」所做报告。报告深入浅出，很适合快速系统了解这一领域的基础框架和最新动态。报告涉及的自然语言处理是AI领域热门而前沿的问题，其中众多术语从一线实践中产生，很多还没有恰切的中文翻译，需要结合语境理解。
+知识图谱的意义在于构筑行业的场景数据模型，帮助发现和学习数据之间的关联规律，理解事物全貌，赋能各行各业的智能化发展。知识图谱需要庞大的数据作为支持，大规模知识库的构建与应用需要多种技术的支持。通过知识提取技术，可以从一些公开的网络半结构化、非结构化数据和结构化数据库的数据中提取出实体、关系、属性等知识要素。
-* 人工智能中联结主义与符号主义的融合
+知识抽取，即从不同来源、不同结构的数据中进行知识提取，形成知识(结构化数据)存入到知识图谱。知识挖掘是指从数据中获取实体及新的实体链接和新的关联规则等信息。主要的技术包含实体的链接与消歧、知识规则挖掘、知识图谱表示学习等。其中实体链接与消歧为知识的内容挖掘，知识规则挖掘属于结构挖掘，表示学习则是将知识图谱映射到向量空间而后进行挖掘。
-* 语言学习的新范式
+* [https://campus.swarma.org/course/857 知识抽取与挖掘——术语&实体]
 ====[https://campus.swarma.org/course/807 自然语言处理入门]====
 课程对基本的自然语言处理进行了学习规划于介绍，并带你入门自然语言处理。

←上一版本		2021年8月28日 (六) 11:37的版本
第148行：		第148行：


		+	==编辑推荐==
		+	===集智相关文章===
		+	====[https://swarma.org/?p=8233 讲座笔记分享：深度学习在自然语言处理中的应用]====
		+	AI界著名学者兼实践者、深度好奇公司CTO吕正东博士「深度学习与自然语言（NLP）处理」所做报告。报告深入浅出，很适合快速系统了解这一领域的基础框架和最新动态。报告涉及的自然语言处理是AI领域热门而前沿的问题，其中众多术语从一线实践中产生，很多还没有恰切的中文翻译，需要结合语境理解。
		+
		+
		+	====[https://swarma.org/?p=8250 深度学习在自然语言处理中的应用]====
		+	AI界大神吕博士与我们简要讨论了一下深度学习在自然语言处理中的最近研究状况，还将分享他对语言智能几个重要问题的想法，包括：
		+
		+	* 人工智能中联结主义与符号主义的融合
		+
		+	* 语言学习的新范式
		+
		+
		+	===集智相关课程===
		+	[[File:产学结合_爱奇艺.jpg\|right\|200px]]
		+	====[https://campus.swarma.org/course/807 自然语言处理入门]====
		+	课程对基本的自然语言处理进行了学习规划于介绍，并带你入门自然语言处理。
		+
		+
		+	====[https://campus.swarma.org/course/807 产学结合：自然语言处理及其应用]====
		+	本课程中，讲解自然语言处理的最新学术理论与业界实践，涉及语言模型、机器翻译、情感分析、文本理解、文本生成五大主题。
		+
		+
		+	----
		+	本中文词条由[[用户:煜行\|煜行]]编辑，[[用户:Vicky\|Vicky]]、[[用户:Thingamabob\|Thingamabob]]审校，[[用户:薄荷\|薄荷]编辑，欢迎在讨论页面留言。
		+
		+	'''本词条内容源自wikipedia及公开资料，遵守 CC3.0协议。'''


	[[Category:自然语言处理]]		[[Category:自然语言处理]]
	[[Category:人工智能]]		[[Category:人工智能]]

←上一版本		2021年8月28日 (六) 11:33的版本
第84行：		第84行：


−	最近的一个发展是基于视觉信息的信息抽取<ref name=":3">{{cite arXiv\|eprint = 1506.08454\|title=WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Information Extraction\|first1=Vijil \|last1=Chenthamarakshan\|first2=Prasad M \|last2=Desphande \|first3= Raghu \|last3=Krishnapuram \|first4= Ramakrishnan \|last4=Varadarajan \|first5= Knut \|last5=Stolze\|year=2015\|class=cs.CL}}</ref><ref name=":4">{{cite ~~document~~\|citeseerx = 10.1.1.21.8236\|title=Visual Web Information Extraction with Lixto\|first1=Robert \|last1=Baumgartner\|first2=Sergio \|last2=Flesca \|first3= Georg \|last3=Gottlob\|year=2001\|pages=119–128}}</ref> ，它依赖于在浏览器中渲染网页，并根据渲染网页中区域的接近程度创建规则。这有助于从复杂的网页中提取实体，这些网页可能表现出一种视觉模式，但在 HTML 源代码中缺乏一种可识别的模式。	+	最近的一个发展是基于视觉信息的信息抽取<ref name=":3">{{cite arXiv\|eprint = 1506.08454\|title=WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Information Extraction\|first1=Vijil \|last1=Chenthamarakshan\|first2=Prasad M \|last2=Desphande \|first3= Raghu \|last3=Krishnapuram \|first4= Ramakrishnan \|last4=Varadarajan \|first5= Knut \|last5=Stolze\|year=2015\|class=cs.CL}}</ref><ref name=":4">{{cite paper\|citeseerx = 10.1.1.21.8236\|title=Visual Web Information Extraction with Lixto\|first1=Robert \|last1=Baumgartner\|first2=Sergio \|last2=Flesca \|first3= Georg \|last3=Gottlob\|year=2001\|pages=119–128}}</ref> ，它依赖于在浏览器中渲染网页，并根据渲染网页中区域的接近程度创建规则。这有助于从复杂的网页中提取实体，这些网页可能表现出一种视觉模式，但在 HTML 源代码中缺乏一种可识别的模式。

		+	<br>

	==方法==		==方法==

@@ 第61行： / 第61行： @@
 * 半结构化信息抽取，它是试图恢复某种信息结构的信息抽取方法的统称，这种信息结构在发布过程中已经丢失，例如:
 ** 表提取: 从文档中查找和提取表<ref name=":9">{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = A framework for information extraction from tables in biomedical literature | journal = International Journal on Document Analysis and Recognition (IJDAR) | volume = 22 | issue = 1 | pages = 55–78 | date = February 2019 | doi = 10.1007/s10032-019-00317-0 | arxiv = 1902.10031 | bibcode = 2019arXiv190210031M }}</ref><ref name=":10">{{cite thesis |type=PhD |last=Milosevic |first=Nikola |date=2018 |title=A multi-layered approach to information extraction from tables in biomedical documents |publisher=University of Manchester | url=https://www.research.manchester.ac.uk/portal/files/70405100/FULL_TEXT.PDF}}</ref>。
-** 表信息抽取: 以结构化方式从表中提取信息。这比表格提取更复杂，因为表格提取只是第一步，而理解单元格、行、列的角色、表格内信息的链接和理解表格中的信息是表格/信息抽取所必需的额外任务。<ref>{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = A framework for information extraction from tables in biomedical literature | journal = International Journal on Document Analysis and Recognition (IJDAR) | volume = 22 | issue = 1 | pages = 55–78 | date = February 2019 | doi = 10.1007/s10032-019-00317-0 | arxiv = 1902.10031 | bibcode = 2019arXiv190210031M | s2cid = 62880746 }}</ref><ref>{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = Disentangling the structure of tables in scientific literature | journal = 21st International Conference on Applications of Natural Language to Information Systems | series = Lecture Notes in Computer Science | volume = 21  | date = June 2016 | pages = 162–174 | doi = 10.1007/978-3-319-41754-7_14  | url = https://www.research.manchester.ac.uk/portal/en/publications/disentangling-the-structure-of-tables-in-scientific-literature(473111c2-52e9-493a-be8c-1a78c5b7ce36).html }}</ref><ref>{{cite thesis |type=PhD |last=Milosevic |first=Nikola |date=2018 |title=A multi-layered approach to information extraction from tables in biomedical documents |publisher=University of Manchester | url=https://www.research.manchester.ac.uk/portal/files/70405100/FULL_TEXT.PDF}}</ref>
+** 表信息抽取: 以结构化方式从表中提取信息。这比表格提取更复杂，因为表格提取只是第一步，而理解单元格、行、列的角色、表格内信息的链接和理解表格中的信息是表格/信息抽取所必需的额外任务。<ref>{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = A framework for information extraction from tables in biomedical literature | journal = International Journal on Document Analysis and Recognition (IJDAR) | volume = 22 | issue = 1 | pages = 55–78 | date = February 2019 | doi = 10.1007/s10032-019-00317-0 | arxiv = 1902.10031 | bibcode = 2019arXiv190210031M}}</ref><ref>{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = Disentangling the structure of tables in scientific literature | journal = 21st International Conference on Applications of Natural Language to Information Systems | series = Lecture Notes in Computer Science | volume = 21  | date = June 2016 | pages = 162–174 | doi = 10.1007/978-3-319-41754-7_14  | url = https://www.research.manchester.ac.uk/portal/en/publications/disentangling-the-structure-of-tables-in-scientific-literature(473111c2-52e9-493a-be8c-1a78c5b7ce36).html }}</ref><ref>{{cite thesis |type=PhD |last=Milosevic |first=Nikola |date=2018 |title=A multi-layered approach to information extraction from tables in biomedical documents |publisher=University of Manchester | url=https://www.research.manchester.ac.uk/portal/files/70405100/FULL_TEXT.PDF}}</ref>
 ** 注释提取: 从文章的实际内容中提取注释，以恢复每个句子的作者之间的联系
 * 语言和词汇分析

@@ 第60行： / 第60行： @@
 *** 人（PERSON）所处位置（LOCATION）（摘自“Bill在法国”这句话。）
 * 半结构化信息抽取，它是试图恢复某种信息结构的信息抽取方法的统称，这种信息结构在发布过程中已经丢失，例如:
-** 表提取: 从文档中查找和提取表<ref name=":9">{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = A framework for information extraction from tables in biomedical literature | journal = International Journal on Document Analysis and Recognition (IJDAR) | volume = 22 | issue = 1 | pages = 55–78 | date = February 2019 | doi = 10.1007/s10032-019-00317-0 | arxiv = 1902.10031 | bibcode = 2019arXiv190210031M | s2cid = 62880746 }}</ref><ref name=":10">{{cite thesis |type=PhD |last=Milosevic |first=Nikola |date=2018 |title=A multi-layered approach to information extraction from tables in biomedical documents |publisher=University of Manchester | url=https://www.research.manchester.ac.uk/portal/files/70405100/FULL_TEXT.PDF}}</ref>。
+** 表提取: 从文档中查找和提取表<ref name=":9">{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = A framework for information extraction from tables in biomedical literature | journal = International Journal on Document Analysis and Recognition (IJDAR) | volume = 22 | issue = 1 | pages = 55–78 | date = February 2019 | doi = 10.1007/s10032-019-00317-0 | arxiv = 1902.10031 | bibcode = 2019arXiv190210031M }}</ref><ref name=":10">{{cite thesis |type=PhD |last=Milosevic |first=Nikola |date=2018 |title=A multi-layered approach to information extraction from tables in biomedical documents |publisher=University of Manchester | url=https://www.research.manchester.ac.uk/portal/files/70405100/FULL_TEXT.PDF}}</ref>。
 ** 表信息抽取: 以结构化方式从表中提取信息。这比表格提取更复杂，因为表格提取只是第一步，而理解单元格、行、列的角色、表格内信息的链接和理解表格中的信息是表格/信息抽取所必需的额外任务。<ref>{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = A framework for information extraction from tables in biomedical literature | journal = International Journal on Document Analysis and Recognition (IJDAR) | volume = 22 | issue = 1 | pages = 55–78 | date = February 2019 | doi = 10.1007/s10032-019-00317-0 | arxiv = 1902.10031 | bibcode = 2019arXiv190210031M | s2cid = 62880746 }}</ref><ref>{{cite journal | vauthors = Milosevic N, Gregson C, Hernandez R, Nenadic G | title = Disentangling the structure of tables in scientific literature | journal = 21st International Conference on Applications of Natural Language to Information Systems | series = Lecture Notes in Computer Science | volume = 21  | date = June 2016 | pages = 162–174 | doi = 10.1007/978-3-319-41754-7_14 | isbn = 978-3-319-41753-0 | url = https://www.research.manchester.ac.uk/portal/en/publications/disentangling-the-structure-of-tables-in-scientific-literature(473111c2-52e9-493a-be8c-1a78c5b7ce36).html }}</ref><ref>{{cite thesis |type=PhD |last=Milosevic |first=Nikola |date=2018 |title=A multi-layered approach to information extraction from tables in biomedical documents |publisher=University of Manchester | url=https://www.research.manchester.ac.uk/portal/files/70405100/FULL_TEXT.PDF}}</ref>
 ** 注释提取: 从文章的实际内容中提取注释，以恢复每个句子的作者之间的联系
@@ 第74行： / 第74行： @@
 非文本文档的信息抽取正成为一个越来越引人注目的研究课题，从多媒体文档中提取的信息现在可以像在文本中一样以高层次的结构表达。这自然导致了从多种文档和资源中提取的信息的融合。
 ==基于万维网的应用==