依靠识别的触发词对质量类型(slot,设计分类器度和胆识别给定的实体与值所属的涉嫌项目

小编:整理201六-20一7年ACL、EMNLP、SIGIOdyssey、IJCAI、AAAI等国际名牌会议中实体关系推理与学识图谱补全的连锁杂文,供自然语言管理研讨人口,越发知识图谱领域的专家参考,如有错误明白之处请提议,不胜感谢!(如需转发,请联系本人:jtianwen2014,并注明出处

实体关系推理与学识图谱补全

如需转发,请联系本人:jtianwen2014,并注明出处

ACL 2016

Unsupervised Person Slot Filling based on Graph Mining 

  • 作者:Dian Yu, Heng Ji 
  • 机构:Computer Science Department, Rensselaer Polytechnic
    Institute 

正文的职务为槽填充(Slot
Filling),即从常见的语言质感库中收取给定实体(query)的被醒目概念的质量(slot
types)的值(slot
fillers)。对于此职务,本文叙述近来主流的方式能够分为两类:有监督的分类方法,设计分类器度和胆识别给定的实业与值所属的涉嫌项目,分类器的锻练往往使用如运动学习、利用距离监督的噪声标注等办法;格局相配方法,从文本中活动或半机关地抽出和生成词法或句法的方式,以用于关系的收取,但因为关乎所抒发的措施差距,那种情势相称方法不可能具备较好的召回率。 

本文认为,以上两类情势都无法儿很好的应对新的语言或是出现新的涉及项目标图景,即移植性不强;而且,二种艺术都只是小心于实体和候选值在此之前的坦荡表示,并不曾考虑到它们中间的全局结构涉及,以及讲话中任何的关联事实的影响。本文主要的算法观念基于以下八个观测: 

  1. 在句子的依存图中,触发词结点(trigger)平常是和实业(query)与值(filler)结点都很相关的,并且是图中的主要节点; 
  2. 当实体(query)与值(filler)结点通过3个关乎鲜明的触发词强涉嫌起来,往往代表存在必然的涉及(slot
    type)。 

依据上述多个着重,本文的提议了一种基于图的槽填充的方法:首先,利用简易的启发式规则,从句子中分辨出候选实体与属性值;然后,对此给定候选实体与属性值对,利用PageRank图算法和AP(Affinity
Propagation)聚类算法自动识别触发词
;最终,依照识别的触发词对品质类型(slot
type)进行分类。本文首要的思辨在于,以属性触发词为切入点进行关联的发掘,将PageRank算法与AP算法引进当中。候选实体与属性值的鉴定分别、属性类型的归类那七个部分接纳了启发式的平整与外部的词典能源。 

Unsupervised Person Slot Filling based on Graph Mining

  • 作者:Dian Yu, Heng Ji 
  • 机构:Computer Science Department, Rensselaer Polytechnic
    Institute 

正文的职分为槽填充(Slot
Filling),即从周围的语言质地库中收取给定实体(query)的被显著概念的质量(slot
types)的值(slot
fillers)。对于此任务,本文叙述近来主流的措施能够分为两类:有监督的分类方法,设计分类器度和胆识别给定的实业与值所属的关联项目,分类器的演习往往选拔如运动学习、利用距离监督的噪声标注等方法;形式相称方法,从文本中自动或半自行地抽出和生成词法或句法的方式,以用来关系的收取,但因为涉及所发挥的主意差别,那种情势相配方法不或许兼而有之较好的召回率。

正文感觉,以上两类措施都无法很好的应对新的言语或是出现新的关联项目标情形,即移植性不强;而且,二种艺术都只是专注于实体和候选值在此以前的坦荡表示,并从未设想到它们中间的全局结构关系,以及讲话中其余的关联事实的熏陶。本文主要的算法理念基于以下五个重点:

  1. 在句子的依存图中,触发词结点(trigger)平日是和实业(query)与值(filler)结点都很相关的,并且是图中的主要节点;
  2. 当实体(query)与值(filler)结点通过三个提到显然的触发词强涉嫌起来,往往代表存在必然的关联(slot
    type)。

依靠上述三个入眼,本文的建议了壹种基于图的槽填充的章程:首先,利用简易的启发式规则,从句子中分辨出候选实体与属性值;然后,对此给定候选实体与属性值对,利用PageRank图算法和AP(Affinity
Propagation)聚类算法自动识别触发词
;最终,依据识其余触发词对性能类型(slot
type)进行分拣。

下图为利用PageRank算法对候选触发词结点打分: 

公海赌船网址 1 

下图为运用AP算法对候选触发词实行聚类(关系触发词恐怕持续八个单词),以选定最后触发词。如下图最终选定“divorced”为尾声触发词。 

公海赌船网址 2 

我:本文主要的企图与立异点在于,以属性触发词为切入点实行关联的掘进,将PageRank算法与AP算法引进当中,将槽填充难题调换为图上的开挖难点。候选实体与属性值的辨识、属性类型的分类那七个部分使用了启发式的平整与外表的词典财富。但那中图发掘的法门,由于采用句法依存与PageRank算法有希望在总结复杂性上设不平常。

Knowledge Base Completion via Coupled Path Ranking 

  • 作者:Quan Wang†, Jing Liu‡, Yuanfei Luo†, Bin Wang†, Chin-Yew
    Lin‡ 
  • 机构†:Institute of Information Engineering, Chinese Academy of
    Sciences 
  • 机构‡:Microsoft Research 

正文的职分为知识库补全,即通过考查知识库中早就存在的实际,自动推理出丢失的事实。本文叙述那项职分的主意大概分为二种: 

  • Path Ranking
    算法(PRA),通过接二连三实体的已有路子来预测实体间的神秘关系; 
  • 依靠表示学习的模子,将实体和涉及映射为空间中的向量,通过空中中向量的演算来进展推导(如TransE); 
  • 可能率图模型,如Marco夫逻辑网络及其衍生物。 

由于PRA方法具备较好的解释性,并且不须求格外的逻辑规则,本文首要运用PRA方法对其革新。在利用PRA举行关联推理时,以后的法门都以在演绎阶段,利用PRA为各种关系独立建立模型,也正是为各类关系学习二个独自的分类器。 

本文的初衷是:若是应用PRA对有个别关乎国有建立模型是还是不是会赢得越来越好的作用,尤其是当那一个关系互动紧凑联系的时候,比方,“出生”和“生长于”那三个事关极有不小可能率联手持有一些关系路线:“国籍->首都”等。诸多研商申明那种多职责学习相比较单职分学习来讲,往往具有更加好的成效。本文提议CPRA的措施,该格局所要消除多个难题:(一)哪些关系需求组合在联合具名学学?(2)如何整合在共同学习?

公海赌船网址,Knowledge Base Completion via Coupled Path Ranking

  • 作者:Quan Wang†, Jing Liu‡, Yuanfei Luo†, Bin Wang†, Chin-Yew
    Lin‡ 
  • 机构†:Institute of Information Engineering, Chinese Academy of
    Sciences 
  • 机构‡:Microsoft Research 

本文的职责为知识库补全,即通过考查知识库中已经存在的事实,自动推理出丢失的真相。本文叙述那项职务的章程差不多分为三种:

  • Path Ranking
    算法(PRA),通过三番五次实体的已有路子来预测实体间的绝密关系;
  • 依赖表示学习的模型,将实体和关联映射为空间中的向量,通过空中中向量的运算来张开推理(如TransE);
  • 概率图模型,如马尔科夫逻辑互联网及其衍生物。

由于PRA方法具备较好的解释性,并且不需求额外的逻辑规则,本文首要使用PRA方法对其修正。在采纳PRA实行关联推理时,以往的措施都是在推演阶段,利用PRA为各种关系独立建立模型,相当于为各样关系学习1个独立的分类器。

正文的初衷是:万一运用PRA对一些关乎国有建立模型是或不是会获取更好的意义,尤其是当这么些关乎相互紧凑联系的时候,比方,“出生”和“生长于”那三个事关极有希望联手持有一些关乎路线:“国籍->首都”等。诸多研讨申明那种多职务学习相比较单任务学习来讲,往往有着更加好的效应。本文建议CPRA的不二等秘书诀,该方法所要解决四个问题:(1)哪些关系须要结合在联合念书?(二)怎样构成在同步读书?

(一)哪些关系供给结合在协同念书?本文建议了一种基于公共路线的貌似度度量方法,并在此基础中校波及聚成差别的组,同组的涉嫌共同学习。公共路线的相似度具体值依靠五个涉及(或簇)的路径交集数量占比。

(二)怎么样构成在一同学学?依循多职务学习的原则,对于联合练习的分类器使用两局地参数,即共享参数和民用参数。共享参数能够呈现相似关系里面包车型地铁得共性,私有参数用于描述分裂关系里面包车型客车性状。那两类参数在演习进度中是一齐学习的。

小编:PRA的点子的利用只怕存在局限,比方对于开放域知识图谱,如Reverb等,其涉嫌项目二种且未事先定义,则比非常的小概对于各种门类练习分类器;而且那种每一个门类练习分类器的措施消耗其实一点都不小,更不方便人民群众给定实体对的涉嫌推理。是不是足以统1为1个分类器,大概不是分类器,而是生成器,生成给定实体对的或是涉嫌,那样就选用于关系项目种类未知的开放域知识图谱。

Commonsense Knowledge Base Completion 

  • 作者:Xiang Li∗‡ Aynaz Taheri† Lifu Tu‡ Kevin Gimpel‡
  • 机构∗:University of Chicago
  • 机构†:University of Illinois at Chicago
  • 机构‡:Toyota Technological Institute at Chicago

正文的天职是常识知识库的补全专门的学业,即依照已有的文化推理预测概念之间心的文化。区别于一般的知识库,如FreeBase,常识知识库ConceptNet的结点主要为短语,而非实体。本文利用神经互联网的方法将ConceptNet中词项向量话表示,对于给定的元组进行打分以博取置信度较高的元组用以补全。

Compositional Learning of Embeddings for Relation Paths in Knowledge Bases and Text

  • 作者:Kristina Toutanova, Xi Victoria Lin∗, Wen-tau Yih, Hoifung
    Poon, Chris Quirk
  • 机构:Microsoft Research
  • 机构∗:University of Washington

本文的职分为知识图谱补全,推理预测实体间暧昧的关联。本文叙述,当前的1对大方将涉嫌路线音信融入到知识库嵌入式表示中,获得了越发醒目的结果。知识库嵌入式表示,指的是将知识库中实体和涉及映射到低维稠密的空间中,知识的演绎转化为实体与涉及所波及的向量或矩阵之间的演算。那种嵌入式的代表,操作花销相当小,推理的频率较高。为了越发进级基于嵌入式表示的关联推理,一些大方将涉及路线音讯融合在那之中。

正文发现,目前的将涉嫌路线融入知识库的嵌入式表示方法存在如下难题:首先,当提到的不贰秘技总类加多时,时间支付十分的大,严重影响推理的效能;此外,近期的秘诀只思考了路线音讯,尚无设想结点的音讯,固然是同一路径,包蕴不一样结点也存有分化的消息。本文建议了壹种动态规划的点子,能够高速地将关联路线融合到知识库的嵌入式表示,并且同时对路径上的涉嫌项目和结点举办表示。

本文以基因调整互联网为例,互联网的节点是基因,边为多少个重要的涉及:正调控、负调节,为了共同代表文本音讯,将基因共现的文本语句的依存关系嵌入到互连网中,所下图所示,中黄边为原互连网的调整提到,石黄边为文本依存新闻:

公海赌船网址 3 

主导的学问图谱嵌入式表示学习的点子是,首先学习实体和涉嫌的向量(或矩阵)表示,然后一用学习到的参数\(\theta\)和函数\(f(s,r,t|\theta)\)为恐怕的伊利组举行打分。个中,双线性模型(BILINEA猎豹CS陆)用矩阵表征关系,向量表征实体,打分函数\(f\)定义为:\(f(s,r,t|\theta)=x_s^{\rm
T}W_rx_t\)。

其余,为了削减参数,本文介绍了另一种模型双线性-对角模型,将要关系矩阵\(W\)替换为对角矩阵。

将波及路线引进嵌入式表示一般有三种办法:(壹)利用关系路线生成扶助的长富组用于磨炼(通过随机游走获得路径,端点实体的涉及用关系路线替代);(二)将关联路线作为特色用于打分,打分函数替换为\(f(s,r,t|\theta,\prod_{s,t})\),\(\prod_{s,t}\)为路线上关系嵌入式表示的加权求和。对于双线性模型,关系路线\(\pi\)的嵌入式表示一般为:\(\Phi_{\pi}=W_{r_1}…W_{r_n}\)。

正文更偏向于第二种艺术,因为其对路线上的关系张开剪枝。本文对\(f(s,r,t|\theta,\prod_{s,t})\)做了详细安顿与定义:用\(F(s,t)\)代表\(\prod_{s,t}\),用\(P(t|s,\pi)\)代表头实体经过路径达到尾实体的可能率,令:\(F(s,t)=\sum_{\pi}w_{|\pi|}P(t|s,\pi)\Phi(\pi)\)。最终\(f(s,r,t|\theta,\prod_{s,t})\)定义为:

\[f(s,r,t)=x^{\rm
T}W_rx_t+vec(F(s,t))^{\rm T}vec(W_r)\]

其中\(F(s,t)\)的乘除时间消耗相当的大,本文通过利用动态规划的方法ALL-PATH高效学习与计量该打分函数,使得能够快速地将波及路线融入到知识库的嵌入式表示,并且还要对路径上的关联项目和结点举行表示。正文用参数\(w_{e_i}\)用于表示对因此实体\(e_i\)路径的熏陶,对于双线性模型:\(\Phi_{\pi}=W_{r_1}tanh(w_{e_1})…W_{r_n}tanh(w_{e_n})\)。用\(F_l(s,t)\)表示实体\(s\)和\(t\)之间长度为\(l\)的路子的加权和,则有:

\[F(s,t)=\sum_{l=1…L}w_lF_l{s,t}\]

其中,\(F_l{s,t}=\sum_{\pi \in
P_l(s,t)}P(t|s,\pi)\Phi_{\pi}\),\(P_l(s,t)\)表示实体\(s\)和\(t\)之间长度为\(l\)的路径。

动态规划算法如下图所示:

公海赌船网址 4 

笔者:本文针对过去融入路径信息的嵌入式表示方法的岁月复杂度举行优化,并参加节点音信,意在高效运算并融合更充裕的音信。本文的方法ALL-PATH在岁月和作用上优化以前的法子。本文的法子的兑现基于的是双线性模型,那里应该只是示例,完全能够将双线性替换为其它模型,那种关系路径集成的思维能够使用于广大已某些嵌入式表示学习形式,所以本文的最大亮点应该在于动态规划的提议,用以高效的乘除。

Compositional Learning of Embeddings for Relation Paths in Knowledge Bases and Text 

  • 作者:Kristina Toutanova, Xi Victoria Lin∗, Wen-tau Yih, Hoifung
    Poon, Chris Quirk
  • 机构:Microsoft Research
  • 机构∗:University of Washington

本文的天职为文化图谱补全,推理预测实体间暧昧的关系。本文叙述,当前的一些我们将关联路径音讯融合到知识库嵌入式表示中,取得了非凡强烈的结果。知识库嵌入式表示,指的是将知识库中实体和涉及映射到低维稠密的空中中,知识的演绎转化为实体与关系所波及的向量或矩阵之间的运算。那种嵌入式的表示,操作花销相当的小,推理的频率较高。为了越发升高基于嵌入式表示的涉嫌推理,一些大家将关乎路线消息融合在那之中。

正文开采,近年来的将关系路线融合知识库的嵌入式表示方法存在如下难点:首先,当提到的门道总类增加时,时间支付非常大,严重影响推理的功用;其余,近来的方式只思索了路线消息,未有设想结点的音信,固然是平等路径,包罗分裂结点也具备分化的消息。本文建议了1种动态编制程序的点子,能够高速地将波及路线融合到知识库的嵌入式表示,并且还要对路线上的涉及项目和结点实行表示。

TransG : A Generative Model for Knowledge Graph Embedding

  • 作者:Han Xiao, Minlie Huang, Xiaoyan Zhu
  • 机构:Dept. of Computer Science and Technology, Tsinghua
    University

正文的天职为知识图谱表示学习,目的在于将文化图谱映射到低维稠密的向量空间里。与今后探讨职业分歧,本文将眼光集中于“多语义关系”,即同一名相的涉嫌大概持有差异的语义含义,如对于涉及“HasPart”,对于实体“桌子”和“桌腿”有那种关涉,对于“大不列颠及英格兰联合王国”和“London”也同样具备如此的涉嫌,但双边所表明的含义却不尽一样。

不断于感性层面上,本文对TransE的学问图谱向量表示实行可视化(PCA降维):收取八种不一样关系,将享有给定关系的实业对向量相减(据TransE理念,能够赢得关系的向量),将结果向测量身体今后贰维空间里。理想状态下,对于种种关系应该只和三个簇一见青睐,但真正的结果是各种关系不断一个簇,而是四个显明分开的簇。那也从另三个角度表达了关系的多语义性质。

本着那1主题素材,本文提议TransG模型,利用贝叶斯非参数Infiniti混合嵌入式表示模型来生成关系的多语义表示。TransG能够自行开掘涉嫌的多语义簇,并且使用关系的掺和语义对实业对进行翻译操作,以拓展关联推理。

正文利用了多少个主要的模型和算法,分别是贝叶斯非参数Infiniti混合嵌入式表示模型中饭店进度算法切实的实业与关系嵌入式表示生成进程如下:

公海赌船网址 5 

通过该进程会赢得开端化的实业与关系向量,长富组的打分函数为:

\[\sum_{m=1}^{M_r}\pi_{r,m}e^{-\frac{||u_h+u_{r,m}-u_t||_2^2}{\sigma_h^2+\sigma_t^2}}\]

分化于未来的艺术,本文对于涉及的描摹越来越细化,对于实体对,能够方便获得多语义关系的总之语义:

\[m_{(h,r,t)}^*=argmax_{m=1…M_r}(\pi_{r,m}e^{-\frac{||u_h+u_{r,m}-u_t||_2^2}{\sigma_h^2+\sigma_t^2}})\]
\[h+u_{r,m_{(h,r,t)}^*}\approx
t\]

学学进程是是的正例的分数不断增加,负例的分数不断压缩,最后收获实体与关系的代表。

小编:本文的切入点是多语义关系存在于知识库中,而从前的模子未有观测并缓慢解决那1题目。本文使用非参数贝叶斯模型,借助CRP算法用于对关乎多语义的辨识与变化。本文主要的贡献在于提议了多语义关系的标题,并依赖CRP消除这一难题。

TransG : A Generative Model for Knowledge Graph Embedding

  • 作者:Han Xiao, Minlie Huang∗, Xiaoyan Zhu
  • 机构:State Key Lab. of Intelligent Technology and Systems
    National Lab. for Information Science and Technology
  • 机构∗:Dept. of Computer Science and Technology Tsinghua
    University

正文的天职为知识图谱表示学习,目的在于将知识图谱映射到低维稠密的向量空间里。与往年探讨工作不相同,本文将眼光聚集于“多语义关系”,即同一名相的关联只怕具有分化的语义含义,如对于涉嫌“HasPart”,对于实体“桌子”和“桌腿”有那种涉及,对于“大不列颠及苏格兰联合王国”和“London”也一致持有如此的关联,但两岸所发布的意思却不尽同样。

连发于感性层面上,本文对TransE的知识图谱向量表示进行可视化(PCA降维):收取二种分化关系,将全体给定关系的实体对向量相减(据TransE观念,能够博得关系的向量),将结果向量呈今后二维空间里。理想状态下,对于每一个关系应该只和2个簇应和,但诚实的结果是种种关系不断一个簇,而是三个引人侧目分开的簇。那也从另2个角度验证了涉嫌的多语义性质。

针对这一难点,本文建议贝叶斯非参数混合嵌入式表示模型,TransG。TransG能够自动开采涉及的多语义簇,并且应用关乎的交集语义对实业对进行翻译操作,以拓展关联推理。

实业链指

A Multi-media Approach to Cross-lingual Entity Knowledge Transfer 

  • 作者:Di Lu1, Xiaoman Pan1, Nima Pourdamghani2, Shih-Fu Chang3,
    Heng Ji1, Kevin Knight2 
  • 机构1:Computer Science Department, Rensselaer Polytechnic
    Institute 
  • 机构2:Information Sciences Institute, University of Southern
    California 
  • 机构3:Electrical Engineering Department, Columbia University 

文本的职务为low-resource语言(LLs)的实业识别,即从LLs的文件中发觉实体。在一些情状下,如突发事件以及自然悲惨时有产生时,我们日常须要营造二个LLs的新闻抽取工具。对于LLs的新闻抽出,其首要的挑衅在于贫乏目的语言的标注数据以及对应的言语管理工科具,一个较为承认的化解方案是:从high-resource语言(HLs)(如马耳他语)文本中收取音信,并拓展文化映射。 

对此突发事件的产生,在LLs和HLs中多次存在着多量的非并发的、领域丰裕的、大旨相关的文本语言材料,如社交媒体。可是只要未有快速的机械翻译才干,就算在HLs中分辨出新闻也是无用。本文开采,在那些文书档案中时常存在着大批量的媒体数据,那一个媒体数据在区别的言语上往往是相似的,如图片、录像,即语言独立的。 

依靠那几个启发,本文以图表为枢纽自动开采内容相似的LLS和HLs文档数据,然后在HLs文档中开始展览实体识别与链指,最终仰仗多媒体的相关才具将结果映射到LLs。基于那些思考,本文建议三个零件:名称标注、跨语言实体链指(CLEL)。 

完整框架包涵八个步骤:(一)应用语言独立的最首要短语抽取方法对LLs文档进行管理,利用这个短语寻找出种子图片,用于进一步搜求相关图片以及带有那个图片的HLs文书档案;(贰)从HLs文书档案中抽出知识,设计学问迁移的法子精炼LLs文档的抽出结果。  

Alleviating Poor Context with Background Knowledge for Named Entity Disambiguation 

  • 作者:Ander Barrena, Aitor Soroa, Eneko Agirre
  • 机构:IXA NLP Group, UPV/EHU University of the Basque Country

正文的任务为实体消歧,将要文本中的名相实体链接到知识库中的实体实例。本文叙述,最近的实业链指的做事办法重要分为两类:(一)mention模型,通过先验可能率对大概的实业实行排序;(二)上下文模型,从左右文中收取特征,实行实体的链指。其余,目前有建议应用上下文中国共产党现的实体来规定目的实体的链指。

正文开采了过去艺术受到低质量上下文的熏陶导致链接战败,大多景况下,上下文所提供的头脑很弱或是有误导的恐怕。本文引进了背景知识来消除低质量上下文的难题。本文首要引进了两部分背景知识:(1)和目标实体具有相似布满的实体(本文利用word二vec);(二)利用上下文的句法依存关系,引进依存的偏好,如上下文中的“visit
to”和目的实体有动宾关系,与“visit
to”具备动宾关系的重若是地名,所以目的实体很大概是地名。

因果预计

Identifying Causal Relations Using Parallel Wikipedia Articles 

  • 作者:Kathleen McKeown, Christopher Hidey
  • 机构:Department of Computer Science, Columbia University

正文的职责为识别句中提醒因果关系的短语,并对其张开份分类。因果关系的检查实验是一项13分困难的职务。首先,大许多的报应关系都以隐式表明的,那须求有的背景知识展开推导才能搜查缴获;其次,就算对于显式表明的报应,其发挥的法子也是八种四种。在PDTB中,有拾二种显式语篇关系makers,个中有2八种提示因果关系,如“because”、“as
a
result”等。PDTB的钻研学者发掘了开放的makers存在,将其称为Altlex,当中提醒因果关系的包含如“This
may help explain why”、“This activity
produced”等开放式的表明格局。对于因果关系,展现maker s能够以较高的正确率被识别,但却很少;隐式makers较多的留存于语句中,但毋庸置疑辨别,Altlex则在于那二者之间:由于其转移二种,所以甄别起来较为困难,但Altlex的出现也使得因果关系的辨认情形可以有进级空间。

数据的缺乏是因果识别的关键难点。无监督学习的精确率极低,而监察和控制学习又要求多量的陶冶多少已达成较高的找汇率。本文利用维基百科平行语言质地识别出新的因果关系makers,这一个makers也是已知makers的变种,进而通过距离监督创建陶冶语言质地。利用开放的makers和上下文特征磨炼出因果分类器。

相关文章