但准确率与召回率比较嵌入式表示学习的章程存在逆风局,句法依存树在涉及分类的职务上是很有价值的

小编:整理2016-前年ACL、EMNLP、SIGIR、IJCAI、AAAI等国际资深会议中实体关系推理与学识图谱补全的相关故事集,供自然语言处理商讨人士,越发知识图谱领域的我们参考,如有错误通晓之处请提出,不胜感激!(如需转载,请联系我:jtianwen2014,并注明出处

作者:整理2016-二零一七年ACL、EMNLP、SIGIR、IJCAI、AAAI等国际闻名会议中实体关系推理与文化图谱补全的相干杂谈,供自然语言处理商量人员,越发知识图谱领域的学者参考,如有错误领悟之处请提出,不胜感激!(如需转发,请联系自己:jtianwen2014,并注明出处

ISGIR 2016

EMNLP 2016

Hierarchical Random Walk Inference in Knowledge Graphs

  • 作者:Qiao Liu, Liuyi Jiang, Minghao Han, Yao Liu, Zhiguang Qin
  • 机构:School of Information and Software Engineering, University
    of Electronic Science and Technology of China

——–诗歌掠影——–

本文面向的义务是根据知识图谱的关联推理。本文通过相比考察PRA方法和TransE方法在论及推理上的推行效果并分析原因,在PRA基础上提议层次的轻易游走算法HiRi进行实体关系推理。

正文首先叙述了根据知识图谱的关系推理的连锁工作,大体分为两种方法:首先是统计关系学习方式(SRL),如Marco夫逻辑网络、贝叶斯互连网,但这类方发须求规划相应的条条框框,因而并未很好的增加性和泛化性;嵌入式表示的艺术,意在将实体和事关映射为空间中的向量,通过空中中向量的运算来进展推理(如TransE),该方式赢得了较好的准确率,但分布式表示的解释性不强,其余,较难落到实处并行计算;基于关系路径特征的任性游走模型,该措施可以展开并行计算,具有较好的施行功用,但准确率与召回率相比较嵌入式表示学习的章程存在劣势。正文的想法是:是或不是可以安顿算法同时落到实处自由游走模型的实施效能以及保留嵌入式表示学习方法的准确率?

——–方法介绍——–

正文对TransE方法(嵌入式表示学习的象征)和PRA方法(随机游走模型的代表)进行相比较,在一对多、一对一、多对多、多对一那四类关系上拓展自查自纠分析:

威尼斯人官网 1

对待发现:在1:M关系上,PRA远不如TransE;但在M:1事关上,两者很接近。有此现象,正文的率先个假使认为可以将知识图谱看做无向图,以此来避开1:M关系上的弱势。

其余,PRA方法在M:M关系上也只达到了TrasnE方法效果的一半,本文认为那表达了PRA在多对多关系上抽取的途径特征并没有丰盛地应用多对多关系发生的簇中的接连新闻(文中有举例表明那点)。比较而言,嵌入式学习的点子由于将知识图谱全局音讯编码到向量空间里,所以可以丰裕利用到那种音讯。

在采纳多对多推理关系时,常常会用到事关的反向,即从尾实体到头实体的趋势,那种推离的方法可以行使odd-hop随机游走模型来建模,基于此本文的第一个即使是:怀有拓扑结构的关系鲜明的簇可能会含有对推理很有协助的音讯,那么,基于关系学习算法的即兴游走可以增长推理能力。 

正文提出了一种层次化推理的架构,共分为多个部分:全局推理、局地推理、推理结果融合,结构框图如下:

威尼斯人官网 2

大局推理是使用PRA算法举行推导,以得到伊利组成立的几率\(f(h,r_i,t)\);一部分推理时在一定关系的子图(簇)上计算一个3跳的几率矩阵,以博取存在可能该关系的伊利组几率\(g(h,r_i,t)\),由于是在一个簇上举行的,那是一个有的的演绎。兵多将广的长河是行使一个线性模型对两部分的几率融合,以取得终极的几率。

作者:本文通过分析PRA与TransE的在不同品类涉及上的出入,提议了七个比方,并在此基础上指出层次化的推理方法HiRi,即在全局和一部分分别开展关联推理,最后融合在一齐得到推理结果。本文在第三个比方的提出上未曾交给太多显然的解说,所举的例子和该如果的提议在力促关系上稍加牵强,小编未理清思路。其余,3跳的原委是不是来自于“关系-关系反向-关系”路径,即3跳回到原关系?对于假使一,将关系当做无向的,会带来如何不良后果?前人是或不是有那方面的研讨?

A Position Encoding Convolutional Neural Network Based on Dependency Tree for Relation Classification

  • 作者:Yunlun Yang, Yunhai Tong, Shulei Ma, Zhi-Hong Deng
  • 机构:School of Electronics Engineering and Computer Science,
    Peking University

本文的天职为涉嫌分类,即对于给定句子中的给定实体对展开关联分类。本文叙述,传统特色选拔的不二法门严重依赖于特征的品质以及词语资源,为了达到最优往往需求耗时的人工拔取特征子集。基于核函数的法子即使不要选拔特征,但仍需精心设计的核函数并具有较大的计量开支。近期,随着神经互联网的起来,深度学习所提供的端到端的方法被接纳于广大经典的自然语言处理难点。RNN和CNN已经被注解对涉及分类具有极大帮忙。

而是,一些商量工作注脚传统的特征对于涉嫌分类的神经互连网方法仍有增高功用,可以提供更加多的音讯。一个简短而有效的法门是将词语级的特色和神经互连网获取的风味简单组合(一般是连接起来),组合后的表示输入到分类器。另一种越发扑朔迷离的艺术是基于句子的句法依存树调整神经网络的布局,取得了较好的功用。

正文认为,句法依存树在关系分类的任务上是很有价值的。正文发现实体对间的并存路径对涉及分类更有价值,比较于完全句子的存活路径,由于其现有路径的离开往往小于句子的水土保持路径距离,剪枝后的实业间依存路径裁减了成百上千噪音音讯。为了更好的拔取句法依存所提供的言语学文化,本文提议了按照句法依存树和的岗位编码卷积神经网络方法PECNN。方法的历程图如下:

威尼斯人官网 3 

各类词的象征由两有些组成:词向量、该词的依存树地点特征。岗位特征的取得紧要考虑是将离散的义务映射到实数向量,它和词向量相似,只然而是将词替换为离散的距离。正文提议了二种情势来定义依存树中的地点特征TPF1、TPF2。TPF1中中距离定义为眼前词到目的实体的最短路径中依存弧的个数,映射格局和PF相同,即区其他偏离随机开端化一个定位维度的向量,操练的历程中上学。一个词到实体的最短路径可以划分为七个子路径:被压低祖先节点分割,TPF2则将偏离用二元组表示,分别代表多少个子路径的长短。下图是逐一词语到实体Convulsions的TPF1与TPF2:

威尼斯人官网 4 

杰出的CNN的一个卷积窗口每一回得到当前词的临近上下文词语作为输入,在本文中为了足够利用树结构信息,本文将眼前词的父节点和子节点作为作为其临近上下文输入到卷积窗口,相应的正文对卷积核也做了改动,拔取了二种卷积核:Kernel-1、Kernel-2,具体定义见散文。其中Kernal-1意在从依存树中多层次抽取特征,而Kernel-2专注于发掘共享父节点的词之间的语义音讯。七个核函数的高低均取3。最终将Kernel-1、Kernel-2分别池化并拼接在一起作为CNN输出。

小编:本文利用卷积神经网络对实体关系展开归类,立异性地将依存树作为输入,将词在树中的地方新闻嵌入式表示并拼接到词向量中一起学习,同时,本文对CNN面向树结构设计了超常规的卷积核。本文提出的方式在实业关系分类任务上,相比于未利用地方音讯的CNN和LSTM取得了进一步进步。在试行中本文也将POS等特色融入PECNN,也赢得了较好的结果。但文中就像是未深究卷积核设计对结果的震慑,面向树结构的卷积核的布署是不是是本文独立提议的?读者可参照文中参考文献探寻一下。

IJCAI 2016

Jointly Embedding Knowledge Graphs and Logical Rules

  • 作者:Shu Guo, Quan Wang, Lihong Wang§, Bin Wang, Li Guo
  • 机构:Institute of Information Engineering, Chinese Academy of
    Sciences

本文的职务为文化图谱表示学习,本文提议逻辑规则蕴涵丰富的背景新闻,但始终不曾很好的在文化图谱表示学习的义务上被切磋。本文指出KALE的章程,将文化图谱与逻辑规则举办共同嵌入表示学习。

前边有学者同时采纳知识表示方法和逻辑规则,但二者是分离建模的,那也使得尚未得到更好的嵌入式表示。Rocktaschel
et al.
(2015)
提议协同模型将一阶逻辑融入嵌入式表示,但这项工作专注于关系分类,对实业对举行停放表示仅创设一个向量表示,而不是实体拥有各自的表示。

KALE方法可分为多少个部分:安慕希组建模、逻辑规则建模,以及一同学习。一个完好的主意框图如下图所示:

威尼斯人官网 5 

对此长富组建模部分选拔简便的翻译模型(TransE衍生)完结,具体的打分函数如下:

\[I(e_i, r_k, e_j)=1-\frac {1}{s\sqrt
{d}}||\mathbf{e}_i+\mathbf{r}_k-\mathbf{e}_j||_1\]

对此逻辑规则建模部分,本文使用t-norm模糊逻辑(t-norm fuzzy
logics),本文首要考虑两连串型的逻辑:第一类是:\(\forall x,y: (x,r_s,y)\Rightarrow
(x,r_t,y)\),给定\(f\triangleq
(e_m,r_s,e_n)\Rightarrow
(e_m,r_t,e_n)\),置信度的计量如下:

\[I(f)=I(e_m,r_s,e_n)\cdot
I(e_m,r_t,e_n)-I(e_m,r_s,e_n)+1\]

其中,\(I(\cdot ,\cdot
,\cdot)\)是三元组建模时的置信度函数。

第二类是:\(\forall x,y,z:
(x,r_{s1},y)\land (y,r_{s2},z)\Rightarrow
(x,r_t,z)\),给定\(f\triangleq
(e_l,r_{s1},e_m)\land (e_m,r_{s2},e_n)\Rightarrow
(e_l,r_t,e_n)\),置信度的揣测如下:

\[I(f)=I(e_l,r_{s1},e_m)\cdot
I(e_m,r_{s2},e_n)\cdot I(e_l,r_t,e_n)-I(e_l,r_{s1},e_m)\cdot
I(e_m,r_{s2},e_n)+1\]

共同学习的进程同样是时整治安慕希组的置信度远当先负例安慕希组的置信度。

值得注意的是,尽管规则唯有二种,但为了利用于实际必须找到规则的关联实例,为了化解人工的下压力,本文使用了半自行的艺术社团规则关系实例。其艺术是,先是使用TransE学习到实体和事关的表示,为可能存在那五个逻辑规则的实业关系总括置信度,然后开展排序,进而拔取切合逻辑规则的实业关系实例。局地实例如下:

威尼斯人官网 6 

作者:本文提议将逻辑规则融入文化图谱嵌入式表示学习的措施,并且逻辑规则和伊利组的求学是联名开展的。方法进步的瓶颈就像在逻辑规则的接纳与实例的构造上,本文使用了本活动的点子营造,固然这一部分并非本文重点,但真的该措施是够有效可以选用于大规模知识图谱的要害,本文对FB15K营造了47个规则实例,但对于常见知识图谱那些规则还远远不够,那种规则的办法存在移植性的标题,是或不是可以设想拔取随机游走获取此类逻辑规则,类似PRA中使用的法门。此外,将涉嫌路径融入表示学习的方法和本文的办法比较类似,实质上都是行使关系路径去演绎关系。

From One Point to A Manifold: Knowledge Graph Embedding For Precise Link Prediction

  • 作者:Han Xiao, Minlie Huang, Xiaoyan Zhu
  • 机构:Dept. of Computer Science and Technology, Tsinghua
    University

——–杂谈掠影——–

正文提出:眼前已有些文化表示学习形式不可以落实规范链接预测,本文认为有多少个原因促成了本场景的面世:ill-posed
algebraic problem
adopting an overstrict geometric form

里面,ill-posed algebraic
problem指的是:一个方程组中的方程式个数远高于变量个数。本文以翻译模型为代表叙述这一标题。翻译的目的是,对知识库的安慕希组的嵌入式表示满意\(\boldsymbol {\rm
{h_r+r=t_r}}\),假设安慕希组的数据为\(T\),嵌入式表示的维度为\(d\),那么一共有\(T*d\)个方程式,而所急需上学的变量一共有\((E+R)*d\),其中\(E,R\)表示实体和关联项目标数目。由于安慕希组的数码远大于实体和涉嫌项目标数额,那么那种翻译模型存在严重的ill-posed
algebraic problem难点。

对于一个ill-posed
algebraic系统,所求得的解常常是不确切且不平静的
,那也多亏以往艺术不可能进展精确链接预测的来头之一。为此,本文提议一个基于流形(manifold)的准绳,用\(\mathcal{M}(\boldsymbol {\rm
{h,r,t}})=D_r^2\)用来代表\(\boldsymbol {\rm
{h_r+r=t_r}}\),其中\(\mathcal{M}\)是流形函数。

别的,对于TransE的艺术,对于给定的头实体和事关,应用于\(\boldsymbol {\rm
{h+r=t}}\),所获取的尾实体大致是一个点,那对于多对多涉及而言肯定是不正确的,那是一种overstrict
geometric
form。前人的有些格局如TransH、TransR将实体和涉及映射到一些与关系有关的子空间中来缓解这一题材,但是,那种难题在子空间中依然存在。这种过于严刻的样式或导致引入大批量的噪音元素,在链接预测的经过中不可以准确预测。

正如图所示,越接近圆心组成正确伊利组的可能性越大,灰色为不易的答案,黑色为噪声,其中TransE的法子无法很好地分别,而本文提议的ManifoldE可以很好的区分噪声数据。

威尼斯人官网 7

——–方法介绍——–

正文提议用\(\mathcal{M}(\boldsymbol {\rm
{h,r,t}})=D_r^2\)用来代表\(\boldsymbol {\rm
{h_r+r=t_r}}\),其中\(\mathcal{M}\)是流形函数。打分函数定义为:

\[f_r(h,t)=||\mathcal{M}(h,r,t)-D_r^2||^2\]

对于\(\mathcal{M}\)的概念,其中一种以球体为流形。即对于给定头实体和关联项目,尾实体在向量空间中遍布在以\(\boldsymbol {\rm
{h+r}}\)为球心的球面上,此时:

\[\mathcal{M}(h,r,t)=||\boldsymbol {\rm
{h+r-t}}||_2^2\]

此处的向量可以选取Reproducing Kernel Hilbert Space
(RKHS)映射到Hilbert空间,以更便捷地特色流形。

威尼斯人官网 8

考虑到球体不易相交,而这或者造成一些实体的损失,本文叙述可以以超平面为流形。即对于给定头实体和涉嫌项目,尾实体位于以\((\boldsymbol {\rm {h+r_{head}}})^{\rm
{T}}\)为主旋律、偏移量与\(D_r^2\)相关的超平面上。在空间中,只要三个法向量不平行,那三个超平面就会有相交。流形函数定义如下:

\[\mathcal{M}(h,r,t)=(\boldsymbol {\rm
{h+r_{head}}})^{\rm {T}}(\boldsymbol {\rm {t+r_{tail}}})\]

正文叙述为了增添给定头实体和事关推理出确切的尾实体数量,对向量相对值化:

\[\mathcal{M}(h,r,t)=|\boldsymbol {\rm
{h+r_{head}}}|^{\rm {T}}|\boldsymbol {\rm {t+r_{tail}}}|\]

其中,\(|\boldsymbol {\rm
{w}}|=(|w_1|,|w_2|,|w_3|,…,|w_n|)\)。

对于过去格局存在的ill-posed难点,本文的办法对其较好地解决。以球形为例,本文对于每个伊利组只对应一个等式:\(\sum_{i=1}^{d}(h_i+r_i-t_i)^2=D_r^2\),所以若是满意\(d\geq \frac {\#Equation}{E+R}=\frac
{T}{E+R}\)。要满足这一尺度只需适当伸张向量的维度,从而较好的落成规范预测。

教练的长河是充实正例的分数,而减小负例的分数,目的函数如下:

\[\mathcal{L}=\sum_{(h,r,t)\in
\Delta}\sum_{(h’,r’,t’)\in \Delta
‘}[f_r'(h’,t’)-f_r(h,t)+\gamma]_+\]

试行结果突显该情势较好的已毕了标准链接预测(hit@1):

威尼斯人官网 9

小编:本文提议以前的表示学习不能较好的贯彻规范链接预测,并提出造成该难点的两点原因:ill-posed
algebraic problem
adopting an overstrict geometric
form
,并针对这五个点难点言简意赅提议基于流形的代表学习形式,实验结果呈现该方法较好的完结了纯正链接预测。

Mining Inference Formulas by Goal-Directed Random Walks

  • 作者:Zhuoyu Wei, Jun Zhao and Kang Liu
  • 作者:University of Chinese Academy of Sciences

正文的天职为面向知识图谱的实体关系推理,即利用知识图谱中已部分关乎推理新的涉及事实。推理规则对于基于知识图谱的关联推理有着鲜明的成效,而人工构造大量的推理规则是不具体的。近年来按照数据驱动的自发性挖掘推理规则的章程中,随机游走的章程被认为最适用于文化图谱。不过,在学识图谱中无目标的一味随机游走挖掘有价值的推理规则的频率较低,甚至会引入误导的演绎规则。尽管部分大方提议利用启发式规则引导随机游走,但鉴于推理规则的多种性,那种办法仍回天乏术得到较好的效用。

针对上述现状,本文提议一种目标率领的演绎规则挖掘算法:在随意游走的每一步使用明确的演绎目的作为方向。具体地,为了达到目的指导的体制,在每一步随机游走的进度中,算法按照最后目的动态地预计走向各类邻居的心腹可能性,根据潜在可能性分配游走到各种邻居的几率。比如,当推理“一个人的言语”时,算法更赞成走“国籍”边而非“性别”边。

正文首先回看了基本的用于推理规则挖掘的肆意游走算法,其中也论及早期基于枚举的(枚举给定满意关系的实业对里面的保有路线)按照频率总结置信度的推理规则挖掘算法。随机游走算法随机地(概率均等,和出度有关)拔取下一跳到达的左邻右舍,而非遍历所有邻居。简单的说,那种自由游走的算法是单独用目的的。而且,由于随机性,随机游走不可能确保高速低挖掘到目的实体对的不二法门,甚至引入噪声。为了缓解这一题材,PRA引入了启发式的规则:对几率矩阵展开修改,是的左邻右舍的采纳并不均等,而是基于到达目标实体的可能性。

为了完结目的指导的即兴游走,本文对给定目的(\(\rho=R(H,T)\))的景色下,对实业\(i\)到\(j\)的连边g(关系\(r\))被增选的票房价值定义为:

\[ P_{r_{i,j}}= \begin{cases} \frac
{\Phi (r(i,j),\rho)}{\sum_{k\in Adj(i)}\Phi (r(i,j),\rho)},
&\mbox{}j\in Adj(i)\\ 0, &\mbox{}j\notin Adj(i) \end{cases}
\]

其中,\(\Phi(r(i,j),\rho)\)是在加以目的\(\rho\)情况下,对实体\(i\)到\(j\)的连边被挑选的可能性测量。路径的观点为\(H\),最终要到达\(T\),游走的经过中递归定义已走路径的似然为:\(P_{pHt}=P_{pHs}\cdot
P_{r_st}\)。似然函数定义为:

\[\rm{max}
P_{\mathbb{P}}=\prod_{pHt\in
\mathbb{P}}P_{pHt}^{a}(1-P_{pHt})^{b+c}\]

其中\(\mathbb{P}\)是随机游走得到的途径集合,\(a,b,c\)分别对应三种情景,a)\(t=T\)且暴发不利的演绎规则;a)\(t\not=T\);c)\(t=T\)且发生噪音推理规则;\(a,b,c\)都是0-1值,且每一次有且唯有一个为1。将最大化转为最小化\(L_{rw}=-\rm{log}
P_{\mathbb{P}}\),本文中又将该目的函数划分为两片段来计量:\(L_{rw}=L_{rw}^t+\lambda
L_{rw}^{inf}\)。对于一个肯定的途径\(p\),\(L_{rw}\)可以写为:

\[L_{rw}(p)=-y\rm{log}
P_{p}-(1-y)\rm{log} (1-P_{p})\]

\(\Phi(r(i,j),\rho)\)的乘除需求融入文化图谱全局的音讯,为了减小计算量,本文引入知识图谱的嵌入表示来统计\(\Phi\):

\[\Phi(r(i,j),\rho)=\Psi(E_{r(i,j)},E_{R(H,T)})\]

其中,\威尼斯人官网,(\Psi(E_{r(i,j)},E_{R(H,T)})=\sigma(E_{r(i,j)}\cdot
E_{R(H,T)})\),\(E_{r(i,j)}=[E_r,
E_j]\),\(E_{R(H,T)}=[E_R,
E_T]\),\(E_r,E_j,E_R,E_T\)代表提到和实业的嵌入式表示。

教练推理模型的算法如下:

威尼斯人官网 10

末段的推理是使用打分函数,对确定实体对的不比关系举行打分:

\[\mathcal{X}(\rho)=\sum_{f\in
F_{\rho}}\delta(f)\]

其中,\(F_{\rho}\)是擅自游走为涉及找到的推理规则集合,\(\delta(f)=w_f\cdot
n_f\)。最终本文应用逻辑斯谛回归来对实业关系几率举行总结:

\[P(\rho =
y|\mathcal{X})=\mathcal{F}(\mathcal{X})^y(1-\mathcal{F}(\mathcal{X}))^{1-y}\]

\[\mathcal{F}(\mathcal{X})=\frac{1}{1+e^{-x}}\]

小编:对于自由游走的无对象指点从而致使推理规则挖掘效能低并引入噪声的难题,本文在任意游走的每一步引入目的的指引,即基于路径对目的落实的可能计算游走到各种邻居的票房价值,而不是随便挑选。

Text-enhanced Representation Learning for Knowledge Graph

  • 作者:Zhigang Wang and Juanzi Li
  • 机构:Tsinghua University

本文面向知识图谱的表示学习任务,提议应用表面文本中的上下问信息支持知识图谱的代表学习。

本文叙述:TransE、TransH、TransR等格局无法很好的缓解非一对一事关,而且受限于知识图谱的数量稀疏难点,基于此本文提出利用表面文本中的上下问音信帮助知识图谱的代表学习。类似距离监督,本文首先将实体回标到文本语料中;以此博获得实体词与其余首要单词的共现互连网,该互联网可以用作联系知识图谱与公事音信的热点;基于此互连网,定义实体与涉及的文本上下文,并将其融入到文化图谱中;最后采纳翻译模型对实体与涉及的象征举办学习。

下图是一个粗略的图示:

威尼斯人官网 11

Lifted Rule Injection for Relation Embeddings

  • 作者:Thomas Demeester, Tim Rocktäschel and Sebastian Riedel
  • 机构:Ghent University – iMinds
  • 机构:University College London

正文指出了一种将规则注入到嵌入式表示中,用于关系推理的方法。本文叙述,嵌入式的代表方法可以从科普知识图谱中读书到鲁棒性较强的表示,但却日常不够常识的点拨。将二者融合起来的主意,已经赢得了较好的效益,其常识平日以规则的款式出现。但在科普知识图谱中,由于部分规则并不是单身于实体元组的,所以那几个规则所能覆盖的实例仅占一小部分,如:\(\forall x: \rm{isMan}(x)\Rightarrow
\rm{isMortal}(x)\)。

本文提出将隐式的平整融入到实体和关系的分布式表示中。本文首先回想了Riedel
et al.
(2013)的工作
,在该工作中,小编用四个向量\(\boldsymbol{r,t}\)来分别表征关系和实业元组(头尾实体对),优化的靶子是:\(\boldsymbol{r_p^{\rm{T}}t_p\leq
r_q^{\rm{T}}t_q}\),其中\(p\)代表负例的标识。并以此优化目的定义相应的损失函数:

\[\mathcal{L}_R=\sum_{(r,t_q)\in
\mathcal{O},t_p\in \mathcal{T},(r,t_p)\notin
\mathcal{O}}l_R(\boldsymbol{r^\rm{T}[t_p-t_q]})\]

为了将如:\(\forall t\in \mathcal(T):
(r_p,t)\Rightarrow
(r_q,t)\)的规则融入分布式表示,本文模仿上述方法,能够将上述规则转化为:

\[\forall t\in
\mathcal{T}:\boldsymbol{r_p^{\rm{T}}t_p\leq
r_q^{\rm{T}}t_q}\]

也就是左侧元组分数越高,左边元组分数必然更高,从而落成左边元组创建,左边一定成立的推理原则。同时优化损失函数:

\[\mathcal{L}_R=\sum_{\forall t \in
\mathcal{T}}l_R(\boldsymbol{[t_p-t_q]^\rm{T}\tilde
t})\]

其中,\(\boldsymbol{\tilde
t}:=t/{||t||_1}\)。

为了减小总计花费,同时抵达独立于实体元组的目标,本文对目的损失函数做了之类修改:

\[\mathcal{L}_I=\sum_{\forall t \in
\mathcal{T}}l_I(\sum_{i=1}^{k}\tilde
t_i\boldsymbol{[t_p-t_q]^\rm{T}\bf{1}_i})\]

更是有:

\[\mathcal{L}_I\leq
\sum_{i=1}^{k}l_I(\boldsymbol{[t_p-t_q]^\rm{T}\bf{1}_i})\sum_{\forall
t \in \mathcal{T}}\tilde t_i\]

令:

\[\mathcal{L}_I^U:=
\sum_{i=1}^{k}l_I(\boldsymbol{[t_p-t_q]^\rm{T}\bf{1}_i})\]

通过最小化损失函数\(\mathcal{L}_I^U\),可以将隐式规则\((r_p,t)\Rightarrow
(r_q,t)\)融入到表示中。其余细节请参考原文,这里不做赘述。

Representation Learning of Knowledge Graphs with Hierarchical Types

  • 作者:Ruobing Xie, Zhiyuan Liu, Maosong Sun
  • 机构:Tsinghua University

本文面向知识图谱的表示学习职责,提议融入实体类型信息支持知识图谱的代表学习。

本文叙述:方今的大部办法专注于选用知识图谱中三元组结构的象征学习,而忽视了融入实体类型的音信。对于实体而言,对于差别的花色含义应该负有差别的表示。本文从Freebase中获取实体的类型音信,并将其层次化表示,并统筹了三种编码形式,对于分化的涉嫌通过参数调整取得相应的实体表示。

Knowledge Representation Learning with Entities, Attributes and Relations

  • 作者:Yankai Lin, Zhiyuan Liu, Maosong Sun
  • 机构:Tsinghua University

本文面向知识图谱的表示学习职务,提出应用实体、属性、关系多个元一向展开表示学习。

正文提出对质量和关联加以区分,并在象征学习的经过中分别对待,本文首先提出属性与涉及的区分,本文叙述:属性的值一般是虚幻的概念,如性别与职业等;而且通过计算发现,属性往往是多对一的,而且对于特定的特性,其取值大多来源于一个小集合,如性别。对事关与质量选拔不一致的约束措施举行单独表示学习,同时提议属性之间的更强的束缚关系。本文想法新颖,很值得借鉴。

威尼斯人官网 12

相关文章