李智杰，韩瑞瑞，李昌华，张 颉，石昊琦
西安建筑科技大学 信息与控制工程学院，西安710055
知识图谱[1]一词在2012 年被Google 公司首次提出，它是一个结构化的语义知识库，可以组织海量信息，用于描述客观世界中的概念以及它们之间存在的关系。知识图谱不仅在语义搜索、深度问答等通用领域发挥着重要作用，在金融、医疗、城市规划等垂直领域中也有着广阔的应用前景[2]。知识图谱的构成单位是关系三元组，因此从非结构化文本中抽取出关系三元组对构建知识图谱十分重要。
实体关系抽取任务的提出就是为了解决关系三元组抽取问题。例如，在句子“姚明出生于上海”中，可以提取出关系三元组（姚明，出生于，上海），其中“姚明”和“上海”分别称为头实体和尾实体，“出生于”称为这两个实体之间的关系。实体关系抽取任务最初采用基于规则和模板的方法[3]，由于人工和时间等因素的限制，逐渐发展为基于统计机器学习的方法[4]。近年来，由于深度学习发展迅速，基于深度学习构建实体关系抽取模型已成为信息抽取领域新的研究方向[5]，这一方向认为抽取任务应被划分为流水线方法和联合学习方法，这两种方法都基于卷积神经网络（convolutional neural networks，CNN）、循环神经网络（recurrent neural network，RNN）、长短时记忆网络（long short-term memory，LSTM）这三种网络架构进行组织和扩展[6]。流水线方法是在已经抽取出实体的基础上，对每个实体对之间的关系进行分类的方法。虽然采用流水线的方式会使每个子任务更加集中，更容易解决问题，但两个子任务之间的完全分离可能会遇到错误传播问题，同时也忽略了它们之间的相互依赖性[7]。联合学习方法是指在执行两个子任务时，使用同一个编码层，联合检测实体及其关系。联合学习方法能够学习到实体和关系之间潜在的联系，从而在两个子任务中获得更好的性能。
目前多数联合抽取模型使用BERT（bidirectional encoder representations from transformers）[8]进行预训练，它能为联合模型提供一种通用的融合上下文信息的词向量表示。随着自然语言处理任务的发展，研究人员对BERT 进行了一系列改进，RoBERTa（robustly optimized BERT pretraining approach）[9]是其中一种变体，相比原生BERT，RoBERTa 预训练模型使用了更多的数据集并且训练得更加充分。尽管之前的实体关系抽取工作已经取得了很大的成功，但在以往的多数模型中，关系都被看作需要分配给实体对的离散标签。事实上，在提取出的所有实体对之间，大多都没有形成有效的关系，这导致了很多负样本的产生。另外，如果没有足够的训练样本，分类器很难判断实体参与的关系，导致重叠关系三元组提取不完整。因此，本文提出一种JPEA模型（joint model based on pre-trained encoder and attention mechanism）。本文的工作主要包括以下几点：
（1）针对此前大多数实体关系抽取方法在语义特征表示和重叠关系提取方面的缺陷，提出了融合预训练模型和注意力的联合抽取模型JPEA。
（2）为了更准确地抽取出头实体，将预训练模型编码的结果输入BiLSTM 网络和自注意力机制进行深层次特征提取，获得更细粒度的语义。
（3）为了增强两个标记模块的依赖性，将提取的头实体特征作为条件信息，利用CNN 和注意力模块融合到句子特征向量中，为关系及尾实体的标记增强实体表达能力。
（4）分别在公开的数据集纽约时报（the New York Times，NYT）和WebNLG（Web natural language generation）上针对不同预训练模型进行测试，实验表明，不同预训练模型下JPEA 模型的各项评价指标均有较好的表现，F1值最高分别可达到92.4%和92.9%。
根据实体关系抽取的发展来看，该任务主要可以分为基于规则和模板的方法、基于统计机器学习的方法和基于深度学习的方法。
1.1 基于规则和模板的方法
实体关系抽取任务最初通常采用基于规则和模板的方法[10]，在该传统方法中，语法和语义规则往往需要通过人工构造的方式获取。这种方式有两个明显的缺点：（1）一般只有对特定领域有深入认知的人员才有资格手动编写模板和规则，这会造成大量的人力和资源消耗；
（2）手动制定的规则具有较差的可移植性，一般难以拓展到其他领域。
1.2 基于统计机器学习的方法
通过早期的相关研究结果可以发现，以特征工程为核心的有监督抽取方法是实施基于统计机器学习的抽取方法的主流[11]。这类方法虽然理论基础已经趋于完善，但是仍然离不开人力的参与，适合用于模型训练的特征集仍需要通过大量的特征工程人工筛选获得。因此，近些年来学术界的研究重点转向了半监督和无监督的抽取方法。Shinyama 等人[12]提出了抢占式信息提取的概念，其关键在于找到文本中多个实体之间的并行对应关系，并使用聚类的方式抽取信息。Carlson等人[13]提出的耦合分类和关系实例抽取器的半监督学习方式，能够预防与引导学习方法相关的语义漂移问题，提高抽取精度。Zhang等人[14]提出了基于MBL（memory-based learning）的统一框架，采用无监督学习方法，实现了对实体间多元关系的精准识别。
1.3 基于深度学习的方法
近年来，人们提出了大量的深度神经网络模型来完成实体关系抽取任务，基于深度学习的抽取方法主要采用CNN[15]、RNN[16]和LSTM[17]的变体或组合结构。Socher等人[18]首次在分类任务中引入RNN模型来全面处理词向量空间中的组合性，句法树中的每个节点会被分配到一个向量和一个矩阵，分别用来学习该处的词向量和相邻单词或短语的含义，但是该模型没有考虑实体对的位置信息。Zeng等人[19]首次把CNN 应用到关系分类任务中，词汇和句子层面的特征均通过卷积深度神经网络获取，并提出位置特征来指定期望分配关系标签的实体对。Cai等人[20]将CNN 和双通道递归神经网络与LSTM 单元相结合，同时沿SDP（the shortest dependency path）前向和后向学习具有方向信息的关系表。
上述研究所采用的模型都应用于流水线抽取任务中，近些年，研究人员开始致力于联合抽取模型的研究。Miwa 等人[21]首次将LSTM-RNNs 神经网络结构应用于联合抽取任务。Zheng 等人[22]提出了一种新颖的标记方式，把联合抽取问题建模为端到端的序列标注模型，但是该方法在重叠关系的识别上仍存在不足。Yu等人[23]将联合抽取任务分解为相互关联的两个子任务，采用合理的分解策略，充分捕获不同步骤之间的语义相关性。Wei 等人[24]打破了传统的思路，从新的角度理解信息抽取任务，并提出了一个新的级联二进制标记框架，着重处理重叠问题。但该框架抽取头实体时对语义信息获取不够充分，且仅将抽取出的头实体向量与各词向量进行了简单的拼接，忽略了头实体和其他单词之间的细粒度语义关系，存在特征丢失问题。因此，本文在此基础上提出了一种融合预训练模型和注意力的联合抽取模型。
由于联合抽取方法经常遇到关系重叠和实体嵌套的问题，无法对非结构化文本进行合理的抽取，甚至出现漏抽取的问题。另外，由于静态编码模型无法准确捕获序列时序位置信息，常造成三元组抽取准确率偏低。针对此问题，采用预训练模型动态编码能够有效表述句子序列内在特征的特点，并利用注意力机制捕获头实体信息，提出了一种融合预训练模型和注意力的网络模型用于联合抽取实体关系三元组。
在之前的Seq2seq方法中，关系三元组抽取任务通常建模为式（1），即先抽取头实体s，然后结合主实体抽取出对应的尾实体o，最后根据抽取出的实体对预测关系r。
本文提出的JPEA 模型将三元组抽取过程整体建模为式（2）：
其中，x是输入的句子，T是所有关系类型的集合。通过式（2）将三元组的抽取问题转变为指针标注问题，这种建模方式允许模型一次提取出多个关系三元组：首先通过头实体标记器检测出句子中所有的实体，这些实体都是潜在的头实体，即都有可能与其他实体构成关系三元组，然后针对每一个潜在的头实体，通过关系及尾实体标记器来查找所有与该头实体有关的关系和对应关系下的尾实体，若句子中不存在与该头实体有相关关系的尾实体，则舍弃该头实体，最终完整地抽取出句子中包含的三元组。
JPEA 模型通过预训练模型编码词向量，采用自注意力机制和BiLSTM网络结合来丰富语义特征，捕获更重要的语义信息，再通过归一化标记出所有头实体；
其次将多层CNN网络与注意力机制融合，提取头实体特征，计算每个头实体相对于句子中每个词向量的权重，并将加权后的头实体特征与句子向量进行拼接，用于标记与每个头实体之间存在合适关系的全部尾实体及正确的实体间关系。模型总体架构如图1 所示，其中预训练模型为RoBERTa，s_start和s_end 分别表示头实体的起始和结束，o_start 和o_end分别表示尾实体的起始和结束，1/0标记表示该位置是否对应起始或结束位置。以图中抽取出的第一个歌曲实体“All Too Well”为例，在“be_composed_by”和“be_sung_by”关系条件下对应的尾实体均为“Taylor Swift”，在其他的关系条件下没有对应的尾实体，因此头实体“All Too Well”可以抽取出（All Too Well，be_composed_by，Taylor Swift）和（All Too Well，be_sung_by，Taylor Swift）两个三元组。
图1 JPEA实体关系联合抽取模型架构Fig. 1 JPEA entity relationship joint extraction model structure
2.1 RoBERTa编码层
传统的文本编码模型在语义表征能力上有所欠缺，而RoBERTa模型在大量训练数据的基础上，能够准确高效地表达句子的潜在信息。RoBERTa是基于多层双向Transformer 的语言表示模型，它通过对每个单词的左右语境进行联合训练来学习深度表征，在许多下游任务中都有着高效的表现，因此所提模型采用RoBERTa预训练模型编码句子向量。
JPEA模型的两个实体标记模块共享同一个编码层，RoBERTa 模型从待分析句子序列中提取出语义特征，并将特征传递给两个实体标记模块。首先将输入的文本序列表示成向量形式，对于处理后的文本序列中的第i个字符的向量表示如式（3）所示：
其中，Wtoken、Wseg、Wpos分别为token嵌入、分句嵌入和位置嵌入。然后通过RoBERTa模型对嵌入结果进行编码，最后一层Transformer 输出的值即是文本编码的最终结果，如式（4）所示：
其中，E={e1,e2,…,en}为待处理文本序列的向量表示形式，n表示文本序列长度，X={x1,x2,…,xn}为经过RoBERTa编码得到的具有上下文信息的句子向量。
2.2 特征加强层
传统的循环神经网络在处理时序数据时虽然不受数据长度的限制，但由于无法很好地捕获反向语义，存在严重的信息丢失问题，无法准确描述句子特征。BiLSTM网络是一种特殊的循环神经网络，能够实现从后往前编码，通过利用句子中比较靠后的重要信息，能够很好地捕捉双向的语义依赖。故本模块选取BiLSTM网络对RoBERTa编码层提取的句子向量进行进一步的特征表示。具体操作为：将向量矩阵X输入BiLSTM网络进行编码，每一时刻t的输入除了词向量外还有上一时刻的输出向量，每一时刻得到的输出向量ht均为前向编码向量和后向编码向量拼接而成。上述过程如式（5）所示：
其中，xt表示t时刻输入的词向量。经过BiLSTM网络编码后得到的向量为H={h1,h2,…,hn}。
为了增强模型的辨别能力，研究人员通常会在神经网络模型中加入自注意力机制，通过为输入信息的每个部分赋予不同的权重，可以抽取出关键信息，使模型做出更加准确的判断。自注意力机制的计算如式（6）所示：
其中，Q、K、V分别表示查询矩阵、键矩阵和值矩阵，是键矩阵第一维度的平方根，用以维持梯度的稳定。
自注意力机制不会增加模型的计算开销和结构的复杂度，同时还可以有效弥补BiLSTM网络在解决长距离依赖问题上的缺陷。根据上述原理描述，本模块在BiLSTM层之后拼接一层自注意力网络，根据上下文信息为每个词向量训练相应的权重，以更准确、完整地标记出头实体。操作过程可描述为：Q、K、V通过参数矩阵WQ、WK、WV进行线性变换，再通过自注意力运算得到各个位置的注意力大小，最后经过线性变换得到更加丰富的语义信息，这里的Q、K、V为上一步的输出向量H。如式（7）所示，M={m1,m2,…,mn}为经过自注意力层编码后得到的结果。
2.3 头实体标记器
头实体标记器用来识别输入句子中所有可能的头实体，它是通过对特征加强层的输出结果M进行解码实现的。头实体标记器由两个相同且独立的二进制分类器组成，可以通过为每个位置分配0/1标记来分别检测头实体的开始和结束位置。具体操作如下：
其中，mi是输入句子中第i个单词经特征加强层处理后的向量，和均表示第i个单词向量经解码层处理后的输出值，两个输出值都是概率值。如果该值大于实验设置的某一限定值，那么该单词所在位置将被分配到标记1，否则将被分配到标记0。可在模型训练的过程中不断调整参数，为头实体标记器确定一个最佳限定值，本文实验在多次调整后将该限定值设为0.5。W(·)和b(·)分别表示训练权重和偏置向量，s指代头实体，σ代表sigmoid 激活函数。实验设定采用指针对就近匹配原则解决一个句子中存在多个头实体的问题，并且不考虑单词的结束位置在开始位置前面的情况。
2.4 头实体特征融合
为了加强JPEA 模型的两个实体标记模块之间的依赖性，在抽取尾实体和实体对间关系之前，还需要对标记出的头实体进行特征处理，但是将头实体表示与句子向量进行简单的拼接不能完整地表达特征信息。本文采用CNN与注意力机制进行头实体与句子向量的融合。首先，获取头实体的起始和结束标记之间所有单词的特征表示Xhead，将向量输入到一个多层CNN网络中学习实体级别的特征表示，使用最大池化操作得到最终的特征向量xhead，如式（10）所示：
本文认为，头实体的特征对尾实体标记任务的影响主要与当前位置词有关，于是在特征融合的过程中加入了注意力机制，如式（11）所示：
首先，将编码层输出的句子向量X与头实体特征向量xhead做点积运算，运算结果即是注意力权重；
其次，计算该权重与头实体特征向量相乘的结果；
最后，把加权的头实体向量与当前位置的词向量拼接在一起，经过特征融合后得到的向量为T={T1,T2,…,Tn}。
2.5 关系及尾实体标记器
关系及尾实体标记器采用多层二进制分类器，在进行尾实体标记时，首先需要预定义若干种关系，关系的数量即为二进制分类器的层数。关系及尾实体标记器的输入是融合了头实体特征的句子向量T，在对向量T进行解码时，对于所有可能的关系，标记器将同时为每个检测到的头实体标记出相应的尾实体。详细操作如下：
Ti是第i个单词的编码向量经过特征融合后的向量表示，和均代表第i个融合向量经解码层处理后的输出值，两个输出值都是概率值，W(·)和b(·)分别表示关系条件下训练的权重矩阵和偏置值，o指代尾实体，σ代表sigmoid激活函数。
2.6 损失函数
本模型的损失函数可以表示为头实体抽取损失和关系及尾实体抽取损失值的加和，因为两个任务均采用二进制分类器，所以在模型中采用二分类交叉熵损失函数。具体可由式（14）表示：
其中，J={s_start,s_end,o_start,o_end}，n代表句子的长度。表示句子中第i个单词是实体的开始或结束位置的样本标签，表示二进制分类器预测开始或结束位置样本标签为正例的概率。
3.1 数据集与评价指标
本文选择在NYT和WebNLG两个公开语料库上进行实验。NYT是摘自New York Times新闻文章的样本，并由远程监督方法进行注释，共包含56 195句用于训练，5 000 句用于测试。WebNLG 起初被应用于自然语言构建任务，一些学者将其作为关系抽取的数据集进行应用，其包含5 019句用于训练，703句用于测试。为了验证本文提出的JPEA 模型在处理重叠关系问题上有更好的表现，将句子类型划分成三部分，分别为：正常（Normal）、实体对重叠（entity pair overlap，EPO）、单一实体重叠（single entity overlap，SEO）。具体划分情况如表1所示。
表1 数据集统计Table 1 Statistics of datasets
实验通过准确率（P）、召回率（R）和调和平均值（F1）三个指标来评估模型的效果，F1 为主要指标，各指标的计算公式如式（15）～（17）。
为了探究JPEA 模型各个改进模块的效果，本文针对各个设计做了消融实验，以展示通过BiLSTM与自注意力结合获得语句特征表示、利用CNN 与注意力机制融合将头实体特征融入句子向量这两处设计对实验的增益效果。
3.2 实验环境及参数设置
本文的所有实验均在Windows 10 操作系统上完成，处理器为Intel®Core i7-10700K@3.80 GHz，显卡为NVIDIAGeForce GTX3090Ti。使用的语言是python3.7，预训练模型均使用Base 版本，模型的优化器选择Adam。模型的最优参数设置如表2所示。
表2 模型参数值Tabel 2 Model parameter values
3.3 实验结果与分析
3.3.1 模型对比实验分析
为了验证JPEA 模型的优越性，本文选取了几个目前在重叠关系抽取方面表现较好的模型进行对比分析，基线模型的实验结果直接摘自原始出版的论文。为了评估引入不同的预训练模型对实体关系抽取任务性能的影响，进一步做了一系列对比实验。JPEABERT代表预训练模型改用BERT，JPEAALBERT表示编码器采用ALBERT[25]预训练模型，JPEAELECTRA表示在ELECTRA[26]预训练模型的基础之上实例化实体关系抽取框架。为了确保对比实验结果的准确性，实验对此类关系抽取模型采用相同的输入，然后比较模型的实验结果。对比情况如表3所示，其中加粗数字表示实验结果的最优值。
表3 不同模型在NYT和WebNLG数据集上的实验结果Table 3 Experimental results of different models on NYT and WebNLG datasets 单位：%
对比表3 中的数据可以看出，在三个评价指标上，本文提出的JPEA模型及其变体均取得了较好的实验结果，体现了模型的优越性。CopyRE[27]在实体关系抽取过程中采用动态解码的方式并首次尝试解决重叠关系的抽取问题，但由于RNN 展开的固有限制，导致生成的三元组有限。GraphRel[28]在编码的过程加入了GCN（graph convolutional networks），同时获得句子序列和区域依存词的特征，因此在两个数据集上的实验结果都有一定程度的提高。CopyRRL[29]在CopyRE模型的基础上加入了强化学习，考虑了关系三元组的提取顺序对抽取任务的影响，模型整体有着不错的效果，但其采用的复制机制仍未解决实体复制不完整的问题。ETL-Span[23]模型将抽取任务分解为序列标记问题，在WebNLG 上的抽取结果有了很大程度的提升。CasRel[24]更是在此基础上构造了一个全新的指针标注框架，抽取效果达到了领域内最优。在NYT 和WebNLG 数据集上，JPEABERT模型的F1 与CasRel模型相比分别提高了1.5个百分点和0.5个百分点，说明对头实体标记器的输入向量做特征加强和对关系及尾实体标记器的输入向量做实体级特征融合对提升模型的抽取效果有很大的贡献。JPEA 的抽取性能优于JPEABERT，其原因在于RoBERTa 采用了更多的数据进行训练，可以更充分地学习句子的上下文信息。当编码器采用ALBERT预训练模型时，模型的整体表现相较于CasRel有微提升，但与JPEA相比存在差距。原因在于相较于BERT的其他变体来说，ALBERT 模型的参数大大减少，导致模型学习得不够充分，不过参数的减少在一定程度上提升了训练的速度。JPEAELECTRA模型在两个数据集上的F1 值都达到了最佳，因为ELECTRA 模型的预训练任务是替换标记检测，这对模型学习能力的提升有一定程度的影响。图2所示为JPEA模型在两个公开数据集上训练时损失函数的变化情况。可以看出随着训练周期的增长，损失值保持下降状态，最终均在第50 个训练周期左右损失值降到最低，模型根据早停机制停止训练。
图2 训练损失值Fig. 2 Training loss value
3.3.2 消融实验分析
为了验证BiLSTM 网络结合自注意力机制提取特征和CNN 与注意力机制特征融合两个模块对JPEA 模型性能的增益作用，本文在两个公开语料库上进一步做了消融实验，实验结果如表4 所示。其中，JPEA-BAM 表示将经过编码层得到的句子表征直接进行头实体标记；
JPEA-LAN表示将所有头实体向量的平均值与句子的表征直接拼接。
表4 在两个数据集上的消融实验结果Table 4 Results of ablation experiments on two datasets 单位：%
对比实验结果可以发现，两个模块组件都对JPEA模型性能的提高作出了积极贡献。JPEA-LAN模型性能在NYT数据集上下降了1.3个百分点，对模型的影响较大，这说明通过卷积神经网络提取头实体特征并利用注意力机制加权进行特征融合，可以有效地利用头实体信息辅助尾实体及关系标注，忽略其他冗余信息，从而使最终抽取的三元组更加准确。JPEA-BAM 模型在两个数据集上的F1 值与JPEA 模型均相差0.2个百分点，可以得出，结合BiLSTM网络与自注意力机制进一步学习句子的内在特征，能够获得细粒度语义信息，更有利于头实体的检测。
3.3.3 重叠问题实验分析
为了进一步验证JPEA 模型解决重叠三元组问题的有效性，本文对Normal、EPO和SEO三种模式进行扩展实验，并与基线模型进行对比，在两个数据集上的F1值对比情况如图3所示。
图3 从不同模式的句子中抽取三元组的F1值Fig. 3 F1-score of extracting relational triples from sentences with different patterns
由图3 可见，在两个数据集上，JPEA 模型在三种不同模式下的F1 值均有很好且较为一致的表现，尤其是在EPO 和SEO 两种重叠模式下，F1 值有明显的提高，说明本文所提出的模型在解决重叠关系三元组的提取问题上有优异的表现。其次，可以观察到大多数的基线模型在正常、EPO 和SEO 三种重叠模式下的抽取性能都呈现依次下降趋势，也就是说，基线模型提取EPO 和SEO 两种重叠模式的能力有所欠缺。而相比之下，JPEA 模型在三种重叠模式下的表现都不一般。这是因为这些基线模型的结构存在一定的缺陷，它们将实体对映射到关系或者选择Sequence-to-Sequence的模型架构。将实体对映射到关系很容易产生冗余实体对问题，导致较高的错误率，难以高效解决关系重叠的问题。并且Sequence-to-Sequence模式设计复杂的解码架构使得局部特征抽取不充分，导致抽取的三元组不够完整。尽管CasRel模型对于重叠关系三元组的提取有着良好的表现，但相较于JPEA 模型在处理复杂句子方面仍有不足。因为除了采用分层指针标注策略将头实体映射到关系和尾实体上之外，RoBERTa模型改进了优化函数，使用了更大的数据集进行预训练，更完整地提取语句的上下文信息，而BiLSTM网络结合注意力机制更是对句子表征向量进行了深层次的学习。同时在尾实体及关系标记前利用CNN 和注意力机制进行头实体特征与句子向量的融合，增强了JPEA 模型两个模块之间的依赖。综上所述，JPEA 模型具有较强的处理复杂文本的能力，且在解决重叠关系三元组问题上有着良好的高效性。
本文基于预训练模型提出了一种可以解决实体关系抽取过程中三元组重叠问题的JPEA 模型。该模型通过预训练模型编码得到包含上下文信息的句子向量，再将句子向量输入BiLSTM网络和自注意力机制得到更精确的句子级特征表示，在关系及尾实体标记任务之前添加特征融合层，利用CNN 和注意力机制将头实体特征与句子向量融合，强化头实体标记与关系及尾实体标记模块之间的内在联系。实验结果表明，所提JPEA模型在重叠关系三元组的抽取任务中有着良好表现，当选用不同的预训练模型时，总体模型在两个数据集上执行的抽取工作都能取得不错的结果，其中基于ELECTRA 模型的效果最佳。
本文所提模型虽然在抽取的准确率上有一定程度的提升，但是模型的稳定性较差，一旦数据集中带有错误标签的样本过多，JPEA 模型的性能就会受到影响并产生波动。因此，在后续的工作中如何进一步提升模型的性能、增强模型的稳定性是亟需解决的主要问题。本文提出的模型目前主要针对公共数据集进行测试，而近年来随着领域知识图谱构建技术的发展，将实体关系抽取技术应用到垂直领域来构建领域知识图谱变得更加有意义。特别地，结合城市规划领域知识图谱对规划活动做决策提供辅助至关重要，因此接下来将会深入城市规划领域对本模型进行改进，为城市规划领域知识图谱的构建及应用做好铺垫工作。
猜你喜欢 三元组注意力实体 让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09特征标三元组的本原诱导子山西大学学报（自然科学版）(2021年1期)2021-04-21前海自贸区：金融服务实体中国外汇(2019年18期)2019-11-25关于余挠三元组的periodic-模五邑大学学报（自然科学版）(2019年3期)2019-09-06实体的可感部分与实体——兼论亚里士多德分析实体的两种模式哲学评论(2017年1期)2017-07-31“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13两会进行时：紧扣实体经济“钉钉子”领导决策信息(2017年9期)2017-05-04振兴实体经济地方如何“钉钉子”领导决策信息(2017年9期)2017-05-04A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21基于三元组的扩频码构造及其性能分析计算机工程与设计(2015年1期)2015-12-20