语义分析技术:知识工程平台的基石

访客:20666  发表于:2014-03-26 18:43:15

摘要:知识工程旨在面向企业业务应用需求,通过一系列以知识为对象的工程实践达到海量信息中的知识挖掘、知识的高效组织应用。其中知识的表示,以及如何大规模地获取知识是支撑其目标达成的关键技术,也是技术难点。而语义分析为知识的获取和应用提供了一种有效的方法和手段。

从企业层面讲,企业开展知识工程建设旨在面向企业业务应用需求,通过一系列以知识为对象的工程实践达到海量信息中的知识挖掘、知识的高效组织应用。主要包括三大要素:知识获取、知识组织表示和知识应用。想要获取知识和实现知识的应用,首先要知道知识长什么样,当前主要的知识表示形式为一个包含多种不同类型的结点和边的知识图以及图结点之间的关系集合。那么如何获得这个结点以及如何获得这个边(关系)就是知识获取所要做的工作。

 

点击查看原图

图1知识图示例

当前知识获取主要有三种方式:非自动知识获取、知识抽取、机器学习知识。非自动知识获取常采用直接编辑知识、利用大众智慧等手段,效率较低,无法应用于大规模的知识获取;完全机器学习的难度较大;知识抽取是目前最有效的方式。

所谓知识抽取,指的是通过对文本资料进行内容分析处理,对蕴含于文本中的知识进行识别、理解和筛选,抽取出每个知识点,并以一定的形式存入知识库中。那么如何通过对文本资料进行内容分析从而达到识别并抽取出知识的目的呢?语义分析就是有效的手段和方法。

语义,又称语意,指的是话语所包含的意义,在计算机科学领域,可以称之为数据对应现实世界中事物所代表概念的含义。简单来说,语义分析的根本目的是为了让计算机理解自然语言,一旦计算机拥有了这种能力,就可以从文本信息中识别并抽取出知识。

对于特定领域来说,完全句法分析和深入的语义理解一方面在技术上还达不到,而且也是没有必要的。只要从输入的文本中抽取关注的信息,填写在预定义好的模板的属性槽中,即可完成特定领域文本的知识抽取的第一步。

如这段文字:

2005年11月1日,周杰伦发行了第六张国语专辑《十一月的萧邦》,包含了《夜曲》、《发如雪》等十二首动听的歌,大家可以在专辑当中,嗅出他潜藏的浪漫古典因子。

 

点击查看原图

图2主体与事件抽取示例

图2就是典型的通过主体和事件将这段文字转化为一张图的例子,其中主体是指某种具体事物的个体或集合体,事件是指与主体所施行的或主体被施加的动作、过程等等。如前所说,这只是知识抽取的第一步,如果只停留在这个层面,我们只能称之为信息抽取,而非知识抽取。将N篇这样的文章进行信息抽取处理,然后建立它们之间的关联,形成一个网络。以新闻为例,经过抽取和管理,我们可以看到某个地点发生的各类新闻,发现在某个人物身上的各类新闻,甚至于可以抽取到两个新闻之间内在的关联(比如这两个新闻所述对象是某某关系)等等,而这些可以称之为关联类的知识。

目前,这种基于语义的半自动抽取技术在特定产业领域商业化、工程化应用较少,这是因为如果想获得高质量的语言分析结构,就需要构建面向特定领域的成熟语料。

北京亿维讯科技有限公司依托基于语义的知识抽取技术及其知识工程平台在石化等特定领域的应用,是目前为数不多的领域化应用。亿维讯将“业务对象”和“业务主题”作为文本中的抽取点,编写该产业领域不同知识类型的知识模板框架,在文本分析挖掘时首先进行知识类别识别,根据类别调用相应的框架。图3为从亿维讯知识工程软件界面中截取的方法类知识模板,其中摘要是半自动提取,关键词、分类、业务主题、知识来源、提供者等为自动提取。据了解,目前亿维讯正在设计更加细化、具有针对性的可配置摘要,即形成摘要的模板框架。

通过将知识模板中知识的相关属性进行关联,则可以构建关于某一特定业务主题或其它属性的知识网络。

 

点击查看原图

图3知识模板示例

将语义分析落实到大量的具体的篇章文本上,形成熟语料库,其中包括词汇级别的义素、语义特征的标注、实体标注,句子级别的语义角色标注,还有语法句法范围的词性标注、句法功能标注等等。我们可以想象,当大量文章(一般来说至少100万字的量级)进行了这样的标注后,我们需要什么知识,就可以从中抽取出一些信息后进行加工和关联而得到。在未来,或者说已经有人在做,当标注好的熟语料已经达到一定量级,我们甚至可以通过机器学习的方式对其他未标注的文章进行自动标注,那么也就实现了自然语言计算机自动处理的最终目标,也就解决了知识自动获取的难题。

不仅如此,基于语义的知识获取与表示因为使知识具有了良好定义的语法和语义,所以有充分的表达能力,能清晰的表达有关领域的各种知识;便于有效的检索和共享;容易管理,易于维护知识库的完整性和一致性。而这些正是知识工程的应有之义。因此,我们说,语义分析是知识工程建设中非常关键的支撑技术,是知识工程平台的基石。

评论(1)

您可以在评论框内@您的好友一起参与讨论!

    1. 陆彬 语义分析,自然语言处理的确是现在企业商业化数据的基础,这块的确有得搞。

      回复[0] 2014/03/28 12:29

<--script type="text/javascript">BAIDU_CLB_fillSlot("927898");