标题: 阿里小蜜多模态知识图谱的构建及应用

导读: 本文由阿里巴巴达摩院阿里小蜜团队带来，介绍其在知识图谱方面一年多以来的一些工作进展。主要包括知识图谱的简介、领域知识图谱的构建及应用,以及多模态知识图谱的构建及应用等内容。

01知识图谱的简介

众所周知，知识图谱是对现实世界的实体概念及其关系的刻画和描述。大多以三元组为经典结构去表示知识。业界典型代表有 Google 和百度，他们通过数据挖掘方式获得了千亿级别量级的三元组。

知识图谱的典型应用其实大家也都很熟悉，比如像搜索推荐、智能问答、决策分析、智能创作等。

基于对业界的观察，阿里小蜜团队对知识图谱应用进行了解析，主要从应用的种类和形态两个维度出发:

第一维是应用的种类。我们将应用划分为原图应用和算法赋能两类。

第二维是应用的形态。我们将应用归纳为业务应用、知识中台和解决方案三大类主要的应用形态。

下面来介绍一下阿里小蜜知识图谱的发展脉络。按照上述两个维度,我们的工作大致可以分为两个阶段。第一个阶段是在客服助手、阿里小蜜阶段,主要从业务出发,对业务知识进行结构化,构建KBQA或EBQA能力。第二个阶段是从中台的角度,去沉淀领域知识图谱和多模态知识图谱的工作。

02领域知识图谱建设与应用

在新零售场景下,如何有效连接用户和商品是最核心的目标。搜索是一种很好的方式,但在对话场景下,还需要解决三个核心问题:

1. 需要从用户问题推理用户诉求

2. 需要回答用户对商品具体信息的咨询

3. 推荐商品时给出解释性推荐理由,促进成交转化

我们把诉求定义为POI (Point of Interest),主要指用户兴趣或诉求。从痛点到诉求,以及属性值可以满足诉求这两类三元组,就是我们在对话场景中需要去挖掘的领域知识。

图谱的构建有两大类重要的技术:节点挖掘和关系构建。节点挖掘包括短语挖掘、同义词挖掘、短语Typing、实体识别等。关系构建主要通过关系抽取从文本中挖掘点与点之间的关系,也可以通过推理补完算法进行知识补充。

依托构建的领域知识图谱 AliMe KG,我们在导购推荐和卖点生成两个应用场景取得了不错的效果。

03多模态知识图谱的建设与应用

随着直播成为越来越多人的购物选择,阿里小蜜团队也打造了虚拟主播和智能辅播两款产品。在直播场景下,我们希望通过丰富的信息和多样的模态,让用户快速认知商品,激发用户的兴趣。

因此我们构建了多模态知识图谱 AliMe MKG。相比领域知识图谱,AliMe MKG 在模态上增加了图片、视频等;在内容上增加了商品的使用方法、用户评价、品牌故事等信息。

在构建 AliMe MKG 时,我们重点介绍了文本知识挖掘和图文匹配技术。基于多模态预训练的图文匹配方法,我们建立了百万级商品、千万级图片的多模态知识图谱。

最后,我们介绍了基于 AliMe MKG 在虚拟主播和智能辅播场景下的一些具体应用,包括图文剧本生成、短视频生成,以及商品展示、问答等。

04Takeaways

1. 知识图谱的价值:

- 雪中送炭:创作、冷启动、长尾场景等

- 锦上添花:知识融入

2. 知识图谱的应用种类:

- 原图应用 vs. 算法赋能

3. 知识图谱的应用形态:

- 业务应用 vs. 知识中台 vs. 解决方案

总的来说,阿里小蜜团队在知识图谱方面取得了不俗的成果,为推动电商领域的智能应用做出了积极的探索。