83
eBay 一直致力于为用户提供满意的推荐结果。为了实现这一目标,eBay 不断优化推荐结果中的图文质量,力求为每位用户呈现最真实、最精美的商品。近年来,图神经网络在推荐领域的应用也日益广泛。GNN 可有效利用图结构当中的节点和属性,丰富模型特征,并在一定程度上缓解稀疏性和冷启动问题。因此在推荐系统中运用 GNN 可以有效提升推荐效率和准确性,从而全面提升用户体验。
本文将详细介绍在 eBay 电商推荐场景中,关于多模态与 GNN 的实践经验,希望能为大家带来启发。
首先是对业务中痛点的分析。
1. 网络市集的特殊性
eBay 作为一个网络集市,具有其特殊性,即依赖卖家确保他们上架商品的准确、完整和高质量。但现实中存在很多问题,比如个人卖家上传的商品可能会存在低质量图片,或者标题可能导致产品形象失真,使得买家遇到比较糟糕的购物体验。
此外,商品的标题和图像分别来自不同的向量空间,这使得构建统一且准确的推荐系统面临挑战。传统的推荐模型在处理这两类信息时效率欠佳,从推荐结果上看,面临严重的长尾效应和推荐商品质量参差不齐这两大问题。
2. 单一模态的局限性
另一大痛点是单一模态的局限性。在工业界大多依赖文本模态,通常使用 Bert 系列、Transformer 系列去 decode 商品标题,然后和 user 的兴趣,或者和最近看过的主要商品、最近收藏过的商品去匹配。只使用文本模态,可能会导致推荐系统推荐出不相关或者低质量的商品,标题和页面文本或许和用户偏好相似,但是封面图的相似性和质量就会被忽略。
3. 全球用户的购买习惯
在 eBay 上用户有比较独特的购买习惯,他们更倾向于与他们信任的商家进行交易,这种信任建立在用户与商家之间的化学反应上,通过互动和交流产生的积极关系,用户评估商家的诚信度、响应速度和服务质量等因素,共同影响用户的购买决策。
为了解决上述三个痛点,我们整合了商品的多模态信息,开发出了高性能的召回模块,显著提高了推荐系统在复杂场景下的准确性。这一创新确保了和商品更加相关的推荐和更加个性化的用户体验。
模型整体概况如上图所示。该技术巧妙地融合了不同模态的信息,从而获取更丰富的特征。这一做法也使得团队可以更加深入地理解 eBay 上的商品特性,并为推荐系统打造更精确高效的召回集。此外,还引入了列表图像与标题匹配度的检测功能,进一步提升结果的筛选标准。
...
1. 统一二部图的建立
GNN 利用网络的结构和节点的关系和属性,可以用来丰富模型特征,还可以有效缓解用户的稀疏性和冷启动问题。为什么在此场景中使用？是因为我们希望通过买家和卖家之间的关系网聚合出一些带有协同含义的表征向量,构造适用于GNN 召回模型的训练数据,其核心工作在于定义二部图,也就是用户和商品之间行为的交互图,然后可以在图上进行采样工作。
2. 模型结构
GNN 召回模型是一个经典的双塔结构,由用户侧和物品侧组成。
从图上的结构来看,物品侧要完成的任务是聚合物品和其邻居物品的所有信息。首先要获得每个物品的向量表示,这里我们使用物品所有的 item 特征对应的 embedding,通过 MLP 合并这些 embedding 来获得 item 的表示。接下来使用 GNN 将 item 进行聚合,我们尝试了两种不同的方法,分别是 GraphSage 和 GAT。
对于用户侧,针对图神经网络的角度来说也需要对不同的用户行为进行聚合,实际上一个用户行为本身是一个序列,更适合使用序列建模的思路,因此这里采用对于常见的序列建模方式抽取相关的行为特征,然后利用一个自定义的聚合逻辑将这些用户行为进行合并。
...
当前 AI 领域关注重心正从大模型 LLM 向多模态转移,于是让 LLM 具备多模态能力的多模态大语言模型（Multi model LLM）就成为一个备受关注的这个研究主题。eBay 内部也有自研的领域基座模型,对于 Multi model understanding 部分,图像处理部分使用 CLIP；文本部分使用的是 LLaMA2；图文融合部分,即比较关键的多模态大模型的模态融合部分,使用了超平面投影插值方法,在预训练的过程中,对于一些图像描述和领域内图文分类的任务,取得了不错的成果。
多模态大模型为业务开辟了全新的想象空间,结合多模态输入和电商平台的竞争优势,我们计划打造一个创新的 AI 设计师。AI 设计师可以整合和分析不同模态的数据,从而为用户推荐栩栩如生的设计方案。更进一步,它还可以利用电商网站独特的优势实现一站式的设计复现,让用户能够将心仪的设计快速转化为现实。
最后分享两个可能会比技术细节更加重要的 takeaway：
一是将技术洞察转化为产品决策。例如利用用户行为数据来指导产品迭代和市场定位,真正深入到用户,了解用户的痛点,才能精准定位用户的需求,从而提高用户的满意度和业务收益。
二是算法工程师与产品经理的紧密合作才是创新的关键。工程师与产品经理的冲突常常是因为互相不了解,产品不了解日新月异的算法可以赋能一些什么样的业务创新,而算法工程师也缺少对用户的敏感度。通过双方的合作,共同设计项目、设计实验、共享数据见解,双方才可以更好地理解用户的需求,从而推动创新解决方案的开发。
...
