eBay一直致力于为用户提供无缝且愉悦的购物体验。其中,提高商品信息质量,尤其是图片和文字方面,是一个重要的改进领域。本文介绍了eBay如何通过多模态商品嵌入解决方案,整合不同模态(如标题和图像)的信息,从而大幅改善买家体验和推荐列表的相关性。

信息检索:eBay推荐系统中的召回模块

召回模块是eBay推荐系统的关键组成部分,负责从各个角度检索与用户查看商品最相关的商品。过去,召回模块主要依赖单一模态的信息,如标题和图片,这存在一定局限性。

多模态项目嵌入解决方案

为了解决这些问题,eBay开发了一种新的多模态商品嵌入解决方案,有效整合来自不同模态的信息以获得丰富的特征。这包括使用Siamese双塔模型和TransH三元组损失,确保文本和图像嵌入投影到同一个空间。此外,还加入了图像-文本不匹配检测模块,以过滤低质量结果。

连体双塔模型

连体双塔模型是一种神经网络架构,使用两个相同的子网络来处理两个不同的输入,常用于涉及比较或匹配两个输入的任务。在多模态商品嵌入解决方案中,每个塔代表一个商品,输入是该商品的串联预训练图像和文本嵌入。

使用TransH的三重态损失

为了确保图片和文本嵌入分布在同一个空间,eBay使用了三重态损失以及借鉴自知识图谱的TransH思想,将列表投影到超平面上。

失配检测模块

eBay还开发了一个复杂的模块来检测商品图片和标题之间的不匹配,并利用这一信息来预测商品未被点击的概率。

在线实验结果

基于多模式嵌入的召回已部署在eBay的多个页面上,A/B测试显示关键业务指标得到显著改善:CTR提高15.9%,PTR提高31.5%。

总而言之,eBay通过创新的多模态商品嵌入解决方案,有效整合了不同模态的信息,大幅提升了推荐系统的性能和用户体验。未来,eBay还将继续优化,以进一步增强推荐的个性化和相关性。