小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

Connor 数字货币app 2025-10-20 2 0

来源:市场资讯

(来源:机器之心)

最近,一则趣闻在社交媒体上流传:当诺贝尔奖委员会还在费力寻找新晋生理学或医学奖得主时,一位小红书网友似乎早已在美国落基山脉与他偶遇并聊了天。这件「让世界先一步找到你」的轶事,再次让人们将目光投向了小红书。这真是一个总能创造神奇连接的社区!

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

图源:微博

而这种「神奇连接」并非偶然,作为一名科技媒体从业者,我们对此深有体会。许多 AI 领域的关键人物动态与顶会奖项信息,我们都是从小红书上第一时间获知的。正是其强大的推荐系统,确保了这些关键信息能够精准地推送给我们。

正是这个对我们工作至关重要的推荐引擎,最近在世界级舞台上大放异彩。

在不久前于布拉格落幕的推荐系统顶会 RecSys 2025 上,一篇来自小红书推荐算法团队的论文《Multi-Granularity Distribution Modeling for Video Watch Time Prediction via Exponential-Gaussian Mixture Network》引发了现场技术人员和专家们的重点关注和集体热议。这篇论文最终从全球数百篇顶尖研究中脱颖而出,斩获全球仅五篇的「最佳论文提名 (Best Paper Candidates)」。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

展开全文

要知道,ACM 推荐系统会议(ACM Conference on Recommender Systems, 简称 RecSys)被公认为是推荐系统领域最重要、最顶级的学术会议。自 2007 年创办以来,RecSys 不仅引领了学术研究的方向,更深刻影响了工业界推荐技术的演进。从统计模型到智能算法,RecSys 见证并塑造了推荐系统的每一次重大跃迁。凭借其学术权威性与产业引领力,RecSys 已成为全球学者与企业共同探索智能推荐未来的重要舞台。

每年,这场盛会都会吸引全球大量的顶尖学者与行业专家参与,谷歌、网飞 、Meta 等众多知名科技公司也深度参与其中。因此,能够在 RecSys 上发表论文或斩获奖项,意味着该研究成果获得了国际学术界与工业界的高度认可,代表了推荐系统领域的领先水平。

但其实,早在奖项公布之前,小红书的技术实力和小红书这款产品本身,就已成为会场内外的一个焦点。

「你们的推荐系统,业内领先」

会议期间,小红书的展台异常火爆,常常被围得水泄不通。许多前来交流的专家和技术人员(尤其是来自北美的)本身就是小红书的资深用户。他们对小红书的推荐能力给出了一个极为一致且高度的评价:业内领先。

一位参会者分享了一个令他惊叹的体验:他从美国飞抵布拉格,打开小红书,APP 不仅迅速为他推送了精准的本地内容,更神奇的是,他还刷到了同样来参加 RecSys 会议的其他人发的帖子,并因此在线下认识了新朋友。这种精准捕捉用户即时场景与身份的能力,让这些本身就是推荐系统专家的用户感到非常好奇和赞叹。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

小红书能精准地将内容推荐给相关用户,截图自小红书用户 @momo(小红书校招在逃版)的图文和 @Haiyun Jin 和 @Lucky girl 的评论

这种作为用户对产品的极致认可,直接点燃了这些推荐系统研究者对背后技术的好奇心。

因此,当小红书推荐算法团队(这也是该团队首次参会)分享其关于视频观看时长预测的研究成果时,现场座无虚席。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

论文一作赵旭(Xu Zhao)演讲分享时的现场盛况

事实上,早在论文一作赵旭登台分享之前,就已有大量参会者因其发布的论文摘要而慕名而来,提前在展台与作者们进行交流探讨。

演讲结束后,现场爆发了非常热烈的掌声,演讲者也被热情的同行们追问各种技术细节,展台甚至出现了排队提问交流的盛况。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

演讲之后,小红书展台人头攒动

一位参会者表示,在最终结果公布前,许多人都认为这篇论文是今年最佳论文的最有力竞争者,其最终获奖与否,似乎已不影响它在参会者心中的分量。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

论文标题:Multi-Granularity Distribution Modeling for Video Watch Time Prediction via Exponential-Gaussian Mixture Network

论文地址:

论文标题:Multi-Granularity Distribution Modeling for Video Watch Time Prediction via Exponential-Gaussian Mixture Network

论文地址:

而在会议结束后,这股讨论热潮迅速从线下蔓延至线上。在知乎等社区平台上,众多技术博主与从业者纷纷发表文章,从不同角度对 EGMN 模型进行深度解读和分析。他们普遍认为,这项研究不仅首次系统性地剖析了视频时长预测这一核心行业难题,更提供了一个兼具理论创新与实践价值的解决方案。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

图源:微信公众号 @机器很不爱学习,知乎 @Lucifer & @薯条小姐

「一种传统机器学习的美」

回归本质解决行业难题

那么,小红书的这篇论文究竟解决了什么问题,能引发如此大的共鸣?

要回答这个问题,首先需要理解小红书的业务规模。作为中国领先的生活兴趣社区,小红书已经从 2015 年的 5000 万 MAU(月活跃用户数)增长到 2024 年的 3.5 亿 MAU 以上。在如此庞大的体量下,推荐模型的任何微小改进,都会被放大为用户体验和业务成果上的显著收益。

而这篇论文瞄准的,正是所有反馈信号中至关重要的基础指标:观看时长。

为什么选择建模这个指标?一个重要原因是日活跃用户数(DAU)是小红书推荐团队的 T0 优化目标,而用户的观看时长又是和 DAU 最相关的反馈信号,因此提升用户观看时长往往能带来显著的 DAU 收益。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

观看时长是衡量平台内容质量与用户满意度的关键,尤其在小红书视频场景中,观看时长信号的覆盖率高达 100%。

正是用户观看时长建模这样一个牵一发而动全身的核心问题,成为了小红书推荐算法团队攻关的焦点。同时,这也是一个长期存在的古老难题,严重制约着行业的发展。该团队的工作之所以备受赞誉,首先在于他们首次从一个整体、系统的角度,对这个问题进行了深刻的剖析。

他们发现,用户的观看行为分布极为复杂,呈现出「粗粒度的偏态性」(大量快速划走)和「细粒度的多样性」(不同用户和视频的多峰观看模式)两大挑战。下图的小红书用户观看时长统计数据很明显地展现了这些分布模式。

为此,该团队没有采用更复杂的模型,而是回归问题的本质,提出了一种极具巧思的方案:指数-高斯混合网络(EGMN)。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

该方案的核心是将两种经典的概率分布结合:

指数分布:专门用来捕捉「快速划走」行为。指数分布的特性是概率密度在零点附近最高,然后迅速下降,非常适合模拟这种「没兴趣,立马划走」的场景。

高斯混合分布:用于刻画其他多样化的观看模式,如「观看至结尾」、「重复观看某个片段」等。单一高斯分布是标准的「钟形曲线」,而多个高斯分布混合在一起,就可以灵活地拟合出任意形状的多峰分布,从而捕捉细粒度的复杂行为。

指数分布:专门用来捕捉「快速划走」行为。指数分布的特性是概率密度在零点附近最高,然后迅速下降,非常适合模拟这种「没兴趣,立马划走」的场景。

高斯混合分布:用于刻画其他多样化的观看模式,如「观看至结尾」、「重复观看某个片段」等。单一高斯分布是标准的「钟形曲线」,而多个高斯分布混合在一起,就可以灵活地拟合出任意形状的多峰分布,从而捕捉细粒度的复杂行为。

也就是说,该模型的核心思想不再是直接预测一个单一的观看时长数值,而是预测出在给定用户和视频的条件下,观看时长完整概率分布的各项参数。

其核心公式可以表示为:

简单来说,这个公式的含义是:对于一个给定的场景 x (特征向量,包含用户、视频、上下文等信息),其观看时长为 t 的概率 p (t∣x) 是由代表「快速划走」的指数分布 𝑓_exp 和 K 个代表不同观看兴趣的高斯分布 𝑓_gauss(加权 ω)混合而成的。模型会智能地学习出在不同场景下,这些分布的形状参数 (如 λ,μ,σ) 和权重 ω。

为了让模型训练更稳定、效果更好,该团队还设计了包含极大似然估计、熵正则化和回归损失在内的三目标联合优化策略,确保模型在拟合复杂分布的同时,也能保证预测值的精准度。

更多细节描述请访问原论文。

这种思路因其简洁、清晰且直击问题核心,被现场一位专家盛赞「有一种传统机器学习的美」。它没有盲目追随当下的技术热点,而是将一个有百年历史的经典数学方法(高斯混合模型)加以改进,巧妙地解决了前沿的工业难题。一位论文审稿人在被要求提缺点时,他表示没什么可改进的,并在评审意见中写道:「The paper is already in excellent shape」(这篇论文已经非常出色了)。

一位审稿人给出的评审结果,他还给出了 Strong Accept 的整体评价

线上线下,EGMN 得到了全面验证

优美的思路更需要扎实的验证。EGMN 模型的效果在离线和在线环境中都取得了全面领先。

在四个离线数据集上的实验效果表明 ,EGMN 模型的表现全面超越了现有最优方法:平均而言,平均绝对误差(MAE)相对降低 14.11%,排序一致性指标(XAUC)相对升 7.76%。与次优模型相比,在 Indust 数据集上,其 MAE 降低了 6.75%,XAUC 提升了 5.09% 。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

该团队也进行了线上 A/B 测试。在覆盖 1500 万用户、为期 7 天的线上 A/B 测试中,EGMN 模型取得了显著的业务效果,主要指标均有明显改善。更重要的是,用于衡量预测分布与真实分布差异的 KL 散度指标大幅下降了 19.94%,证明了 EGMN 在真实工业环境中强大的分布拟合能力。

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

该团队也通过消融实验验证了 EGMN 各组件的有效性:

小红书RecSys 2025最佳论文提名背后:破解视频时长预测难题

消融实验结果,可以看到指数与高斯分量以及各损失函数的有效性均得到了验证

此外,为了验证 EGMN 捕获观看时长分布中复杂模式的能力,该团队还分析了 EGMN 的分布拟合能力。

具体来说,他们在由粗到细的三个粒度层面上将 EGMN 与基线进行了比较评估:总体分布、不同持续时长下的分布以及用户-视频特定的分布。结果如下图所示。

从左到右分别为总体分布、不同持续时长下的分布、用户 - 视频特定的分布的拟合结果

评论