文章总结: xAI开源X平台ForYou推荐算法x-algorithm,融合内网关注与外网ML检索,利用基于Grok的Transformer模型排名。系统摒弃手工特征,预测15种行为概率并加权评分,实现个性化推送。架构含HomeMixer及Phoenix组件,支持多样性过滤,展示了透明AI与纯ML驱动的设计。 综合评分: 85 文章分类: 产品介绍,其他
xAI开源X平台的“For You”推荐算法:Grok驱动的智能Feed系统揭秘
原创
二道 二道
二道情报贩子
2026年1月20日 16:03 广东
马斯克前段日子说要开源x平台算法,然后今天它来了。
xAI(由Elon Musk创立的AI公司)开源的“x-algorithm”项目
这个GitHub仓库(https://github.com/xai-org/x-algorithm)公开了X平台(前Twitter)“For You” feed背后的推荐算法核心。
它将用户关注的内网内容与机器学习发现的外网内容巧妙融合,通过基于Grok的Transformer模型进行排名,实现高度个性化的内容推送。
截至目前,该项目已收获1.3k星标、228次fork,吸引了众多开发者关注。作为xAI的最新开源举措,这个算法不仅展示了推荐系统的先进性,还体现了“消除手工工程特征和启发式”的设计哲学。接下来,我们将详细剖析这个项目的目的、架构、关键特性以及潜在影响,帮助你全面理解这项技术的魅力。
项目概述:从候选生成到智能排名
x-algorithm的核心是构建一个混合推荐系统,它从两个主要来源获取帖子:Thunder(内网内容,即用户关注的账户最近帖子)和Phoenix(外网内容,通过ML检索发现的相似帖子)。然后,使用Grok-based Transformer模型对所有内容进行排名和过滤,最终输出一个个性化的“For You” feed。不同于传统推荐系统,这个算法完全依赖Transformer从用户互动历史中学习相关性,而非依赖人工设计的特征。这意味着系统能更智能地预测用户对帖子的互动概率,包括点赞、回复、转发等积极行为,以及屏蔽、静音等负面行为。通过这些预测,算法计算出一个综合分数,确保推送的内容既相关又多样化。
(上图为Grok AI的详细技术架构示意图,展示了Transformer模型在推荐任务中的应用适应。)核心目的:个性化与高效的Feed交付xAI开源这个算法的初衷,是为了透明地展示如何通过AI驱动的内容发现和排名,提升用户体验。传统Feed往往局限于用户关注圈,而x-algorithm打破了这一局限,将内网和外网内容无缝整合。具体来说,它预测多种用户行为概率(如P(like)、P(reply)、P(repost)等),并用加权求和计算最终分数:积极行为赋予正权重,负面行为赋予负权重。这样,系统能避免推送低质量或用户不感兴趣的内容,同时确保Feed的多样性和新鲜度。最终目标是创建一个“无启发式”的纯ML驱动系统,让算法从海量数据中自动学习用户偏好。
关键特性:模块化与高效执行这个项目的亮点在于其可组合的管道框架(candidate-pipeline),它支持模块化的阶段设计,包括来源、补充器、过滤器、评分器和选择器。以下是主要特性:
- 双源候选生成:Thunder提供内网帖子(实时内存存储,延迟低于毫秒级);Phoenix使用双塔模型(用户塔编码互动历史,候选塔编码帖子)进行相似度检索,实现外网内容发现。
- Grok-Based Transformer排名:这是从xAI的Grok-1开源模型移植而来,专为推荐任务优化。模型处理用户上下文和候选帖子(通过掩码隔离候选间注意力),输出多行为概率预测。
- 无手工特征:所有相关性均从用户历史互动中学习,避免了传统系统的复杂规则。
- 多行为评分:预测包括点赞、回复、转发、点击、视频观看、分享、停留、关注作者、不感兴趣、屏蔽作者、静音作者和报告等15种行为。最终分数公式为:Final Score = Σ (weight_i × P(action_i))。
- 多样性与过滤:作者多样性评分器减少重复作者帖子;前后过滤阶段移除重复、旧帖、自帖、屏蔽/静音内容、付费墙帖子和垃圾/暴力内容。
这些特性使系统高效、可扩展,并支持并行执行和错误处理。
(上图展示了Grok AI在推荐系统中的技术分析视图,帮助可视化其性能基准和工程洞见。)系统架构:从Home Mixer到Phoenix的深度剖析x-algorithm的架构分为几个核心组件:
- Home Mixer:作为协调者,通过gRPC端点(ScoredPostsService)调用管道,获取排名后的帖子。
- Thunder:实时帖子存储,摄取Kafka事件,提供内网候选。
- Phoenix:双重角色——检索(双塔模型计算点积相似度)和排名(Transformer模型预测行为概率)。
- Candidate Pipeline:通用框架,定义了各种特质,支持自定义阶段。
管道流程详解:
- 查询补充:获取用户互动历史和元数据(如关注列表)。
- 候选来源:从Thunder和Phoenix检索。
- 候选补充:丰富帖子元数据,如作者信息、媒体、视频时长、订阅状态。
- 预评分过滤:移除无效内容。
- 评分:Phoenix评分器获取ML预测;加权评分器计算综合分;作者多样性和外网调整。
- 选择:按分数排序,取前K。
- 后选择过滤:最终可见性检查和对话去重。
这种架构确保了从候选生成到最终输出的高效流动。
评分细节:多维度行为预测Transformer模型的核心输出是行为概率向量,例如:
Predictions:
├── P(favorite)
├── P(reply)
├── P(repost)
├── P(quote)
├── P(click)
├── P(profile_click)
├── P(video_view)
├── P(photo_expand)
├── P(share)
├── P(dwell)
├── P(follow_author)
├── P(not_interested)
├── P(block_author)
├── P(mute_author)
└── P(report)
通过自定义权重,这些概率转化为分数,促进积极互动内容的上浮。
(上图为Grok AI的工作原理示意图,解释了其在内容推荐中的重要性。)安装与使用:Rust与Python的混合开发项目主要使用Rust(62.9%)和Python(37.1%)编写,包括home-mixer、thunder、phoenix和candidate-pipeline等文件夹。虽然README中未提供详细安装指南,但开发者可直接克隆仓库,探索代码。服务器暴露gRPC端点,便于集成和测试。许可证为Apache 2.0,支持自由使用和修改。目前,仓库有1个分支(main),无标签或发布,最新提交于2026年1月19日。无特定贡献者列表,但xAI团队显然是幕后英雄。 xAI开源x-algorithm,不仅为推荐系统领域注入了新鲜血液,还体现了透明AI的理念。在一个内容爆炸的时代,这样的算法能帮助平台更精准地连接用户与信息。
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:二道情报贩子 二道 二道《xAI开源X平台的“For You”推荐算法:Grok驱动的智能Feed系统揭秘》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论