10,000 USDT 悬赏,寻找Gate广场跟单金牌星探!🕵️♀️
挖掘顶级带单员,赢取高额跟单体验金!
立即参与:https://gateport.hl.cn/campaigns/4624
🎁 三大活动,奖金叠满:
1️⃣ 慧眼识英:发帖推荐带单员,分享跟单体验,抽 100 位送 30 USDT!
2️⃣ 强力应援:晒出你的跟单截图,为大神打 Call,抽 120 位送 50 USDT!
3️⃣ 社交达人:同步至 X/Twitter,凭流量赢取 100 USDT!
📍 标签: #跟单金牌星探 #GateCopyTrading
⏰ 限时: 4/22 16:00 - 5/10 16:00 (UTC+8)
详情:https://gateport.hl.cn/announcements/article/50848
何恺明团队ELF:语言扩散模型终于跑通
据动察 Beating 监测,MIT 何恺明团队发布语言扩散模型 ELF(Embedded Language Flows)。它没有沿用 GPT 式的自回归「预测下一个 token」路线,而是把文本生成放进连续 embedding 空间里完成,直到最后一步才转换回离散 token。
扩散模型在图像生成里已经成熟,但放到文本上一直很别扭:图像天然是连续信号,语言却由离散 token 组成。此前不少连续扩散文本模型,要么在生成轨迹中反复引入 token 级监督,要么需要额外独立解码器。ELF 的做法更干净:大部分步骤只在连续向量空间里去噪,最终一步再用共享权重网络完成离散化。
实验结果也有冲击力。在 OpenWebText 无条件生成评测中,105M 参数的 ELF-B 用 32 步采样达到约 24.1 的 Gen. PPL,优于多种离散和连续扩散语言模型基线。更关键的是,ELF-B 只用了约 45B 训练 token,而对比方法通常超过 500B,训练 token 少了约一个数量级。这个结果至少说明,连续扩散路线在语言建模里并没有被「语言离散性」堵死,之前的问题更可能出在建模接口和采样设计上。