引言
随着人工智能技术的飞速发展,大模型(Large Language Model,LLM)已经成为研究的热点。本文旨在为您一网打尽最新的大模型研究成果,帮助您深入了解这一领域的最新进展。
1. 腾讯混元大模型
1.1 混元 Large 开源模型
腾讯混元团队发布了业界最大参数规模的 MoE 开源模型腾讯混元 Large。该模型在高质量合成数据、先进的模型架构和混合专家路由策略、以及优化的模型训练策略共同加持下,在广泛的基准测试下获得了优异的性能。
1.2 Scaling Law
腾讯混元在《Surge Phenomenon in Optimal Learning Rate and Batch Size Scaling》中深入探索了大模型批大小和最佳学习率之间的 scaling law,挖掘出的规律成为 Hunyuan 大模型系列高效训练的理论指导。
2. 360多模态及文档理解大模型
2.1 多模态大模型LMM
360人工智能研究院的冷大炜博士在演讲中重点介绍了360在多模态大模型方向的最新研究成果和进展。多模态大模型LMM通过自然语言进行多模态识别能力展示。
2.2 文档理解及知识图谱增强大模型
360人工智能研究院的刘焕勇博士分享了360在文档理解及知识图谱增强大模型应用实践方面的研究成果。
3. 豆包大模型团队开源RLHF框架
3.1 HybridFlow
字节跳动豆包大模型团队与香港大学联合提出 HybridFlow,一个灵活且高效的 RL/RLHF 框架。该框架采用混合编程模型,融合单控制器(Single-Controller)的灵活性和多控制器(Multi-Controller)的高效性,可更好实现和执行多种 RL 算法,显著提升训练吞吐量。
3.2 强化学习在大模型中的应用
强化学习(RL)对大模型复杂推理能力提升有关键作用。在大模型后训练(Post-Training)阶段引入 RL 方法,已成为提升模型质量和对齐人类偏好的重要手段。
4. 北大彭宇新教授团队开源细粒度多模态大模型Finedefics
4.1 Finedefics
北京大学彭宇新教授团队提出的细粒度多模态大模型 Finedefics,通过提示大语言模型构建视觉对象的细粒度属性知识,并通过对比学习将细粒度属性知识分别与视觉对象的图像与文本对齐,实现数据 - 知识协同训练。
4.2 细粒度视觉识别
Finedefics 在 6 个权威细粒度图像分类数据集上的平均准确率达到了 76.84%,相比 Hugging Face 2024 年 4 月发布的 Idefics2 大模型提高了 10.89%。
5. 大模型推理加速新范式
5.1 Falcon
中国电信翼支付针对大模型推理加速的最新研究成果《Falcon: Faster and Parallel Inference of Large Language Models through Enhanced Semi-Autoregressive Drafting and Custom-Designed Decoding Tree》已被 AAAI 2025 接收。
5.2 投机采样
Falcon 采用增强半自回归投机解码框架,旨在增强 draft model 的并行性和输出质量,以有效提升大模型的推理速度。
总结
本文为您一网打尽最新的大模型研究成果,涵盖了腾讯混元大模型、360多模态及文档理解大模型、豆包大模型团队开源RLHF框架、北大彭宇新教授团队开源细粒度多模态大模型Finedefics以及大模型推理加速新范式等多个方面。希望这些研究成果能够为您的学习和研究提供有益的参考。
