豆包大模型发布各领域技术进展，首次披露 300 万长文本能力

最新 12 月 30 日消息，字节跳动旗下豆包大模型今日对外公布了 2024 年全领域的技术进展，宣称自 5 月 15 日首次亮相的 7 个月以来，在通用语言、视频生成、语音对话、视觉理解等方面模型能力已经跨入国际第一梯队。

据介绍，截至 2024 年 12 月，最新版豆包通用模型 Doubao-pro-1215 综合能力较 5 月提升 32%，已全面对齐 GPT-4o，在数学、专业知识等部分复杂场景任务中，效果表现甚至更好，同时其推理服务价格仅为 GPT-4o 的八分之一。其经过海量数据优化及模型架构的创新，包括提升模型稀疏度、引入强化学习等，从而使该模型理解精度、生成质量大幅提升。

豆包还首次对外披露了其大模型 300 万字窗口的长文本能力。据介绍，其能够一次轻松阅读“上百篇”学术报告，每百万 tokens 处理延迟仅 15 秒。据最新了解，其背后包括 STRING 等上下文关联数据算法，能够大幅提升 LLM 利用海量外部知识的能力，稀疏化及分布式方案将时延降到十秒级。