字节跳动 AI 助手豆包被曝开启视频生成内测
最新 11 月 7 日消息,继快手、商汤、Minimax 等公司后,字节跳动正式杀入 AI 视频生成领域。
《科创板日报》称,字节跳动旗下大模型 AI 助手豆包正式推出视频生成内测,支持图片文字一键成片、动态运镜和多镜头一致性、风格比例随意挑选。
据火山引擎总裁谭待介绍,豆包视频生成大模型支持多风格多比例的一致性多镜头生成,可应用在电商营销、动画教育、城市文旅、微剧本等领域。他表示,无论是语义理解能力,多个主体运动的复杂交互画面,还是多镜头切换的内容一致性,豆包视频生成大模型均达到业界先进水平。
此前视频生成模型大多只能完成简单指令,豆包视频生成模型则能实现自然连贯的多拍动作与多主体复杂交互。有创作者在抢鲜体验豆包视频生成模型时发现,其生成的视频不仅能够遵循复杂指令,让不同人物完成多个动作指令的互动,人物样貌、服装细节甚至头饰在不同运镜下也保持一致,接近实拍效果。
据火山引擎介绍,豆包视频生成模型基于 DiT 架构,通过高效的 DiT 融合计算单元,让视频在大动态与运镜中自由切换,拥有变焦、环绕、平摇、缩放、目标跟随等多镜头语言能力。豆包视频生成模型具备专业级光影布局和色彩调和,画面视觉极具美感和真实感。
深度优化的 Transformer 结构,则大幅提升了豆包视频生成的泛化能力,支持 3D 动画、2D 动画、国画、黑白、厚涂等多种风格,适配电影、电视、电脑、手机等各种设备的比例,不仅适用于电商营销、动画教育、城市文旅、微剧本等企业场景,也能为专业创作者和艺术家们提供创作辅助。
目前豆包视频生成模型 Pixeldance 和 Seaweed 已在火山引擎开启邀测,企业可通过火山引擎官网邀测报名入口提交测试申请。最新注意到,即梦 AI 已经接入了豆包视频生成模型,正在进行小范围内测。
相关阅读:
《豆包大模型发布视频生成模型,语义理解精准、画质高保真》
《豆包视频生成大模型正式发布,首次突破多主体互动难关》
《字节跳动豆包视频生成大模型发布:首次突破多主体互动难关,支持多风格多比例的一致性多镜头生成》