能落地的AI视频产品来了！分分钟创作AI短片自带配音和音效美图奇想大模型V5发布

时间: 2024-10-28 02:34:34 |   作者: 产品视频

  



  ，可以辅助创作者打造动画短片、网文短剧、故事绘本和MV，让人人都可以用AI轻松创作短片作品。

  为了提升可控性，美图打造了AI短片工作流，只要输入一小段故事创意，就能用AI快速生成具有完整结构的脚本，接着进行视觉风格、角色形象、角色配音、旁白配音等前期设定的选择。

  下一步，用AI根据前期设定生成分镜图，对分镜图进行局部修改，将分镜图转成视频素材，用台词驱动角色开口说话。

  最后通过智能剪辑、AI配乐、AI音效、自动字幕等功能将所有素材自动串联成片，一条AI短片作品就完成了。

  除了MOKI外，美图还推出专业级AI批量修图软件美图云修V2、用AI制作口播视频开拍V2、面向电商人的AI设计工具美图设计室V3、找优质设计服务的视觉创意平台站酷、游戏物料AI制作与投放平台奇觅。

  6款产品覆盖商业摄影、口播视频、电商设计、设计服务、游戏营销、视频生成领域，将加强完善美图的AI产品生态。

  美图公司创始人、董事长兼首席执行官吴欣鸿宣布，美图奇想大模型（MiracleVision）已升级到V5版本，美图将正在通过将AI单点功能串联成“AI工作流”，进一步助力电商、广告、游戏、影视、动漫五大行业提高生产力。

  随着大模型能力持续升级，未来美图将拓展更多视频创作场景，为创作者提供更简单高效的AI短片工作流。

  在以AI工作流助力行业和用户提效的同时，美图公司全球VIP会员数创下历史新高，截至6月11日，美图全球VIP会员数为1063万。

  今年2月，OpenAI发布AI文生视频模型Sora，并引发文生视频领域的激烈竞赛。

  在Sora发布后，美图第一时间升级了视频大模型技术架构，从U-Net架构升级到了更强的DiT架构，同时还升级了编解码技术，实现了空间域和时间域的同步压缩。

  美图基于与用户需求与产品追求自研视频大模型，升级后的美图视频大模型有6大亮点：更强的模型架构、更大的模型参数量、更准的语义理解、更长的视频时长、更好的动态连续性、更高的画面稳定性。

  美图公司创始人、董事长兼首席执行官吴欣鸿谈道，美图通过AI短片创作工具MOKI解决了视频大模型“故事成片难”、“可控性较差”的问题。

  在他看来，目前市场上的AI视频产品倾向于提供像文生视频这样的常规能力，但美图团队认为只有深度理解创作者的需求、提炼有共性的视频场景，才能打造辅助内容创作的工具。

  以前用视频大模型辅助内容创作会遇到视觉风格、场景、角色不一致，无法用分镜进行整体把控，角色无法开口说话等难点。

  与常规文生视频产品不同，MOKI深度理解视频创作者需求，实现内容和成本的双重可控，目前可以进行多种视频场景的AI短片创作。

  空镜素材对内容可控性的要求最低，生成成本也最低，可灵活应用在各种各样的视频里面；专业影视制作，比如用视频大模型辅助电影电视剧的制作，对于内容可控性有极高的要求，制作成本也是最高的。

  所以基于对内容可控性与制作成本的最大考量，MOKI不做常规的文生视频，而是聚焦于AI短片创作，专注于像动画短片、网文短剧、故事绘本MV等视频场景。

  借助美图奇想大模型的底层能力，可构建一个从前期设定到AI内容生成再到后期制作的AI短片工作流。与传统工作流相比，MOKI大大提升了短片的制作效率，让视频创作更简单高效。

  美图奇想大模型（MiracleVision）发布于2023年6月，是国内首个懂美学的AI视觉大模型，为美图全系产品提供AI模型能力。

  升级到V5版本的奇想大模型（MiracleVision）采用美图自研DiT技术架构，涵盖图像大模型、视频大模型、音频大模型和文本大模型，拥有更好的扩展性与更大的参数量，在语义理解、画面稳定性、动态连续性、主体一致性、内容可控性以及生成时长等方面，获得全方位提升。

  据介绍，美图奇想大模型整合了Weitu AI的多模态能力，能理解图像、视频、音频、文本等信息，让用户使用自然语言交互实现影像创作。例如使用美图秀秀里的AI助手RoboNeo，用户只用简单的自然语言指令，就能完成一系列复杂的AI改图、AI消除等图像编辑功能。

  应用层有AI图像、AI视频、AI设计、AI营销四大模块的多款产品，生态层由中国领先的视觉创意平台站酷和美图AI助手RoboNeo提供服务，模型层由美图奇想大模型（MiracleVision）为全系产品提供AI模型能力。

  “作为一家以美为核心的公司，我们对效果有着极高的要求。只有自研视频大模型，才能以高标准不断的提高效果。同时，只有将模型与产品深层次地融合，做到模型即产品，才能给用户最好的体验。”吴欣鸿说。

  结合美图的应用实践，吴欣鸿分享了三个观点：1）目前AI技术领先于AI应用，AI应用比想象中慢不少；2）好概念≠好产品，将AI概念转化为优秀产品的并不多；3）要让AI帮用户创收，用户愿意为能创造价值的AI产品付费。

  对比传统工作流，AI工作流有五大优势：1）云端与客户端实现算力融合；2）一个人就是一支团队，AI能够自动化解决很多重复性的劳动，还能让非专业人士借助AI解决专业领域的问题；3）AI能提供近乎无限的灵感创意库；4）AI会像搭积木一样，按需调整，用不同的能力组成工作流，从而完成特定任务；5）AI工作流中模型能够基于数据自动迭代，速度远超人工。

  1、美图云修V2：专业级AI批量修图软件，年修图数量已超过5亿张，成功帮助商业摄影门店提升了12倍的精修效率。

  新版美图云修升级了AI批量精修和AI批量调色能力，将修图效率提升到每小时1000张，已开放API服务，实现即传即修即用，进一步帮助商业摄影客户大幅提效。

  2、开拍V2：用AI制作口播视频，月活跃用户数已接近70万，累计内容创作数超过4000万，订阅收入也快速地增长，成为一款月毛利突破百万的AI应用。

  新版开拍升级了AI脚本、AI数字人、视频翻译、一键包装等能力，10秒钟就能学会了综艺感剪辑，不到30分钟就能创作出一条高质量口播视频，解决口播视频创作者的策划、制作、变现等难题。

  3、美图设计室V3：面向电商人的AI设计工具，拥有近1800万个月活跃用户，每月产生超过4000万的电商物料数。

  新版美图设计室升级了AI批量化能力和AI商品视频创作能力，并支持团队多人协作，大幅度的提高电商物料设计产能。

  4、站酷：找优质设计服务的平台，今年上半年加入美图大家庭，已有1700万视觉创意人入驻，拥有4.6亿的正版素材，与超过1500家知名品牌达成了深度合作。

  站酷推出找人高效、流程简单、售后放心的设计服务平台，目前有14类设计服务，连接广大设计需求者和千万级专业设计师，以帮助每一位有设计需求的用户轻松搞定设计，今日正式上线、奇觅：

  游戏广告有制作成本高、投放成本高两大痛点。奇觅AI灵感库提供了热点雷达，实时捕捉全网游戏热点，找到游戏玩家关注度最高的话题，帮助广告策划人员去激发创意；AI广告解析功能能对热门广告的脚本、画面、配音、配乐进行全方位拆解，快速洞察广告火爆的原因。

  在正式投放前，AI投前分析5分钟内就能完成数十条广告的预审核和投放潜力的评估，快速过滤掉高风险的广告，或者说投放潜力低的广告。还有批量创建投放计划，可针对不一样的人群去搭建差异化的广告策略，仅需10分钟就能够实现3000多条不同广告计划的设置。奇觅现已覆盖巨量引擎、华为、OPPO、vivo等主流广告平台，只需1分钟就能直达这些游戏投放渠道。

  随着AI大模型的发展，AI应用将经历从点到线再到面的三阶段。美图打造了众多爆款的AI单点功能，希望把这些单点功能串成AI工作流，帮助电商、广告、游戏、影视、动漫等行业进一步提升生产力。