
新闻
家东谈主们开yun体育网,是这么的,前几天上网冲浪,刷到了这么一条视频。
诚然能看出来是 AI 生成的,但本来就很心爱《教父》这种暗黑风的我,依然被这短短 90 秒硬控住了……
话未几说,全球先通盘观赏一下:
这阴暗的环境、严肃的东谈主物神态、还有病笃的剧情,太对味儿了。
这条短片里,一共有四个主东谈主公,还波及好多复杂的场景和光效,画面尽然一直都没崩。
深扒了背后的 AI 创作经由之后,终局让我大受轰动啊!
本来以为这片子的使命流可能就和日常的 AI 生成一样,无尽地修改提醒词 + 抽卡,抽出一个能用的首帧图片,再图生视频。
反复上头的经由,凑出通盘视频段落,拼起来,这么身手拼凑保抓跨片断保抓东谈主物一致性。
比如主角老翁在 14 秒、1 分 10 秒都出现了,若是你念念让东谈主物的脸不崩,就得无尽抽卡 + 图生视频轮回,或者是训个 LoRA 模子,把东谈主物框定好:
但这个短片的制作经由,只用了这四张东谈主物像片,再配上一些文本 Prompt,就可以导上演来了。
也等于说,至极于平直给你提供了 4 位现成的演员,你只用作念导演辅导他们就好了??
这比之前靠玄学出片的 AI 短片制作来说,确实是降维打击了啊。
不卖关子,其实这是 MiniMax 家的海螺 AI最近推出的新功能——主体参考,你只需要上传需要的东谈主物图片,它就可以自动识别出东谈主物,让他们听你的话,帮你演戏!
有了这个功能,短剧制作的资本将会大幅裁减,统统制作经由都可能会被 AI 视频模子颠覆。
如何作念到的?
底下咱们来详备了解一下"主体参考"功能的旨趣。
它最大的立异之处,就在于把"文生视频"和"图生视频"的优点给结合起来了。
文生视频的优点,是通用性、泛化性和组合性都可以,可光靠翰墨来限制,细节上很容易出现偏差。
图生视频诚然能让生成的视频牢牢撤职首帧图片,相等精确,但问题是解放度不高,何况首帧图片的精确信息和翰墨姿首之间也可能存在矛盾。
针对这些问题,MiniMax 公司长远分析了自家的三模态自研基座模子,他们合计,这三个模态的智能不是皆备孤苦的,其实是能彼此促进、共同跨越的。
言语推行上是智能的通用器具,大言语模子对视觉和言语宗旨的跨模态底层交融智商亦然很强的。
在这个念念法的基础上,海螺 AI 自研了基于单张图片的主体参考功能,相等接近东谈主类处理视觉和翰墨信息的方式。
比如濒临一张图片,模子会先把图片里的"主体"这个视觉信息索取出来,然后用户就能用翰墨解放地去操控,还能把主体的视觉细节还原得至极准。
这么一来,一个主体既能精确地保抓蓝本的方式不变,又能按照用户的念念法解放地作念出各式行径、发扬出各式现象。
经过测试,哪怕只用一张东谈主物图片,也能杀青精确收复。
比如只上传一张经典 meme 东谈主物,就能生成多场景视频:
你可以让金馆长在酒吧里舞蹈、或者吃点意大利面:
生成视频的质地,和给到图片的了了度平直有关,测试下来,即使梗图不算了了,海螺 AI 也能保抓东谈主物还原,当作当然。
再来和另一条时刻蹊径查验LoRA东谈主像模子对比一下。
MiniMax 也计划过 LoRA 决议,但他们发现,比较于精调的 LoRA,主体参考使用的图片参考决议生见效果上限大略更高。
此外,主体参考的决议,相较 LoRA 决议,也大幅裁减了用户输入与运筹帷幄资本。
比如相同的视频,海螺 AI 需要 1 张图片输入 + 时常一次生成的资本,而使用 LoRA 决议的模子则需数十个不同维度的视频、超 100 倍单次生成运筹帷幄量,外加数十分钟恭候时辰。
当今海螺 AI 源流通达的主体参考智商主要针对单个东谈主物,后续还会拓展到多东谈主、物体、场景等更千般化的参考。
外星东谈主和动漫作风的也可以生成:
若是你也念念尝试一下主体参考的新功能,操作要领也相等浅近。
你只需要在海螺 AI 创意视频平台中聘任"主体参考"创作区后,上传一张图片即可创建参考脚色。
然后不才面的文本框内输入 Prompt,就可以生成豪阔创意的高质地视频。
何况在使用过程中,咱们还慎重到它在以下方面生见效果也相等出色。
东谈主物面部细节一致
在用东谈主物特写生成视频时,可以看到东谈主物的面部细节在多个视频中都能得到很好的保留。
不仅是轮廓和五官,致使包括眉毛、眼影、发型都有很强的一致性。
尤其是脚色脸上这三颗痣,在 3 个视频终局中都保抓的固定的位置,且了了可见,当今唯有海螺 AI 一家模子可以作念到这么的细节一致性。
复杂姿势与神态
在当作,环境上,也大略杀青解放组合,致使用神态传递热枕,也可以杀青。你可以操控东谈主物生成更多复杂的姿势,比如折腰、侧脸等等。
先来让图片中的女士挑战一下折腰的当作:
Prompt:在这略显空旷的房间之中,一位长发女东谈主静静地伫立着。后光透过窗户,洒在她的身上,勾画出一谈寥寂的身影。只见她体态略显僵硬,双肩微微下千里,仿佛承受着无形的重压。她的头颅逐渐低下,当作从容而千里重,如同被岁月的沧桑拖拽着。颈部的肌肉紧绷,青筋隐隐骄矜,似乎在勤劳克制着某种热枕。下巴逐渐迫临胸膛,几缕发丝从额前滑落,遮住了她泰半的容颜,让东谈主难以看清她此刻的格局。
在侧脸这个比较小众的主题上,海螺 AI 也作念到了让镜头的颐养和头发的清爽相等丝滑:
Prompt:当然征象布景,画面中一位女性线条利落却又不失柔软的侧脸,宛如一幅淡雅的古典画卷在目下徐徐伸开。她的额头宽广而平整,长发被风吹动。高挺的鼻梁犹如一座峻峭的山脊,从额头平直地蔓延而下,线条优好意思。她转过火,对着镜头,优雅地笑了一下。
AI 出片,依然要时刻措置愚弄瓶颈
Sora 的横空出世点亮了视频生成的赛谈。而纵不雅时刻和愚弄发展近况,当今主要瓶颈在于,时刻真确投入分娩环境,杀青行业愚弄。而要让视频真确承担起叙事任务,就必须把东谈主物一致性的门槛打下来
可以说,有了"主体参考"功能后 ,冲破了跨视频片断的主体一致性的创作痛点,让用户在进行更无缺内容抒发的视频创作时,可将更多元气心灵放在内容抒发上。
关于AI 短剧、AI 告白等以东谈主物为主体的行业,这个功能可以大大升迁创作效能,裁减创作资本,带来更大的念念象空间,鼓动行业投入 "东谈主东谈主都是会掌镜、懂拍摄的好导演" 的新期间。
MiniMax 诚然是一家建立刚刚 3 年的国内初创公司(建立于 2021 年 12 月),但在 AI 畛域已赢得权贵设立。
海螺 AI 在国外超 180 个国度和地区也获利了热度与招供,成为国外 AI 疑望者口中的热词,也被视为代表中国先进 AI 时刻的代名词。
视频模子海螺 AI,自推出起就发扬相等出色,在 VBench、Video Arena 等多个国际巨擘评测榜单的第三方孤苦测试中空洞排行第一,在画面质地、连贯性、畅通性等多维度处于率先地位。
AI 产物榜 12 月榜单
在国内视频模子畛域,多是头部互联网大厂 "豪恣出古迹" 的恶果。当今放眼望去,快手的可灵、将来值得期待的字节即梦 AI是大厂中退却冷漠的力量。
MiniMax 则凭借团队科研实力、前瞻的时刻蹊径聘任和多模态并举的战略,成为创业公司中唯独能和大厂掰手腕的一家。
将来,视频模子行业的竞争会愈加千般化,包括个性化创作的制定、分娩经由的专科度、愚弄的行业、各家公司的时刻荟萃和立异等等。
也将愈加看重与其他时刻的协同发展,如与智能体、编造现实、增强现及时刻结合,为用户带来更千里浸式的感受。
期待有更多像 MiniMax 一样看重时刻立异、敢于探索的公司,能为咱们带来愈加智能和优质的模子体验。
点击官网勾引即可体验"主体参考"新功能哦:
国内用户创作进口:hailuoai.com/video/create
国外用户创作进口:hailuoai.video/create开yun体育网
Powered by 开云·kaiyun(全站)体育官方网站/网页版 登录入口 @2013-2022 RSS地图 HTML地图