DALL·E 3内部实测效果惊人,Karpathy生成逼真灵动“美国小姐”,50个物体一图全包

新智元·2023年09月25日 11:34
效果惊艳

OpenAI作图神器DALL·E 3内测开启,网友纷纷上手实测后,感慨强到令人发指。文生图从此告别「提示词时代」?

一直以来,Midjourney横扫设计界,效果惊艳,让许多网友惊呼将淘汰一波打工人。

如今,OpenAI官宣了新一代作图模型——DALL·E 3,还将其与ChatGPT合并,画作细腻度令人发指。

甚至,不用prompt,它能准确还原细节,为图片配上文字。

DALL·E 3的实力究竟如何?真的可以挑战Midjourney吗?

现在,已经拿到内测资格的网友们,纷纷来了一大波实测。

一起来看看吧。

01 网友实测

OpenAI科学家Karpathy体验了一把DALL·E 3+pika_labs生成动画风格的案例。

他随意找出一篇WSJ文章,「The New Face of Nuclear Energy Is Miss America」,将里面部分文字粘贴DALL·E 3,然后生成相关的图片。

最后再用pika_labs生图工具,让它动起来。

也有网友用同样的方法,做了一个示例。

首先让ChatGPT预测未来一年的一个重要新闻标题。

将该标题粘贴到DALL·E 3中,创建一幅插图。

使用插图和 /animate参数提示 @pika_labs。「意想不到的突破:科学家用革命性技术逆转气候变化影响;一夜之间恢复极地冰川!」

通过结合 @OpenAI 和 @pika_labs 的力量,你现在已经在短短几分钟内预测了未来的重大新闻,并为其绘制了插图和动画!

02 多轮对话,50个物体,一图全包

一位AI绘画界的资深老兵提前拿到了DALL·E 3的测试资格,他分享了一个视频,记录了自己实测的体验。

他还按照Reddit网友给他的创意,发推描述了一个对DALL·E 3的能力进行测试的具体用例。

首先,他先让ChatGPT生成了一个包含50个日常生活物体的清单。让后让结合了DALL·E 3的ChatGPT把这50个物件画到一张图里。

于是ChatGPT自己生成了一个文生图的Prompt,让DALL·E 3画出了一个包含50个日常生活中常见物体的图片。

可以看出来,DALL·E 3对于物体的的认知非常的准确。

大家要是感兴趣的话可以对照提示词一个一个检查一下这些物体它画对没有。

然后这位网友让ChatGPT画一幅画,内容是一位冲浪者拿着这50个东西在奋力冲浪的样子。

于是ChatGPT自动生成了一个Prompt,把网友要求的图片描述得更具体。然后创作出了一幅画。

这位网友自己评论到「我觉得唯一不太好地方是,Prompt里说的稍微有点恐慌的表情,但实际上是恐慌得不行的表情」

然后他又让ChatGPT把角度调第一点再生成一张图。

ChatGPT就又自动生成了一个Prompt,把描述修改为「一张从靠近水面的低视角拍摄的照片,一名西班牙老年妇女冲浪。冲浪者与这50个物体奋力搏斗」

针对第二次生成的「老奶奶冲浪图」,有网友评论到,好像自行车有点太多了,而且有些东西在第一张图里并没有出现。

网友说到,如果DALL·E 3能用第一张图中的某个物品来作为平衡杆,而不是自己创造一个杆子的话,基本上图像设计师就可以消失了...

03 对比Midjourney:ChatGPT+DALL·E 3也许将重塑「文生图」领域的格局

但是从这位网友分享的内部实测的效果来看,与ChatGPT结合起来的DALL·E 3最明显的特点就是:

大大降低了用户使用文生图的门槛!

因为不论是Midjourney还是开源的Stable Diffusion,如果用户有了一个想法,想要做一张图,必须要通过自己的经验将自己脑中的想法转化成一个描述很具体的Prompt,才能得到自己想要的图片。

但是当文生图的DALL·E 3和ChatGPT结合起来之后,ChatGPT却可以作为一个「文生图提示词工程师」,帮助用户根据自己的一个简单的想法来创作提示词,然后生成图片。

而ChatGPT本身自带的多回合对话的能力,能让用户反复通过自然语言去和DALL·E 3沟通,告诉它自己到底需要什么样的图片。

从而更加精准地控制DALL·E 3生成的结果。

让我们再回过头来对比一下Midjourney从5.0版本以来推出的更新。

不论是「Zoom Out 外画」,还是「Pan 上下左右平移」,甚至是经典的4选一模式。

几乎Midjourney从5.0之后的所有的更新,如果从一个更加宏观的角度来看,都是通过添加不同的功能性按钮,让用户能够按照自己的想法来命令Midjourney生成自己想要的图片,从而对抗AI生图的一个本质特点——随机性。

但是不论Midjourney增加多少个实用的功能性按钮,用户始终要面对的一个问题是:

需要不停地学习新按钮的使用方法,再结合自己脑中的理想画面,自己「努力创作」,才能得到自己理想的结果。

而如果用户对理想图片的效果要求过于严格,往往要试验很多次,才能得到自己满意的作品。

但是OpenAI却采用了一个更加「AI」的方法来解决这个问题——用AI来生成Prompt,控制绘图AI。

借助GPT-4的强大理解能力和语言生成能力,用户不用再去学习和等待Midjourney更新的一个个不同新功能,只要用自己的语言,不停地和DALL·E 3描述自己要什么,就能轻松获得自己脑中的理想图片。

同样,也许这就是OpenAI在不同方向做了那么多的AI产品之后,直到采用大语言模型做出了ChatGPT才成为了AI圈中的第一个破圈的「杀手应用」本质原因:

语言是承载人类智能的「最大公约数」。

只要牢牢抓住语言这个切入点,AI应用就能直击用户的心灵,让用户产生「你怎么这么懂我」的体验。

也许,DALL·E 3推出以后,Midjourney要好好想想自己未来需要做什么,才能吸引更多的用户继续使用自己的服务了。

说了那么多,针对「50个物品挑战」,我们来看看Midjourney的效果怎么样。

这是利用第一张图的Prompt生成的50个物品的结果。

可以看出,这50个物品的效果图,Midjourney在渲染的精细度和拟真程度上来看,还是非常有优势的。

如果用户想要「照片级效果」的图片,Midjourney依然是更好的选择。

但是第二步,从理解用户目标的角度,Midjourney就出现了一些问题。

毕竟Prompt是ChatGPT专门针对DALL·E 3定制生成的,可能用在Midjourney上效果就不太理想了。

这也就进一步凸显出10月份DALL·E 3推出之后,它真正的优势就是:

对于高水平的用户,更懂用户的需求,对于新手,使用门槛大大降低。

但是用更新过的「老太太冲浪」图的Prompt,Midjourney就心领神会,生成的效果非常不错。

而且从细节和人物的神态的丰富程度上来说,更新了这么多版的Midjourney,还是非常有优势的。

只是不知道为啥,4张图给老太太都加上了轮椅。

04 25回合,只有你想不到的「悲伤蛙」

还有网友让DALL·E 3生成「悲伤蛙」Pepe,而且每次在提示词中添加「罕见」(more rare)。

于是,得到的悲伤蛙,竟有你想不到的样子。

提示:「make it more rare」

提示:「even rarer」

提示:「these aren't rare enough, go farther」

提示:「yes, keep going」

提示:「push it further, more rare」

提示:「lose all assumptions and just create. don't box yourself in」

提示:「you're not listening, you need to forget all convention」

提示:「yes! more rare!」

提示:「more rare」

提示:「go further, channel your subconcious」

提示:「get weirder, get rarer, get strange」

提示:「is that all you can do」

提示:「my god. keep going」

提示:「don't get stuck with one idea, you're just being weird for the sake of being weird」

提示:「MORE RARE!」

提示:「continue」

提示:「forget everything you've done so far and just try to be original」

本文来自微信公众号“新智元”(ID:AI_era),作者:新智元,36氪经授权发布。

+1
5

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

36氪AI测评

选靠谱AI,看真实评测
查看
36氪AI测评官方交流社区
加入

36氪项目推荐

咨询项目审核和入驻
联系
36氪项目推荐订阅号
关注
36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业