目录
一、案例:纪实易失真,分镜难一致
二、原因:意散实虚逻辑空
三、应对:善放权,巧选材,用附图
四、小结:模型千好万好,契需才是真好
最近3周微信公众号都被ChatGPT Image 2.0刷爆了。
它的真实感、中文渲染、结构化布局、2K分辨率、多图生成能力实在是太强了,赶超Nano banana 2,吊打国内生图工具。
没曾想,我玩着玩着居然就撞见了它的翻车现场。
就在生成我以前没玩过的高难度动作时候,我就发现它有时候没法分辨图像主角的左右。
这个漫天都是"登上王座"的通告、满屏都是GPT实测用例的生图模型,被我瞧见了它落寞的一面。
于是我就在想,到底是什么在为难当前世界第一的生图模型呢?
我想到了个答案,用户角度看,那就是复杂图片,就是出一次图能在图上反映很多AI能力的图片。
一般而言,AI生图能力从指令遵循、想象创造、逻辑性、文字渲染、事实准确、一致性等方面去评判。
从AI生图模型问市到目前,我们见证了N个模型的更新,其中指令遵循、文字渲染能力、事实准确性明显提高,但想象创造、逻辑性和一致性方面,就要看具体模型的能耐了。
越是需要图片兼顾多面,我们就越容易看到生成结果的问题。比如下面这几种情况。
一、案例:纪实易失真,分镜难一致
这里我选用ChatGPT Image 2.0、Nano banana 2和国内龙头模型Seedream 5.0生图分析。
朋友圈
(左由chatgpt生成,中由banana生成,右由seedream生成)
提示词:
画一张照片:"宋朝人的朋友圈"/"SONG DYNASTY SOCIAL MEDIA FEED",古今穿越幽默融合界面设计风格,画面模拟手机社交媒体界面,但内容全部是宋朝场景头像是宋代文人画像,用户名"苏东坡SuShi_Official",发布内容"刚到黄州,被贬了但心情还行。今天自己做了东坡肉,味道绝了,附菜谱:",配图为工笔画风格的东坡肉特写,点赞列表"苏辙、黄庭坚、秦观、佛印等126人",评论区是苏辙、黄庭坚、王安石、司马光在评论,苏东坡都回复了他们,具体评论内容请根据情境自由发挥。界面元素如点赞图标用宋代花纹替代,状态栏显示"大宋移动 5G"和"元丰三年",配色为手机深色模式搭配宋代雅致色调,历史与社交媒体的趣味碰撞杰作
这主要考验生图模型的指令遵循、事实准确和文字渲染能力。
3个模型的指令遵循OK,但细看会发现事实准确上的些许问题。
ChatGPT Image 2.0生图中,司马光的回答有问题,苏东坡发朋友圈的时候东坡肉才诞生,并没有"名声在外"之说,而且他明显也未品尝,"今日一尝"说法有误。这也犯了时间逻辑问题。
Nano banana 2生图中,苏辙的"哥哥"和"轼"的称呼让人出戏。
Seedream 5.0生图中,这个"苏辙"的回复显出不关心哥(不知道哥的情况)。另外还有好几处文字渲染的问题。头像未作具体要求,结果比较敷衍。
宣传海报
提示词:
生成一张横板城市文旅宣传海报,目的地为"广汉·长江文明之源"。画面以手绘插画风格呈现,上方三分之一是三星堆实景摄影配水彩晕染天空,中间三分之一以手绘地图形式展示各景点,并标注景点位置和步行距离,每个景点配一个精致的水彩图标。下方三分之一排列旅行实用信息:高铁站点,推荐的酒店或民宿(展示价格),必吃食品。要配小图标。主标题"广汉·雁江晓月映三星"/"GUANGHAN·DREAMING BACK TO ANCIENT SHU",青铜元素,古蜀文明的配色。
这考验的能力同上面一样。不过此处AI的事实准确就破绽百出了。
(chatgpt生成)
ChatGPT Image 2.0图像中,现实中不存在的"雁江楼"出现了,步行时间和酒店民宿基本瞎说。它并没有精准的地图定位能力。但相比其他两个模型而言,已经算够好了。
(banana生成)
Nano banana 2还有凭空出现"雁江晓月"景点,图像上部非基于实景而来的问题。Seedream 5.0还多了文字渲染问题,指令遵循令人大跌眼镜。
(2图:Seedream生成)
(PS:广汉的"雁江"是"鸭子河"的古时称法)
彩色漫画
提示词:
彩色现代都市漫画风格,清晰4格漫画。
【主角阿强:戴灰色领带,挂清晰可见的"红色Logo+阿强"工牌,右手戴银色机械表。】严禁文字乱码、畸变。
【格1:准备】茶水间,阿强背后有一面小型简单的四方镜子。阿强左手拿"黄色笑脸"马克杯,右手握透明玻璃热水壶往杯里倒水,透过玻璃能见折射。对话:"元气满满一天。"
【格2:疏忽】转头看桌上震动手机,水快满溢。侧光照在工牌。对话:"谁发消
息?"
【格3:事故】紧凑特写:热水满溢沿杯缘流出,桌上水流流向手机。笑脸杯依然一致。对话:"哎呀!要湿!"
【格4:狼狈】手忙脚乱放下水壶抓手机,水壶撞桌溅起水花。领带歪斜,工牌晃动。对话:"呼……还好手机没事。"
像这种指定了大幅的剧情,有环境,尤其是室内环境的漫画或者分镜图片,一致性和逻辑性就很容易崩坏。
(chatgpt生成)
看吧,ChatGPT Image 2.0的图中,第三格水不像水、像凝胶,镜子和手机所处位置发生变化。
(banana生成)
Nano banana 2的图中,阿强的行为逻辑有问题,第三格手应该托着杯把手而不是杯身,镜子和手机所处位置发生变化,最后一格杯子消失。
(Seedream生成)
Seedream 5.0生成的是4张分镜图。图中,因未严格按照指令生成,导致阿强的行为逻辑有问题,不是先放杯子水再溢满,而是先于空中倒水导致溢满,后放桌子水流出。第四格饮水机变矮了,第三格的话语框标示错误。
二、原因:意散实虚逻辑空
复杂图问题频出的原因是多样的。
第一个原因就是复杂图会稀释模型注意力。具体有2个表现:
1.模型无法兼顾多维度。维度就是上面提到的6大评判维度。6个维度的目标会形成竞争,模型生成或优化图像时难以同时满足。
2.多要求下模型易绑定混乱。复杂图片通常有很多主体、配件、动作、背景、文字和风格要求。模型需要把提示词中的每个词绑定到图像中的对应区域。但提示词和图像区域之间的对应不是完全精确的。要素越多,要求越多,绑定错误的概率越高。
第二个原因就是生图模型按"视觉相似"而不是按"符号逻辑"来存储、生成图片。具体指:
1.它在训练时,不会将海量的"事实"(比如上面苏东坡的社会关系及、埃菲尔铁塔的高度)结构化储存为类似百度百科的事实数据库。
2.在生图时,也不能精准检索,当找不到100% 匹配的信息时,它会根据"概率"进行"幻觉创作",生成"视觉上可信"(比如像人、像城市)的东西。但可信感不等于事实准确。
因此所涉事实信息、逻辑一复杂,得到能用的图像就越难。
第三个原因就是AI生图模型缺乏"3D 物理引擎"直觉。它只有 2D 像素的统计规律,具有空间盲区,无法通过物理建模来推导形变,只能靠幻觉填充。
所以世界数一数二的生图模型,才难以保证生成图片的事实准确性和一致性。
三、应对:善放权,巧选材,用附图
当然也会有应对这些问题的方法。
这里主要讲无门槛、适用小白的办法。
技巧1:放权给生图模型。
刚也讲到了,要求太多,模型会分散注意力。所以我们不妨试着相信模型,给他们自由发挥空间。
当然这个挺考验生图模型的想象创造力。不过目前还是有一些想象创造力高的模型,善解人意,能读懂我们未曾说明的潜在要求,比如ChatGPT Image 2.0、Nano banana 2。
对于这类模型,我们输入的指令不需要很详细,甚至只需输入一句话,就能得到基本满意的作品。因为它们能自动扩充未提及的维度和细节。
若是使用想象创造力较次的模型,则可以套用提示词模板,仅在关键地方作要求,将细节放权给模型。
技巧2:现实题材找大众,商业需求附图生。
若要立足现实的素材进行创作,比如景点、影视IP,则最好选择大众或热门素材,这样模型生成的图像就更易基于现实形象创作,想象延伸情况少,事实准确性更高。
若是商业作图,必须根据公司品牌、本地景点、独有IP生图,则将素材附件加入或融入生成图中,才是最省力做法。
四、小结:模型千好万好,契需才是真好
"模型千好万好,契需才是真的好"。每次看见别人生成的优质复杂图,我们就急着搜集提示词。但有时候又苦恼,明明就基于此根据自己需求改了一点点,为什么生成结果总是不符要求或差些火候。
其实就是差"修成自己专属库存"的环节。
当你对各生图模型的特点烂熟于心,不陷于它们的固有缺点,熟练运用对付缺陷的方法,形成一套自己的生图处理体系,或许你在不知不觉中就成了游刃有余的生图高手。
说不定,还能让这些模型的缺点成为你的笑料。
今天的分享就到这里了,若你对复杂图片问题处理还有其他方法,欢迎在评论区分享和讨论。若你还想了解更多AI资讯、AI工具,掌握AI干货和提示词技巧,可私信或留言哦~~