{dede:global.cfg_webname/}

当前位置: 首页 > 资讯 > 互联网 > 正文

AI绘画完全可以做到指哪打哪,随手一个拼图画生成了真实场景

来源:量子位    时间:2023-03-24 21:59:02

  3月24日,现在,AI绘画完全可以做到指哪打哪了!

  这边哈士奇,那边牧羊犬,背景在下雪天。

  啪叽!一幅画就这么完成了。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  这个最新MultiDiffusion模型,不管选的区域位置有多离谱,它都能给你画出指定的东西来。

  比如,你能看到大象和奶牛同时握草??

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  而且在线可试,亲测大概15秒就能出,你甚至可以看到泰勒与爱因斯坦跨时空同框。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  要知道以前AI绘画最大的一个bug就是不可控,但现在人类拥有了更多的控制权。

  总之就是,想画什么就画什么,想往哪画就往哪画!

  有网友赶紧上手试了试:Not Bad!

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  想往哪画就往哪画

  从效果来看,主要有三个方面的应用。

  文本到高分辨率全景生成;

  精确区域生成;

  任意长宽比粗略区域生成。

  首先,只需要一句话,就可以生成512*4609分辨率的全景图。

  一张有滑雪者的雪山顶峰的照片。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  摄影师也不用爬楼了,直接获得城市夜景图。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  当然更为主体功能,那就是给特定区域单独提示,然后AI绘画就来指哪画哪。

  比如在黑色部分是一个明亮的盥洗室,红色区域是一面镜子、蓝色部分是花瓶、黄色部分是白色的水槽。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  就这么随手一个拼图画,结果就生成了真实场景。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  不过也有一些bug,像一些超现实的,他就有点太天马行空了。

  比如三体人在宇宙中大战人类。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  当然也可以无需那么精确,只需标个大致位置,还支持任意长宽比的图像。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  蓝色部分是埃菲尔铁塔、红色是粉色的云、绿色是热气球 。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  关键是各种构图都十分地合理、场景效果以及实际物体相对大小也都十分精准。

  图像生成可控

  背后的这个模型叫做MultiDiffusion,这是一个统一的框架,能实现多功能和可控的图像生成。

  以往即便Diffusion模型给图像生成带来变革性影响,但用户对生成图像的可控性、以对新任务的快速适应仍是不小的挑战。

  研究人员主要是通过重新训练、微调,或者另外开发工具等方式来解决。前不久爆火插件ControlNet正是解决了图像生成的可控性,

  而MultiDiffusion无需进一步训练或微调,就可一次实现对生成内容的多种灵活控制,包括期望的长宽比、空间引导信号等。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  简单来说,MultiDiffusion的关键在于,在预先训练好的扩散模型上定义一个全新的生成过程。从噪声图像开始,在每个生成步骤中,解决一个优化任务。

  然后再将多个扩散生成过程与一组共享的参数或约束结合起来,目标是将每个部分都尽可能去接近去噪版本。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  即便有时候每个步骤都可能会将图像拉向不同的方向,但最终融合到一个全局去噪步骤当中,得到一个无缝图像。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  来自魏茨曼科学研究所

  这篇论文主要来自位于以色列雷霍沃特的魏茨曼科学研究所。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

  两位共同一作Omer Bar-Tal、Lior Yariv分别是魏兹曼科学研究院计算机科学和应用数学系的研究生和博士生,后两位分别是他们的导师。

爱因斯坦霉霉同框只需15秒!最新可控AI一玩停不下来

△左:Omer Bar-Tal;右:Lior Yariv

  好了,感兴趣的旁友可戳下方试一试哦!

  https://huggingface.co/spaces/weizmannscience/MultiDiffusion

  主页链接:https://multidiffusion.github.io/

  论文链接:https://arxiv.org/abs/2302.08113

声明:来源非IT商业科技网的作品均转载自其它媒体,转载请尊重版权保留出处,一切法律责任自负。文章内容仅供阅读,不构成投资建议,请谨慎对待。投资者据此操作,风险自担。转载稿件或作者投稿可能会经编辑修改或者补充, 如有异议可投诉至:Email:342 4350 938@qq.com

频道精选
AI绘画完全可以做到指哪打哪,随手一个拼图画生成了真实场景

AI绘画完全可以做到指哪打哪,随手一个拼图画生成了真实场景

  3月24日,现在,AI绘画完全可以做到指哪打哪了!  这边哈士奇,那边牧羊犬,背景在下雪天。  啪叽!一幅画就这么完成了。  这个
2023-03-24
文明游玩!私自投喂大熊猫将可能给它们带来不可逆的伤害

文明游玩!私自投喂大熊猫将可能给它们带来不可逆的伤害

  3月24日,据白鹿视频分享,3月22日在四川成都大熊猫研究基地,游客看到一只熊猫幼崽科念,正在啃掉落地上的口罩,很是担心。  幸亏后
2023-03-24
剧版《三体》豆瓣评分已上涨至8.7分,共有36万多名观众给出评分

剧版《三体》豆瓣评分已上涨至8.7分,共有36万多名观众给出评分

  3月24日,今年1月15日,根据刘慈欣同名小说改编的电视剧《三体》在腾讯视频、CCTV-8电视剧频道上线开播,就口碑来看,网上对该剧的评价
2023-03-24
标准版售价348元,《生化危机4:重制版》正式上线

标准版售价348元,《生化危机4:重制版》正式上线

  3月24日,《生化危机4:重制版》今天已经正式发售,同步登陆主机、PC等平台,包括PlayStation5、PlayStation4、Xbox Series X|S和Ste
2023-03-24
曾毓群回应燃油车大幅降价促销对新能源车影响:新能源车综合竞争力已高于燃油车

曾毓群回应燃油车大幅降价促销对新能源车影响:新能源车综合竞争力已高于燃油车

  3月24日,宁德时代业绩说明会上,董事长、总经理曾毓群在回答燃油车大幅降价促销对新能源车影响的问题时称,沉舟侧畔千帆过,病树前头
2023-03-24
影驰星曜X4 Pro固态硬盘上手:1TB只要399

影驰星曜X4 Pro固态硬盘上手:1TB只要399

  3月24日,自从去年以来,PCIe 4 0固态硬盘逐渐铺开,现在更高的传输速度以及更具性价比的价格已经成为了玩家的首要考虑因素,不过起初
2023-03-24
新海诚新作《铃芽之旅》首日票房7804万创下了新纪录,超越《你的名字》

新海诚新作《铃芽之旅》首日票房7804万创下了新纪录,超越《你的名字》

  3月24日,2016年12月新海诚导演的动画电影《你的名字。》在国内上映,首日就拿下了7629 53万票房。  今天,新海诚的新作《铃芽之旅》
2023-03-24
华为测试1英寸超级大底主摄,或将应用到Mate系列或者P系列旗舰

华为测试1英寸超级大底主摄,或将应用到Mate系列或者P系列旗舰

  3月24日,博主数码闲聊站透露,华为正在测试1英寸超级大底主摄,具体机型未知。可以肯定,华为一定会将1英寸大底应用到Mate系列或者P系
2023-03-24
北京一巧克力店主贴条称闲逛禁止进店 回应:我很烦网红

北京一巧克力店主贴条称闲逛禁止进店 回应:我很烦网红

  3月24日,有北京网友发帖称看到一家暴躁的巧克力店,门口张贴着闲逛莫入!闲人免进!闲人禁止站上台阶!等大字,引起热议。  网友质
2023-03-24
腾讯宣布将推出基于NT架构的新版Windows QQ,采用新的NT平台架构

腾讯宣布将推出基于NT架构的新版Windows QQ,采用新的NT平台架构

  3月24日,此前,腾讯宣布将推出基于NT架构的新版Windows QQ。  今天,腾讯正式发布了新版Windows QQ的首个公测版,面向此前报名公
2023-03-24

2017-2019 Copyright © IT商业科技网 备案许可证号粤ICP备2022153948号 豫公网安备110102003388号

紧急处理QQ:342 4350 938@qq .com