快捷搜索:  

stable diffusion 3 惊艳亮相,还与 sora 是同架构,天资图像真假难辨

"stable diffusion 3 惊艳亮相,还与 sora 是同架构,天资图像真假难辨,这篇新闻报道详尽,内容丰富,非常值得一读。 这篇报道的内容很有深度,让人看了之后有很多的感悟。 作者对于这个话题做了深入的调查和研究,呈现了很多有价值的信息。 " 账号设置我的关注我的收藏申请的报道退出登录登录搜索36氪Auto数字时氪将来消费智能涌现将来城市启动Power on36氪出海36氪研究院潮生TIDE36氪企服点评36氪财经(Finance)职场bonus36碳后浪研究所暗涌Waves硬氪媒体品牌企业号企服点评36Kr研究院36Kr创新咨询企业服务核心服务城市之窗行政部门服务创投发布LP源计划VClubVClub投资机构库投资机构职位推介投资人认证投资人服务寻求报道36氪Pro创投氪堂企业入驻创业者服务创投平台 首页快讯资讯推荐财经(Finance)科技(Technology)创新城市最新创投汽车(Car)企服专精特新直播视频专题活动搜索寻求报道我要入驻城市合作Stable Diffusion 3 惊艳亮相,还与 Sora 是同架构,生成图像真假难辨CSDN·2024-02-23 17:33关注Stable Diffusion 3 来了

大模型领域,每家公司都在争分夺秒。在文生图这条赛道上,面对 Midjourney、DALL-E 的围攻,2 月 22 日,初创公司 Stability AI 宣布推出下一代 AI 图像生成器——Stable Diffusion 3(简称 SD3),以开放权重的形式为图像带来高保真度。

提示词: 史诗级动漫作品:一位巫师在夜晚的山顶上向黑暗的天空施放宇宙咒语,咒语上写着“Stable Diffusion 3”,由五彩缤纷的能量组成

用上了和 Sora 同架构的 Stable Diffusion 3

时下 Stability AI 并没有发布有关 Stable Diffusion 3 的诸多细节,也没有带来最新的技术报告详解,但是这不影响它的一些亮眼表现。

其一,Stable Diffusion 3 模型的参数范围从 800M(小于常用 Stable Diffusion 1.5 版本)到 8B (大于 Stable Diffusion XL 版本)不等。

这一尺寸范围允许模型的不同版本在各个设备譬如从智能电话到服务器上本地运行。要想使用,你可能仍然需要一个强大的 GPU 和一个用于机器学习工作的设置。

其二,Stable Diffusion 3 之所以被称之为“最强大的文本到图像模型”,是因为自 Stable Diffusion 3 使用了类似 OpenAI Sora 的技术,即扩散 Transformer 架构。其中,“基于 Transformer 的可扩展扩散模型 DiT”由领导 Sora 项目成员之一的 Will Peebles 和纽约大学(University)任助理教授谢赛宁二人于 2022 年首创,但是于 2023 年进行(Carry Out)了修订,现在已经达到可扩展性。通过增加 Transformer 的深度和宽度,以及改变输入图像的分块方式,DiT 模型能够生成具有高质量和细节的图像。

基于此,Stable Diffusion 3 大大提高了多主题提示、图像质量和拼写能力(文字渲染)的性能。

除此之外,该模型还采用了“flow matching”技术。该模型可以通过学习如何从随机噪音顺利过渡到结构化图像来生成图像。它不需要模拟流程中的每一步,而是专注于图像创建应遵循的整体方向可能流程,同样可以在不增加太多开销的情况下提高质量。

在 X 社交平台上,Stability AI  CEO Emad Mostaque 也进一步补充道:

- 它使用了一种新型扩散 Transformer(与 Sora 类似),并结合了 flow matching 和其他改进。

- 它利用(Use)了 Transformer 的改进,不仅能进一步扩展,还能接受多模式输入。

- 更多技术细节即将发布

- 将以开放形式发布,预览版旨在提高其质量和安危性,就像稳定版一样

- 它将与完整的工具生态系统一起推出

- 这是一个利用(Use)最新硬件的新平台,有各种尺寸可供选择

- 支持视频、3D 等功能

- 需要更多 GPU

至于对于如何把控 Stable Diffusion 3 的安危问题,该公司在公告中写道:“我们(We)相信安危、负责任的人工智能实践。这意味着我们(We)已经采取并将继续采取合理的措施,防止坏人滥用 Stable  Diffusion 3。当我们(We)开始训练模型时,安危就开始了,并持续到测试、评估和部署的整个过程。为了准备这个早期预览版,我们(We)引入了许多保护措施。通过与研究人员、教授和我们(We)的社区不断合作,我们(We)希望(Hope)在模型公开发布时能够进一步诚信创新。”

同一提示词下,SD3 vs Bing(DALL-E)vs Midjourney

值得注意的是,在没有完全掌控 AI 工具之前,其背后的研发公司都不敢贸然将其开放。Stability AI 也是如此,所以想要尝试的小伙伴,需要先提交申请进入候补名单:https://stability.ai/stablediffusion3

我们(We)也可以从 Stability 网站和相关社交媒体账户上发布的样本来看,其生成效果似乎与目前(Currently)其他最先进的图像合成模型大致相当,包括业界已有的 DALL-E 3、Adobe Firefly、Imagine with Meta AI、Midjourney 和 Google Imagen。

从生成图片的效果上来看,过去排版一直也是 Stable Diffusion 的一个弱点,包括上述提及到几款文生图大模型最近也在致力于解决这个问题。在 Stable Diffusion 3 中,它提供了比之前更好的排版。

“这要归功于 Transformer 架构和额外的文本编码器,现在可以使用完整的句子和连贯的风格”,Emad Mostaque 说道。这一点也可以从下面示例中明显感知此模型的进化。

提示词:电影(Movie)照片,教室的桌子上放着一个红苹果,黑板上用粉笔写着 "不成功(Success)便成仁"(go big or go home)。

不难看出 Stable Diffusion 3 生成的图片真的有电影(Movie)的质感:

相同提示下 Midjourney v6.0 的表现:

提示:一幅画中包含宇航员骑着一只猪,穿着蓬蓬裙,撑着一把粉红色的伞,猪旁边的地上有一只戴着高帽的知更鸟,角落里有 "Stable Diffusion"的字样。

Stable Diffusion 3 自动调整,把"Stable Diffusion"的字样好似设置成了水印。

与 Bing 相同的提示:

同一提示下的 DALLE-3:

Midjourney 6:

提示:变色龙在黑色背景上的摄影棚照片特写

Stable Diffusion 3 非常生动:

也有用户直接分享了具有相同的提示 Gemini Advanced/Ultra 生成效果:

Stable Diffusion 3 也能够很好地处理很多文本:

提示:一张 90 年代台式电脑(Computer)放在办公桌上的照片,电脑(Computer)屏幕上写着“欢迎”。

DALL-E:

创作没有瓶颈,生成的图像和真实的相片难以分辨:

动画风格的同样不在话下:

对于将来,Stability AI CEO Emad Mostaque 还透露,在获得 SD3 这样的基础模型之后,接下来关于控制、组合、协作等多功能特性也会随之而至,正如下面视频所示,可以直接对图片中的某一个事物进行(Carry Out)优化替换,将来可期!

最后,就在 Stable Diffusion 3 发布的同时,这一领域的重要参与者 Google 也宣布,因为在发现自家的大模型 Gemini 生成不准确的历史(History)图像后,它将暂停该工具生成人物图像的功能。

这也引发了不少人的担忧,“这些东西变得越来越令人印象深刻(也更可怕)。不知道解决方案是什么,可能者是否有解决方案,但我真的希望(Hope)能够有一种方法来验证图像/视频是人工智能生成的。根据我对 Deepfakes 工作方式的理解,这基本上是不可能的(因为你用来检测人工智能的相同工具被用来确保它不会被检测为人工智能。)”。

至今为止,似乎的确没有什么准确的方法来辨别内容是否是 AI 生成的还是真实创作的,将来也需要技术、培育、法规等多方面的制度完善来规避诸多潜在的问题。

整体而言,Stable Diffusion 3 的落地,也让很多 AI 从业者倍感期待,“对于一直坚持使用文生图工具的用户来说,Stable Diffusion 3 看起来比 Midjourney V6 更好。它至少与 DALL·E 3 有部分相似之处,这对开放式设计来说可能是巨大的进步。” 

还有网友评论道:“期待将来能出一个渲染中文文字的模型”。

对此感兴趣的小伙伴,也可以通过下方链接加入候选名单:https://stability.ai/stablediffusion3

来源:

https://stability.ai/news/stable-diffusion-3

https://twitter.com/StabilityAI/status/1760656767237656820

本文来自微信公众号“CSDN”(ID:CSDNnews),整理:屠敏 ,36氪经授权发布。

该文观点仅代表作者本人,36氪平台仅提供信息存储空间服务。

+17

好文章,需要你的鼓励

CSDN特邀作者0收  藏+10评  论打开微信“扫一扫”,打开网页后点击屏幕右上角分享按钮微  博沉浸阅读返回顶部参与评论评论千万条,友善第一条登录后参与讨论(Discuss)提交评论0/1000你可能也喜欢这些文章华为再度超越iPad,但AI才是平板电脑(Computer)的将来?国产大模型,不会开启“烧钱游戏(Game)”反垄断体坛:米国数字巨头与AI公司合作要接受欧盟反垄断监管?“困在”服务器里的浪潮信息,还能搭上AI风口吗?OpenAI 最早的投资机构 Khosla Ventures 谈 AI 投资: 我绝对不想成为恐龙”李一舟被爆侵权:名下每月 399 元的付费网站,搬运 AI 创作社区近百模型Sora刷屏一周,9大平台的年轻人怎么看?百度移动生态调整:文库业务升级为BU,“老将”回归负责搜索 | Long China 50独家ChatGPT 价格里掩盖的算力分布秘密最新文章推荐电车长续航是「摆设」?最新报告出炉:结论令人意外想要在2024年笑到最后,蔚来不能只靠“软实力”华为再度超越iPad,但AI才是平板电脑(Computer)的将来?国产大模型,不会开启“烧钱游戏(Game)”iPhone 15电池突然被“加重”,续航大战苹果不能躺平了屏摄之争撕裂电影(Movie)圈Stable Diffusion 3 惊艳亮相,还与 Sora 是同架构,生成图像真假难辨杭州一举要投6家GP扎克伯格回光返照?中产越买越“抠”,盒马降价成瘾CSDN特邀作者

作者有点忙,还没写简介

发表文章972篇最近内容Stable Diffusion 3 惊艳亮相,还与 Sora 是同架构,生成图像真假难辨26分钟前90% 开发者用上了代码生成工具,第一名却不是 Copilot?AI 开发者生态报告出炉22小时前Google炸场,最强轻量级、开放模型Gemma发布,个人PC就能用,内部员工:强是强,但名字取得让我混乱昨天(Yesterday)阅读更多内容,狠戳这里下一篇杭州一举要投6家GP

2024,VC/PE去哪儿。

26分钟前

热门标签葱油饼投资担保融资监管资金安危安危平台疯狂动物城变形金刚5特种部队2血战钢锯岭龙之战南朝鲜影视电话电视(Television)加里宁格勒无线3d地图空间数据郑州租房张喜平湖南卫视王菲窦靖童收视建筑结构超高层卢志强魔都奚梦瑶维密emoji表情符号关于36氪城市合作寻求报道我要入驻投资者关系商务合作关于我们(We)联系我们(We)加入我们(We)网站谣言信息举报入口热门推荐热门资讯热门产品文章标签快讯标签合作伙伴阿里云火山引擎高德个推星球日报(Daily)鲸准氪空间富途牛牛企服点评人人都是产品经理领氪36氪APP下载iOS Android36氪本站由 阿里云 提供计算与安危服务 违法和不良信息、未成年人保护举报电话:010-89650707 举报邮箱:jubao@36kr.com 网上有害信息举报© 2011~2024 首都多氪信息科技(Technology)有限公司 | 京ICP备12031756号-6 | 京ICP证150143号 | 京公网安备11010502036099号意见反馈36氪APP让一部分人先看到将来36氪鲸准氪空间

推送和解读前沿、有料的科技(Technology)创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业

Stable Diffusion 3 惊艳亮相,还与 Sora 是同架构,生成图像真假难辨

您可能还会对下面的文章感兴趣:

赞(127) 踩(64) 阅读数(8339) 最新评论 查看所有评论
加载中......
发表评论