Stability AI 推出SD3 Medium 提升文本转图像功能
作者: CBISMB
责任编辑: 张金祥
来源: ISMB
时间: 2024-06-13 13:42
关键字: SD3 Medium
浏览: 1
点赞: 0
收藏: 0
人工智能初创公司Stability AI Ltd.宣布了Stable Diffusion 3系列中的最新模型——Stable Diffusion 3 Medium,这款被称为“最先进”的文本转图像开源AI模型,将为用户带来前所未有的图像生成体验。

Stable Diffusion 3 Medium基于20亿个参数构建,不仅支持照片级逼真的图像制作,还能有效克服手部和面部的常见伪影。更重要的是,它能够精准地遵循复杂的用户文本提示和样式,确保生成的图像不仅符合用户要求,还能保持高度的文本理解准确性,不会出现拼写错误或语义混淆。
Stability AI特别强调了SD3 Medium在生成单词和正确拼写文本方面的能力。相较于之前的文本到图像生成器,SD3 Medium在创建清晰单词和句子方面取得了显著进步,这要归功于其先进的Diffusion Transformer Architecture。
SD3 Medium的微调功能也是一大亮点。用户可以通过小型数据集快速调整模型以定制输出,这使得它成为快速周转项目的理想选择。即使在没有大量特定图像示例的情况下,用户也能让模型针对特定主题或图片进行训练。
由于SD3 Medium的参数规模相对较小,它在资源利用率方面表现出色。与那些参数规模在8亿到80亿之间的重量级模型相比,SD3 Medium更为精简,可以优化以在配备消费级或游戏级图形处理单元的个人电脑上运行,而不会因VRAM占用空间较小而导致性能下降。
Stability AI与Nvidia Corp.和Advanced Micro Devices Inc.展开合作。通过利用Nvidia RTX GPU和TensorRT,配备TensorRT核心的Nvidia卡可将SD3 Medium的性能提高50%。同时,该模型也在AMD的设备上进行了优化,包括加速处理单元和消费者GPU。