Deep floyd:高度写实的文本到图像模型
Deep floyd是一个开源的文本到图像模型,具有高度的写实性和语言理解能力。它由一个冻结的文本编码器和三个级联的像素扩散模块组成:一个基础模型用于根据文本提示生成 64x64 像素的图像,以及两个超分辨率模型,分别用于生成分辨率逐渐增加的图像:256x256 像素和 1024x1024 像素。模型的所有阶段都利用基于 T5 transformer 的冻结文本编码器来提取文本嵌入,然后将其输入到一个增强了交叉注意力和注意力池化的 UNet 架构中。这个高效的模型在性能上超过了当前的最先进模型,在 COCO 数据集上实现了零样本 FID 得分为 6.66。我们的工作强调了级联扩散模型的第一阶段中更大的 UNet 架构的潜力,并展示了文本到图像合成的一个有前途的未来。
免责声明:本站文章部分内容为本站原创,另有部分容来源于第三方或整理自互联网,其中转载部分仅供展示,不拥有所有权,不代表本站观点立场,也不构成任何其他建议,对其内容、文字的真实性、完整性、及时性不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容, 请及时联系我们进行处理。