ImagenHub是一个一站式库，用于标准化所有条件图像生成模型的推理和评估。该项目首先定义了七个突出的任务并创建了高质量的评估数据集。其次，我们构建了一个统一的推理管道来确保公平比较。第三，我们设计了两个人工评估指标，即语义一致性和感知质量，并制定了全面的指南来评估生成的图像。我们训练专家评审员根据提出的指标来评估模型输出。该人工评估在76%的模型上实现了高的评估者间一致性。我们全面地评估了约 30 个模型，并观察到三个关键发现：
点击前往ImagenHub官网体验入口
(1)现有模型的性能普遍不令人满意，除了文本引导的图像生成和主题驱动的图像生成外，74%的模型整体得分低于0.5。 (2)我们检查了已发表论文中的声明，发现83%的声明是正确的。 (3)除了主题驱动的图像生成外，现有的自动评估指标都没有高于0. 2 的斯皮尔曼相关系数。未来，我们将继续努力评估新发布的模型，并更新排行榜以跟踪条件图像生成领域的进展。
ImagenHub的应用场景示例
ImagenHub收集了七个主要的条件图像生成任务，包括文本引导的图像生成、掩码引导的图像编辑、主题驱动的图像生成等，为研究人员提供了全面的评估数据集。
ImagenHub建立了统一的推理管道，确保不同模型在相同的评估流程下进行公平比较。
ImagenHub设计了两个人工评估指标，语义一致性和感知质量，并训练专家评审员根据这些指标对模型输出进行评估，获得了高的评估者间一致性。