当前位置:AIGC资讯 > AIGC > 正文

精读代码,实战进阶-Datawhale X魔搭AI夏令营 AIGC方向Task02学习笔记

基础知识

AIGC是未来人工智能的重点方向 AIGC高速发展的同时,也被一些心怀不轨之人当作牟利里的技术,如Deepfake技术。 AI生图最早的工具是机械臂输出作画,现代的AI生图模型大多基于深度神经网络基础上训练。 *一般来说,AI生图模型属于多模态机器学习模型,通过海量的图库和文本描述的深度神经网络学习,最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。​ AI生图的难点:AI是否真正理解了图片背后所代表的世界的特征,是否理解了图片的含义。由于每个模型用于训练的数据是有限的且不一定相同的,它们能匹配的描述和特征也是有限的,所以在风格、具体事物上,不同的模型会有很大的生成差异,且可能存在诸多与现实不符的情况。 探索AI生图的前沿的途径:魔塔社区 可利用AI:通义千问-用来精读代码,解释代码,生成描述词等等。

 实践

根据要求写提示词(利用AI)

经过一些修改得到描述词

场景一:女主正在上课 古风,工笔画,一个黑发少女身着淡雅汉服,坐在书案前,手执毛笔书写,旁边漂浮着几本缓缓翻页的古籍。她的书桌上放着一本《怪兽们的怪兽书》,旁边有一根精致的魔杖。上半身,背景是典雅的书房,窗外有流萤飞舞。

场景二:开始睡着了 古风,淡墨,同一黑发少女靠在书案边,头轻轻垂下,手中的毛笔化作一道轻烟,上半身,身着浅蓝衣裳,背景是逐渐暗下的书房,空中漂浮着几颗闪烁的星辰,她的魔杖轻轻悬浮在空中,发出柔和的光芒。

场景三:进入梦乡,梦到自己站在路旁 古风,水彩,少女站立于古道旁,轻纱长裙随风飘动,身边环绕着几只发光的蝴蝶——实际上,这些蝴蝶变成了金色飞贼,全身,背景是蜿蜒的古道,两侧是绽放着夜光花朵的桃树,而古道实际上是通往霍格沃茨的禁林小径。

场景四:王子骑马而来 古风,重彩,英俊少年骑着一匹闪耀着银光的夜骐,马蹄轻扬,身穿华丽的战袍,全身,背景是古道,远处少女静静等待,马与少年身后有一道彩虹般的光芒,夜骐的翅膀在月光下闪耀着银色的光辉。

场景五:两人相谈甚欢 古风,细腻描绘,少女与少年相对而坐,少女面带微笑,少年神情专注,周围漂浮着几朵彩色的云朵,上半身,背景是精致的凉亭,四周是飘落的花瓣,空中有小精灵飞舞,它们隐身在周围,偶尔调皮地抛来一颗巧克力蛙。

场景六:一起坐在马背上 古风,线条流畅,少女侧坐于夜骐后背,双手轻轻环住少年的腰,两人并肩驰骋于一片魔法森林之中,全身,背景是开阔的田野,天空中有流星划过,下方是霍格莫德村的灯火,空中还飘着几朵会说话的云朵。

场景七:下课了,梦醒了 古风,淡墨,少女惊醒,手扶额头,表情迷茫,身旁有几缕梦幻般的烟雾缓缓消散,上半身,背景是熟悉的书房,窗外有彩虹桥横跨天际,少女醒来时,发现书桌上多了一封霍格沃茨的信件。

场景八:又回到了学习生活中 古风,细致描绘,少女手持书卷,与几位同学围坐讨论,空中漂浮着几颗智慧之珠,全身,背景是书院的庭院,地面有发光的符文图案,营造出一种神秘的学术氛围,少女和同学们讨论的是关于如何破解黑魔法防御术的谜题,以及如何提高魁地奇技巧。

执行Task1的30分钟速通Baseline 

问题:主语没定好,有些场景描述没说是“同一少女/少年”则出现了别的人物形象 再次修改后的生图较原来好。

 美学评分

满分10分,打3.5分。一般般,有些描述的元素没有表现出来。

总结

### 文章总结
#### 基础知识
- **AIGC(人工智能生成内容)**:作为未来人工智能的重要方向,AIGC在快速发展的同时也被不法分子利用,如Deepfake技术。
- **AI生图技术**:从早期的机械臂输出作画发展到现代基于深度神经网络的模型。这些模型通过海量图库和文本描述的学习,能够生成符合语义的图片。
- **难点与挑战**:AI生图面临的主要挑战在于理解图片背后的世界特征和含义,由于训练数据的有限性和差异性,不同模型在生成图片时可能存在风格、具体事物上的巨大差异,甚至与现实不符。
- **前沿探索**:魔塔社区是探索AI生图前沿技术的一个途径。同时,通义千问等AI工具可用于辅助代码阅读、解释和生成描述词等。
#### 实践
- **场景描述与AI生图**:通过精心设计的提示词,利用AI生成了一系列古风场景的图片描述,包括少女上课、入睡、做梦、与王子相遇、相谈甚欢、共骑夜骐、梦醒以及回归学习生活的场景。
- **问题修正**:在初次尝试后,针对主语不明确等问题进行了修改,提高了生成图片的质量。
- **美学评分**:尽管经过修改,但生成的图片在美学上仅得到3.5分(满分10分),表明部分描述元素未能充分展现。
#### 总结
本文介绍了AIGC及AI生图技术的基础知识、难点与挑战,并通过实际案例展示了如何利用AI生成特定场景的图片描述。尽管在实践中遇到了一些问题,但通过不断修正,仍能在一定程度上提升生成图片的质量。然而,在美学表现上仍有待提高,需要进一步优化提示词和模型训练。

更新时间 2024-08-25