【AIGC半月报】AIGC大模型启元：2024.06（上）

AIGC大模型启元：2024.06（上）

(1) ChatTTS（语音合成项目）

2024.06.01 ChatTTS 文本转语音项目爆火出圈，引来大家极大的关注。短短三天时间，在 GitHub 上已经斩获了 9.2 k 的 Star 量。
　　ChatTTS 不仅能说中文，英文也能 hold 住，还支持一些细粒度控制，它允许你加入笑声、说话间的停顿，还有语气词，可玩性很强。
　　它可以复刻已经逝去的人的绝版声音，想要再听到乔布斯开发布会，随时都可以。听它模仿霉霉的音色，不论是语调还是语气的变化，都挺接近本人，几乎听不出来 AI 味儿。
　　中英文混说也能拿捏，这口半英半中的腔调勇闯留子圈，ChatTTS 的语言能力已达到 next level。
　　目前 ChatTTS 支持中文和英文。最大模型使用了超过 10 万小时的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。

推荐文章：
爆火ChatTTS突破开源语音天花板，3天斩获9k的Star量
AI语音：ChatTTS真有点东西啊！
代码链接： https://github.com/2noise/ChatTTS/tree/main
体验地址： https://huggingface.co/spaces/Dzkaka/ChatTTS
一键启动包下载链接： https://pan.baidu.com/s/1olSFaWT50JSRkKakyES8eg?pwd=oxwe

(2) Mamba-2（大模型新架构Mamba升级）

2024.06.03 在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了。
　　性能方面，Mamba-2采用了新的算法（SSD），比前代提速2-8倍，对比FlashAttention-2也不遑多让，在序列长度为2K时持平，之后便一路遥遥领先。
　　在Pile上使用300B token训练出的Mamba-2-2.7B，性能优于在同一数据集上训练的Mamba-2.8B、Pythia-2.8B，甚至是更大的Pythia-6.9B。

推荐文章： Mamba-2新架构出世一统江湖！普林斯顿CMU华人再出神作，性能狂飙8倍
论文地址： https://arxiv.org/pdf/2405.21060
开源代码和模型权重： https://github.com/state-spaces/mamba

(3) GLM-4 9B（智谱开源LLM）

2024.06.05 智谱AI发布新一代MaaS平台2.0，GLM-4系列模型实现性能提升并降低成本。GLM-4-9B模型首次开源，具备多模态能力，性能超越Llama-3。平台支持企业训练私有模型，LoRA微调成本仅300元。智谱AI坚持开源，推动国内模型开源走向世界。如今，平台上已经全线接入新模型，由ChatGLM3-6B升级为GLM-4-9B，堪称“最能打的小模型”，已经全面超过了 Llama3-8B-Instruct。
　　令人惊喜的是，第四代GLM系列开源模型GLM-4 9B，官宣开源免费用，还具备了多模态能力。同时，新发布的GLM-4-AIR性能媲美此前的最大基座模型，且价格降至1元/M token。
　　除了文本模型，这次一并开源了多模态模型GLM-4V-9B。最新模型采用了与CogVLM2相似的架构设计，能够处理高达1120 x 1120分辨率的输入，并通过降采样技术有效减少了token的开销。与CogVLM的不同之处在于，GLM-4V-9B并没有通过引入额外的视觉专家来增加参数量，而是采用了直接混合文本和图片数据的方式进行训练。
　　这种训练方法使得GLM-4V-9B模型能够同时具备强大的文本和视觉处理能力，实现了真正的多模态学习。
　　过去一年中，他们完成了3次基座大模型升级迭代，这次OpenDay 核心展示了面向AGI愿景的完整产品矩阵，透传出未来商业化的模式。
　　智谱AI正把MaaS商业模式提升到新的境界。MaaS平台2.0的诞生，将会进一步扩大智谱生态朋友圈。

推荐文章：
1毛钱1百万token，写2遍红楼梦！国产大模型下一步还想卷什么？
智谱AI GLM4开源！快速上手体验
模型链接及下载
GLM-4-9B-Chat：https://modelscope.cn/models/ZhipuAI/glm-4-9b-chat/summary
GLM-4-9B-Chat-1M：https://modelscope.cn/models/ZhipuAI/glm-4-9b-chat-1m/summary
GLM-4-9B：https://modelscope.cn/models/ZhipuAI/glm-4-9b/summary
GLM-4v-9B：https://modelscope.cn/models/ZhipuAI/glm-4v-9b/summary

(4) Seed-TTS（字节语音合成）

2024.06.06 字节跳动团队在语音合成技术领域取得了新进展，推出了名为Seed-TTS的新型语音生成模型。该模型基于自回归Transformer架构，能够生成接近人类语音的自然且富有表现力的语音。
　　Seed-TTS在情绪控制方面表现出色，能够调整生成语音的情感属性，包括但不限于愤怒、快乐、悲伤、惊讶等情感，以及语调和说话风格，如正式、非正式或戏剧化等。这种精细的情绪控制使得Seed-TTS能够满足多样化的需求。该模型生成的语音不仅自然，而且具有很强的表现力，能够模拟复杂的情感和语境，特别适合用于小说朗读、视频配音等场景。
　　Seed-TTS在零样本学习方面也展现出了强大的能力，即便没有训练数据，也能基于简短的语音片段生成高质量的语音，这使得它在需要快速适应新语境的场合非常有用。Seed-TTS支持语音内容和说话速度的编辑，用户可以灵活调整生成的语音，以适应不同的应用场景。

推荐文章： 高度拟人化！字节王炸语音合成Seed-TTS真假难辨 小说配音的春天要来了！
体验地址： https://bytedancespeech.github.io/seedtts_tech_report/

(5) QWen2（阿里大模型）

2024.06.07 Qwen系列模型从Qwen1.5升级到Qwen2， Qwen 2.0 主要内容如下：

推荐文章： 重磅发布，阿里QWen2开源，全面超越Llama3，成为开源第一大模型
相关地址：
Blog: https://https://qwenlm.github.io/blog/qwen2/wen2/
文档: https://https://qwen.readthedocs.io/en/latest/latest/
Github: https://https://github.com/QwenLM/Qwen2
modelscope: https://modelscope.cn/organization/qwenion/qwen
Huggingface: https://https://huggingface.co/Qwen

(6) VideoReTalking（数字人对口型）

2024.06.07 VideoReTalking 是一种基于深度学习的AI数字人技术，主要用于通过声音信号驱动和同步面部表情。这项技术是由西安电子科技大学、腾讯人工智能实验室和清华大学联合开发的。VideoReTalking 的主要特点是其能够根据输入的音频信号，精确控制AI数字人的面部表情，使其与声音相匹配，从而实现情感表达的同步。
VideoReTalking 的工作流程主要包括三个步骤：

VideoReTalking 技术可以广泛应用于虚拟主播、智能客服、教育培训等领域。在实际应用中，为充分发挥其优势，需要注意选择合适的音频信号作为输入，并对生成的面部表情进行适当的调整和优化，以确保自然度和真实感。

推荐文章： 开源的数字人关键技术：AI对口型
代码地址： http://www.gitpp.com/digitallib/video-retalking
官方文档： https://opentalker.github.io/video-retalking/

(7) Stable Diffusion 3 Medium（文生图更新）

2024.06.13 Stable Diffusion 3 Medium（简称SD3 Medium）是Stability AI公司推出的文生图AI模型。
SD3 Medium拥有20亿参数，它的身材很“苗条”，可以完美适配你的家用电脑和笔记本。

推荐文章： 开源文生图AI重磅更新！SD3 Medium来了！这些能力让其力压MJ！
模型地址： https://huggingface.co/stabilityai/stable-diffusion-3-medium
官方文档： https://stability.ai/news/stable-diffusion-3-medium

(8) Dream Machine（Luma AI文生视频）

2024.06.13 知名的3D建模平台Luma AI发布了他们的最新文生视频模型Dream Machine，并向所有用户免费开放使用。Dream Machine模型不仅支持文本输入，还可以使用图片作为引导来生成视频。其生成的视频在质量、动作一致性、色彩、光影、饱和度和运镜等方面可与OpenAI的Sora相媲美。

推荐文章： Luma AI推重磅级文生视频模型Dream Machine 炸裂程度堪比Sora
体验地址： https://lumalabs.ai/dream-machine

(9) Nemotron-4 340B（Nvidia开源模型）

2024.06.15 AIGC最赚钱的公司NVIDIA刚刚开源了超大模型Nemotron-4 340B[1]，它包括三个模型：Nemotron-4-340B-Base，Nemotron-4-340B-Instruct以及Nemotron-4-340B-Reward。Nemotron-4 340B的开源协议是NVIDIA Open Model License，可以用于商用。模型可以在F8精度下用一台8卡DGX H100部署。Nemotron-4-340B模型在benchmark上的表现也相当抢眼。
　　Nemotron-4-340B-Instruct的一个重要特性是用于对齐训练的数据集包含98%的合成数据，所以可以用于合成数据。配合Nemotron-4-340B-Reward模型，就可以用于生成训练小模型的数据

推荐文章： 金主NVIDIA终于出手了，开源超大模型Nemotron-4 340B
模型地址： https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911
代码地址： https://github.com/NVIDIA/NeMo-Aligner
技术报告： https://research.nvidia.com/pub