?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！
? LLM 崛起之路：全球大语言模型「规模增长」可视化交互图
https://informationisbeautiful.net/visualizations/the-rise-of-generative-ai-large-language-models-LLM-like-chatgpt/
这是一张可以交互的数据化图，数据截至2023年12月6日。访问 ?上方网站，将鼠标悬停在某点时，可以出现对应的大模型信息，包括名称、简介、公司、参数量和日期等；点击可以查看更具体的论文等。
David McCandless、Tom Evans、Paul Barton 三位作者，多方收集数据绘制了这张大语言模型 (LLM) 的参数规模增长图，其中横轴表示时间，纵轴表示参数量，最上方的 「BOTS」表示某时间推出的聊天机器人。
可以看出，不同颜色代表各主要主题，例如 Amazon 亚马逊、Google 谷歌、Meta / Facebook、Microsoft 微软、OpenAI，尤其需要注意的是，橘红色代表中国。
这是 OpenAI 发布大模型的趋势图。可以看到在过去三年里稳步推进，「人狠话不多」，每次发布新模型都是王炸般的存在
这是 Google 发布大模型的趋势图.这个 Transformers 的诞生地，其实一直在跟进甚至推动大模型的研究。只是 2023 年末的 OpenAI 实在太猛了，把 Google 打得措手不及。
以及，这张图上没有出现 Google 最新发布的 Gemini 大模型，按照之前的公告，可以媲美 GPT-4 的大模型 Gemini Ultra 会在1月发布 （可是这都月底了 ?
这是 Meta 发布大模型的趋势图。LLaMa 开源可谓造福了整个生态~
这是 中国 发布大模型的趋势图。图中只收录了一部分，包括 Wu Dao 悟道 (智源)、PanGu 盘古 (华为)、WeLM (微信-腾讯)、Ernie 文心一言 (百度)、GLM (智源)、 SenseChat 商量 (商汤)、Tongyi 通义 (阿里)
? 穿越时空的爱恋：当古老神秘的「山海经」遇上朝气蓬勃的AI
补充一份背景：《山海经》是中国先秦重要古籍，也是一部荒诞不经的奇书，全书18篇约31000字，记录了地理、历史、神话、宗教等多方面的内容，还包含了许多奇特的生物和自然现象
如果用最新的AI工具，把《山海经》里那些古老的文字变成生动且富有想象力的视频，应该是一次非常有意义的探索！！
作者就自己搭建AI工作流，完成了这样一次「冒险」?♂️ 不过作者最后也说到，制作这个视频花费了整整一天的时间，但完成度仅占全书的 3/500，可见即便有AI的助力，视频生成仍然是一项工作量巨大的工程。
使用 ChatGPT 生成视频脚本
提供原文 (最好同时提供译文) ，让 ChatGPT 扮演视频创作者的身份给出脚本
输出绘制图像所需要的提示词
使用 Midjourney 生成画面图片根据作者经验，主要的风格提示词是 Fantasy reality, Chinese mythology style (幻想现实，中国神话风格)
视频封面图的提示词：A strange creature from the Shanhaijing, a large white bird with a dragon’s head. Fantasy reality, Chinese mythology style. --ar 16:9 --v 6.0
使用 PixVerse 把图片生成视频PixVerse 可以将上传的图片转换为视频，并支持画质提升和再创作等操作
目前免费且无水印，可薅 https://app.pixverse.ai
使用 StableAudio 生成背景音乐可以根据官方的提示词指南，选择自己喜欢的风格来生成需要的音乐
AI生成的音乐可以有效避免版权问题
使用剪映生成配音并视频剪辑使用剪映进行视频编辑，包括配音、字幕生成和音效添加
剪映可以说现在最适合小白的视频编辑工具，功能算是比较强大使用简单 ⋙ 点击阅读全文
? LLM 新手概念速查清单：你需要了解的大模型术语，这里全都有
https://www.appypie.com/a-guide-to-large-language-models
这是一份写给新手的 LLM 术语速查清单，分为以下几个方面，介绍了大模型最常见的术语含义，而且兼顾了专业和通俗！看看 ? 下面整理的术语清单，如果你觉得有些内容需要「补补课」，可以访问原文并搭配AI工具快速通关一下 ?
LLM 的定义
Large Language Models (LLM) / 大语言模型
Natural Language Processing (NLP) / 自然语言处理
Machine Learning (ML) / 机器学习
LLM 的类型
Autoencoder-Based Model / 自编码器模型（如BERT）
Sequence-to-Sequence Model / 序列到序列模型
Transformer-Based Frameworks / Transformer框架
Recursive Neural Networks / 递归神经网络
Hierarchical Structures / 分层结构
LLM 的关键组件
Architecture / 架构
Pre-training / 预训练
Fine-tuning / 微调
LLM 的训练过程
Data Collection and Pre-processing / 数据收集与预处理
Model Selection and Configuration / 模型选择与配置
Model Training / 模型训
Evaluation and Fine-Tuning / 评估与微调
LLM 的工作原理
Tokenization / 分词
Embedding / 嵌入
Attention / 注意力机制
Pre-training / 预训练
Transfer Learning / 迁移学习
LLM 的应用案例
Chatbots and Virtual Assistants / 聊天机器人和虚拟助手
Sentiment Analysis / 情感分析
Text Summarization / 文本摘要
Machine Translation / 机器翻译
Content Generation / 内容生成
Code Completion / 代码补全
Language Translation / 语言翻译
Data Analysis / 数据分析
Education / 教育
Medical Applications / 医疗应用
Market Research / 市场研究
Entertainment / 娱乐
未来趋势和挑战
Contextual Understanding / 提高上下文理解能力
Ethical and Bias Mitigation / 伦理和偏见缓解
Continual Learning and Adaptation / 持续学习和适应
高清图我会放到社群和星球，记得收藏和保存呀 ?
原文这张图图非常不错！细致地描述了大语言模型训练的基本过程：
数据收集 (Data Collection)：从书籍、文章、网站等来源收集大量文本数据
数据预处理 (Preprocessing)：清理和组织数据，去除错误、重复和不相关内容，并将文本分解成较小的单元 (如单词、子词) 以便模型理解
架构 (Architecture)：选择神经网络架构，通常采用变换器 (transformer) 模型
训练 (Training)：使用预处理的数据，通过最小化预测值与实际值之间的差异来训练模型
损失函数 (Loss Function)：使用损失函数来量化模型预测的准确性
优化 (Optimization)：应用优化算法 (例如Adam) 来微调模型权重
小批量训练 (Mini-Batching)：将训练数据分成较小的批次以提高处理效率
正则化 (Regularization)：实施技术如dropout和权重衰减来防止过拟合，平衡模型复杂度和泛化能力
验证 (Validation)：使用验证数据集在训练过程中监控模型性能
微调 (Fine-Tuning)：对模型进行进一步的调整以适应特定任务
伦理考量 (Ethical Considerations)：解决训练数据中存在的偏见，以防止模型输出偏见
? DALL·E 提示词红宝书：在线 Prompt 完全指南，收藏随时备查
https://pitch.com/v/tmd33y/6fb6f14b-10ef-48f3-a597-d4af7aa1c9c6
补充一份背景：Dall·E是 OpenAI 开发的一款文生成图模型，可以根据简单的文字描述生成逼真清晰的图像
2023年9月，OpenAI 发布了当前最新版本 Dall·E 3 并集成到了 ChatGPT；与之前的版本相比，Dall·E 3 理解提示词的能力更强，可以生成更高质量的图像，分辨率最大可达2048x2048、允许用户编辑并调整生成的图像等
这份 Dall·E 提示词手册发布时，还是 Dall·E 2 的版本 (现在已经更新到 Dall·E 3 了)，不过放到现在依旧非常实用！而且是在线版本，一共82页，有需要时随时访问查阅就好啦！
一方面，Dall·E 版本更新对提示词的要求并没有太大变化；另一方面，平时简单使用的话，这份提示词手册包含的内容已经足够了！！
真的很难相信这是2022年7月的作品 (⓿_⓿) 放到那时应该有点超前吧！放到现在则刚刚好了~
这是手册的目录页，可以看到整份手册包含以下8各主要部分：
Vibes, Moods and Feelings / 情感、氛围和感觉
Photography / 摄影
Illustration / 插图
Art History / 艺术史
3D Artwork / 3D艺术作品
DALL·E Techniques / DALL·E 技巧
Showcase / 案例展示
Appendix / 附录
[1] Vibes / 气氛
Moods and Feelings / 情绪和感情
Size, structure, shape / 大小, 结构, 形状
Looks + aesthetics / 外观+美学
[2] Photography / 摄影
Photo prompt structure / 摄影提示结构
Framing, proximity / 构图, 接近度
Camera position, angle / 相机位置, 角度
Focus, speed, settings / 对焦, 速度, 设置
Lighting (outdoor) / 户外照明
Lighting (indoor) / 室内照明
Film stocks, types & processes / 电影胶片, 类型和过程
Film & TV show prompts / 电影和电视剧提示
Photographer prompt tests / 摄影师提示测试
Contexts & use cases / 上下文和用例
Final photography tips / 最终摄影技巧
[3] Illustration / 插图
Monochrome styles / 单色风格
Analog media, colour / 模拟媒体, 颜色
Digital media, colour / 数字媒体, 颜色
Instructional illustration / 教学插图
3D + textured illustrations / 3D+纹理插图
Character + cartoon / 角色+卡通
Animation-related prompts / 动画相关提示
Illustrator-based prompts / 基于插画师的提示
[4] Art History / 艺术史
Ancient Medieval / 古代 中世纪
Renaissance Modern / 文艺复兴 现代
Modern & contemporary / 现代 & 当代
Artist prompt tests / 艺术家提示测试
[5] 3D Artwork / 3D艺术作品
Sculpture materials / 雕塑材料
Items for bodies / 身体部位的物品
Places and spaces / 地点和空间
Paper & textiles / 纸张和纺织品
Ceramics & glass / 陶瓷和玻璃
Photographing the work / 拍摄作品
[6] DALL·E Techniques / DALL·E 技巧
In-app edits / 应用内编辑
Fixing details / 修复细节
Replacing subjects / 替换主体
Replacing backgrounds / 替换背景
With an outside app / 使用外部应用
Simple uncropping / 简单裁剪
Creative uncropping / 创意裁剪
Infinite zoom-outs / 无限放大
Context jumping / 上下文跳跃
Landscape + portrait images / 风景+肖像图像
Panoramas / 全景图
Murals / 壁画
Combining images / one-shot / 单次结合图像
Combining images / wide / 宽幅结合图像
Variations / 变化
案例展示
同一主题作品的不同风格绘画和提示词展示
? 傅盛「猎户星空」发布 Orion-14B 系列 LLM 模型，定位企业私有化大模型
https://huggingface.co/OrionStarAI/Orion-14B-Chat-Int4/blob/main/README_zh.md
https://github.com/OrionStarAI/Orion
猎户星空发布了 Orion-14B 系列 LLM 模型，一共包含了 7 个不同的模型，分别是Orion-14B-Base 基座模型、Orion-14B-Chat 对话模型、Orion-14B-LongChat 长上下文模型、 Orion-14B-Chat-RAG RAG 模型、Orion-14B-Chat-Plugin 插件模型、Orion-14B-Base-Int4 & Orion-14B-Chat-Int4两个量化模型。
根据 ? 官方页面介绍，模型性能不错，综合评测效果表现优异， 多语言能力强 (尤其是日语和韩语)， 微调模型适应性强，长上下文版本支持超长文本 (最长 320k)……
https://kh18s6uvdi.feishu.cn/wiki/SxpzwjlNFiONUzkL09Icynnvn5f
傅盛在近期的一次演讲中，非常完整地介绍了他这一年艰难决策的心路历程，并最终成功定位到了「超高性价比的企业应用大模型」——不是千亿模型做不起，而是百亿更有性价比。
在傅盛看来，百亿参数的模型 + 客户自己的私有数据 + 应用的打磨，在专业领域可以约等于千亿参数大模型。
千亿参数大模型全面性更好，它的涉及面很宽。但在企业场景当中只要在一个专业点上做好就可以，而百亿参数的模型，比千亿参数可以省90%以上的私有化部署成本。
作为从移动时代一路拼杀过来的「老兵」，傅盛演讲中的很多穿越时间的洞察都非常有意思！而且在 OpenAI 强烈冲击下的思考模式和决策逻辑，也是很真诚且内部的分享了！很难得~
如果你是企业老板或领导，不妨点击上方 ? 链接下载PPT并结合演讲原文，看看傅盛为老板们设计的这个智能化转型套件 ⋙ 可以点击这里阅读傅盛演讲原文
? fast.ai 发布硬核更新，又又又有 Jeremy Howard 的新课可以学啦！
https://course.fast.ai/Lessons/part2.html
Jeremy Howard 是 fast.ai 的创始人，曾任 Kaggle 首席科学家、Etsy数据科学家等职位
fast.ai 是全球知名的AI学习网站，课程少而精，在保证内容简洁易懂的前提下，设置了非常多强实践性的环节，基本上学完一节课就可以开始动手实践了！！
fast.ai 最近发布了新课程「From Deep Learning Foundations to Stable Diffusion」，用30小时的视频内容带你从零开始实现 Stable Diffusion 算法。
为了保证课程能覆盖到最新的技术，课程是 Jeremy Howard 与 Stability.ai、Hugging Face 专家密切合作完成的，而且还设计了专门的论文阅读环节，帮助 follow 最近进展。
From Deep Learning Foundations to Stable Diffusion 这门新课程延续了 fast.ai 以往的风格，依旧是实践性很强！课程开始学习前并不需要你掌握多深奥的理论知识，不过的确需要一些编程基础~
当然不懂编程也是可以借助 ChatGPT 这类工具来实现入门与进阶的！但是想精通AI，编程能力仍然是必须精进的能力之一呀~
虽然是模型训练内容，但是课程设计非常友好，只需一块 GPU，所以选择 Google Colab 或类似平台上就可以完美解决这个问题！计算资源不会是学习这门课程的门槛~ ⋙ 这里有一份 Jeremy Howard 最新采访
作者在课程介绍页面对课程要点进行了非常详细的介绍，我们简单整理了一下主要内容，可以访问课程页面查看更详细的信息！！
扩散基础 (Diffusion Foundations) ：深入探讨去噪扩散概率模型 (DDPM) 和去噪扩散隐式模型 (DDIM) ，包括正向和反向过程、噪声预测模型的实现，以及不同时间步的噪声图像可视化
Hugging Face的Diffusers库 (Hugging Face’s Diffusers library) ：学习如何使用预训练的管道，包括图像到图像的转换、指导尺度、负向提示、回调函数，以及如何与 Hugging Face 的数据集一起工作
深度学习优化器 (Deep learning optimizers) ：研究随机梯度下降 (SGD) 的加速方法，如动量、RMSProp、Adam，以及学习率退火策略，还包括PyTorch学习率调度器的使用，如余弦退火和OneCycleLR，以及批量大小和学习率的实验
Python概念 (Python concepts) ：掌握 Python 编程的基本概念，如迭代器和生成器的使用，Python 数据模型，Python调试器 (pdb) ，以及如何使用 nbdev 从 Jupyter 笔记本创建 Python 模块，还包括异常处理、装饰器、getattr、kwargs 和 delegates 等高级特性
基础数学 (Basic foundations) ：学习张量、微积分和伪随机数生成的基础知识，包括线性分类器、矩阵乘法、Frobenius范数、广播、Einstein 求和记号、GPU 加速、Numba 等
神经网络架构 (Neural network architectures) ：实现多层感知器 (MLP) 、ResNets、Unets 等，并探索生成架构，如自编码器和变换器，还包括 CLIP 文本编码器和图像编码器，以及超分辨率 U-Net 模型的创建
深度学习技术 (Deep learning techniques) ：研究数据增强技术，如随机擦除、TrivialAugment、测试时增强，还包括Dropout在提高模型性能中的应用，以及P yTorch 中的模块创建、优化器、数据加载器和数据集的实现
PyTorch (PyTorch) ：学习 PyTorch 的核心组件，如 nn.Module 和 nn.Sequential，以及如何创建自定义 PyTorch 模块，还包括 PyTorch 钩子的使用
学习者框架 (Learner framework) ：构建一个灵活的训练框架，包括回调和异常处理，如CancelFitException、CancelEpochException、CancelBatchException，还包括度量和 MetricsCB 回调、DeviceCB 回调、代码重构、set_seed 函数、回调类和 TrainLearner 子类等
机器学习技术和工具 (Machine Learning Techniques and Tools) ：学习均值漂移聚类、卷积神经网络 (CNNs) 的构建，以及权重和偏差 (W&B) 用于实验跟踪，还包括混合精度训练、初始化和归一化技术，如 Layer Normalization 和 Batch Normalization
感谢贡献一手资讯、资料与使用体验的 ShowMeAI 社区同学们！
◉ 点击 ?日报&周刊合集，订阅话题 #ShowMeAI日报，一览AI领域发展前沿，抓住最新发展机会！
◉ 点击 ?生产力工具与行业应用大全，一起在信息浪潮里扑腾起来吧！