-
llama 3 震撼来袭 8B 150k 词元 8Ktoken长度 4T token 参与预训练与对齐训练 使用GQA
Meta开发了并发布了Meta Llama 3系列大型语言模型(LLMs ，这是一组在8亿和70亿参数规模下预训练和指令调整的生成文本模型。Llama 3的指令调整模型针对对话用例进行了优化，并在常见的行业基准测试中超越了众多开源聊天模型。在开发这些模型时...
-
建筑类AIGC图像微调模型（LoRA）训练经验介绍
前言 AIGC大模型正广泛应用于各行业，包括建筑设计。运用这些大模型，设计师可以在设计早期阶段进行方案探索和优化，提高设计效率和满足实际需求。然而，要充分发挥大模型的优势，需要进行微调以适应特定设计任务。这是一项技术挑战，也是创新机会。 AIGC大...
-
Diffusion Model原理及Stable Diffusion
什么是扩散（diffusion）？ 扩散一词来自非平衡热力学（non-equilibrium thermodynamics），在非平衡热力学中扩散过程指的是：“在浓度梯度的驱动下，颗粒或分子从高浓度区域移动到低浓度区域。” 什么是扩散模型（di...
-
华为云盘古大模型5.0发布：可控时空生成技术重塑自动驾驶开发
快科技6月21日消息，在今日召开的华为开发者大会(HDC 2024 上，华为云发布了盘古大模型5.0，其创新的多模态生成能力，可以为自动驾驶领域提供更高质量的数据支持。 华为常务董事、华为云CEO张平安表示，盘古5.0通过创新的可控时空生成，大规模的生成和...
-
重磅！Llama-3，最强开源大模型正式发布！
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。 据悉，Llama-3共有80亿、700亿两种参数，分为基础预训练和指令微调两种模型（还有一个超4000亿参数正在训练中）。 与Llama-2相比，Llama-3使用...
-
GPTutor: 一个可替代Copilot的开源AI配对编程工具
23年10月CMU的论文“GPTutor: an open-source AI pair programming tool alternative to Copilot”。 GPTutor：一个在Visual Studio代码中使用ChatGPT的编程工...
-
LLaMA 羊驼系大语言模型的前世今生
关于 LLaMA LLaMA是由Meta AI发布的大语言系列模型，完整的名字是Large Language Model Meta AI，直译：大语言模型元AI。Llama这个单词本身是指美洲大羊驼，所以社区也将这个系列的模型昵称为羊驼系模型。 Ll...
-
Stable Diffusion 是否使用 GPU？
在线工具推荐： Three.js AI纹理开发包 - YOLO合成数据生成器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 3D数字孪生场景编辑器 Stable Diffusion...
-
ChatGPT等模型疯狂训练，最快2026年消耗尽公开文本数据
AI发展科研机构Epochai在官网发布了一项，关于大模型消耗训练数据的研究报告。 目前，人类公开的高质量文本训练数据集大约有300万亿tokens。但随着ChatGPT等模大型的参数、功能越来越强以及过度训练，对训练数据的需求呈指数级增长，预计将在202...
-
大模型会自己“盗图”？这些坑OpenAI已经踩过了
360创始人周鸿祎，涉及“AI盗图”风波，最终上演了大结局。 就在上周五，网络创作者DynamicWang在社交媒体控诉，360公司和周鸿祎本人对侵权时间不作为，于是委托律师进行维权相关的工作。 DynamicWang微博 在AI版权问题上，不少知名AI...
-
meta-llama/Meta-Llama-3-8B
https://huggingface.co/meta-llama/Meta-Llama-3-8B 型号细节 Meta开发并发布了Meta Llama 3家族大型语言模型(LLM ,这是一组预训练和指令微调的生成性文本模型,大小为8B和70B参数。L...
-
【持续更新中！图像-文本对数据集汇总】Stable Diffusion 3 重磅开源，超全图像生成必备训练数据集、教程汇总
Stability AI 已经正式开源 Stable Diffusion 3（简称 SD3）！SD3 是一个图像生成模型，只要给定一段描述性的文字，就能够创造出与之匹配的视觉作品。下图就是由 SD3 生成的图像。 * prompt 史诗...
-
【AI原理解析】— Meta Llama-3模型
目录 一、模型架构 Transformer架构 解码器（Decoder-only）设计 Group Query Attention (GQA 技术 二、参数与训练 参数规模 训练数据集 训练过程 三、技术特点 四、性能提升 推理能力...
-
MetaAI发布Llama 3模型：4000亿参数的AI新标杆
开源和闭源大战 前几天，百度李彦宏说闭源才有意义。 周鸿祎在哈佛论坛演讲上说，别听李彦宏胡说八道，没有开源就没有Linux，就没有今天的互联网，李彦宏自己都是借助开源的力量走到今天，现在反手说开源不好了？话音刚落，Meta这个奶妈就又开源了，我们又回...
-
震撼发布 - 本地运行最强开源大模型Llama 3整合包，创作无限可能！
4月19日，全球科技、社交巨头Meta在官网，正式发布了开源大模型——Llama-3。为了让大家能更好地享受开源大模型带来的便利，今天Glen特地给大家制作并分享一个Llama-3-8B大模型整合包。 Llama 3简介 Meta本次开源了8B和7...
-
大模型论文解读|| 数学新巅峰，微软&清华联合研究发现：7B级LLaMA-2模型数学能力惊人，准确率高达97.7%
开篇：数学能力在常规语言模型中的崭露头角 数学能力长期以来被认为是语言模型中难以攻克的领域，只有在模型规模极大或经过大量数学相关预训练的情况下才可能显现。然而，最新的研究表明，即使是规模较小的常规语言模型，如LLaMA-2 7B，也已经展现出了强大的数学...
-
AI绘画数字人之声音克隆：无样本，1分钟样本完美克隆声音，开源！
最近在搞克隆人，发现一个很好的声音克隆项目，测试了一下，效果真不错，可以直接用，也可以微调后使用，好了废话不多说，直接上干活，哈哈~~ 首先这次直接说项目工具：GPT-SoVITS （安装包下载请看文末扫描获取） 项目功能介绍： 零样本文本到语音...
-
【Tokenizer原理篇】超详细！AIGC面试系列 大模型进阶(5)
本期问题聚焦于大模型Tokenizer相关问题 本期问题快览 模型中的Tokenization是指的什么 常用的Tokenization方法了解有哪些吗 了解什么是Byte-Pair Encoding(BPE 吗 介绍下Byte-Pair E...
-
英伟达开源3400亿巨兽，98%合成数据训出最强开源通用模型！性能对标GPT-4o
【新智元导读】刚刚，英伟达全新发布的开源模型Nemotron-4 340B，有可能彻底改变训练LLM的方式！从此，或许各行各业都不再需要昂贵的真实世界数据集了。而且，Nemotron-4 340B直接超越了Mixtral 8x22B、Claude sonn...
-
揭秘AI精准输出：如何构建完美的AIGC提示词？
揭秘AI精准输出：如何构建完美的AIGC提示词？? 文章目录 揭秘AI精准输出：如何构建完美的AIGC提示词？? 摘要 引言 正文 ? 提示词的基本概念 1. 什么是提示词？ 2. 提示词的作用 ? 如何编写有效的提示词？ 理...
-
文心一言上线声音定制功能；通义千问开源模型；openAI又侵权？
文心一言上线定制专属声音功能 百度旗下 AI 聊天机器人文心一言上线新功能，用户录音一句话，即可定制声音。 使用这项功能需要使用文心一言 App。在创建智能体中，点击创建自己的声音，朗读系统提示的一句话，等候几秒钟时间，系统就能捕捉到用户的声音...
-
Scaling Law触礁「数据墙」？Epoch AI发文预测LLM到2028年耗尽所有文本数据
【新智元导读】训练数据的数量和质量，对LLM性能的重要性已经是不言自明的事实。然而，Epoch AI近期的一篇论文却给正在疯狂扩展的AI模型们泼了冷水，他们预测，互联网上可用的人类文本数据将在四年后，即2028年耗尽。 数据和算力，是AI大模型最重要的两把...
-
详细解析AI作画原理及相关理论
先来欣赏AI作画 人物方面： 欣赏AI作画自然意境： 目录 引言 一、AI作画原理 二、相关理论 1. 风格迁移理论 2. 生成对抗网络（GAN） 三、代码示例 进一步的优化和改进可能包括： 总结： 引言...
-
【全网瞩目】你想知道的Llama3都在这里
Meta发布了开放式生成人工智能模型 Llama 系列的最新产品： Llama 3。或者更准确地说，该公司首次发布了其新的 Llama 3 系列中的两个模型，其余模型将在未来某个不确定的日期发布。 Meta 称，与上一代 Llama 型号 Llama 2...
-
LLaMA Factory多卡微调的实战教程（持续更新）
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
规格拉满！Llama和Sora作者都来刷脸的中国AI春晚，还开源了一大堆大模型成果
本周国内最受关注的AI盛事，今日启幕。 活动规格之高，没有哪个关心AI技术发展的人能不为之吸引—— Sora团队负责人Aditya Ramesh与DiT作者谢赛宁同台交流，李开复与张亚勤炉边对话，Llama2/3作者Thomas Scialom，王小川、杨...
-
每日AIGC最新进展(22)：中国科学院大学提出Zoro-shot视频插帧算法、Adobe研究院提出高效视频扩散模型的叠加网络搜索架构SNED、蚂蚁集团提出视频深度估计算法ChronoDepth
Diffusion Models专栏文章汇总：入门与实战 ZeroSmooth: Training-free Diffuser Adaptation for High Frame Rate Video Generation 本文提出了一种名为Z...
-
Llama 3 最强开源模型？深入剖析Meta Llama 3技术细节
Meta 最近宣布推出了其最新力作——Meta AI，这是一款先进的人工智能聊天机器人，由公司最新且功能强大的 Llama 3 模型驱动。 自 OpenAI 推出广受欢迎的 ChatGPT 以来，众多顶尖企业纷纷涉足这一领域，竞相推出自己的 AI 聊...
-
技术前沿 |【大模型LLaMA：技术原理、优势特点及应用前景探讨】
大模型LLaMA：技术原理、优势特点及应用前景探讨 一、引言 二、大模型LLaMA的基本介绍 三、大模型LLaMA的优势特点 五、结论与展望 一、引言 随着人工智能技术的飞速发展，大模型已成为推动这一领域进步的重要力量。近年来...
-
AI日报：MJ推模型个性化功能；ComfyUI完成SD3 Medium模型适配；字节上线AI交友“小黄蕉”；微信输入法内测AI功能
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 1、Midjourney推出模型个...
-
为什么很多AI应用创新往往诞生在中国？
2023年6月，英国《金融时报》一篇名为Gaming industry puts generative AI to the test的深度报道流传于中文互联网。 文中提到了一款名为“Justice Mobile”的手游，游戏中的NPC能跟玩家随意聊天，能和...
-
Stable Diffusion 详细教程
Stable Diffusion是一个概念上类似于Diffusion Models的技术，特别是在生成图像和处理自然语言任务方面。然而，“Stable Diffusion”并不是一个直接对应的具体项目或库名称，如DDPM（Denoising Diffusi...
-
谷歌推创新框架AGREE 可增强大模型生成内容准确性
谷歌研究院推出了一个名为AGREE的创新框架，旨在增强大型语言模型（LLM）生成内容和引用的准确性。这一框架通过检索文档中的相关段落来增强大模型生成回答的事实基础，并提供相应的引用，从而提高回答的准确性，并为用户提供验证信息真实性的途径。 核心技术:...
-
LLaMA详细解读
LLaMA 是目前为止，效果最好的开源 LLM 之一。精读 LLaMA 的论文及代码，可以很好的了解 LLM 的内部原理。本文对 LLaMA 论文进行了介绍，同时附上了关键部分的代码，并对代码做了注释。 摘要 LLaMA是一个系列模型，模型参数量从7B...
-
代码高手的过节秘籍：CodeArt Snap帮写代码，灵感弹指间实现
本文分享自华为云社区《【端午特辑】代码高手的过节秘籍：CodeArt Snap帮写代码，灵感弹指间实现》，作者： 华为云社区精选。 端午将至，粽叶飘香，你却还在为一行行代码头疼？与bug缠斗不休？ 现在，基于盘古大模型技术打造的华为云智能开发助手Cod...
-
【大模型】LLaMA-1 模型介绍
文章目录 一、背景介绍 二、模型介绍 2.1 模型结构 2.2 模型超参数 2.3 SwiGLU 三、代码分析 3.1 模型结构代码 3.2 FairScale库介绍 四、LLaMA家族模型 4.1 Alpaca 4.2 Vicuna...
-
【AIGC】PULID:对比对齐的ID定制化技术
论文链接：https://arxiv.org/pdf/2404.16022 github：https://github.com/ToTheBeginning/PuLID comfyui节点：GitHub - cubiq/PuLID_ComfyUI: P...
-
Llama 3“智商”测试：英文提示表现亮眼，中文不完美但差强人意！
大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，所以创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效...
-
Meta Llama 3 使用 Hugging Face 和 PyTorch 优化 CPU 推理
原文地址：meta-llama-3-optimized-cpu-inference-with-hugging-face-and-pytorch 了解在 CPU 上部署 Meta* Llama 3 时如何减少模型延迟 2024 年 4 月 19 日 万...
-
有趣的大模型之我见 | Llama AI Model
Llama 开源吗？ 我在写《有趣的大模型之我见 | Mistral 7B 和 Mixtral 8x7B》时曾犹豫，在开源这个事儿上，到底哪个大模型算鼻祖？2023 年 7 月 18 日，Meta 推出了最受欢迎的大型语言模型（LLM）的第二个版本-Ll...
-
Stable Diffusion中的embedding
Stable Diffusion中的embedding 嵌入，也称为文本反转，是在 Stable Diffusion 中控制图像样式的另一种方法。在这篇文章中，我们将学习什么是嵌入，在哪里可以找到它们，以及如何使用它们。 什么是嵌入embeddin...
-
llama_index微调BGE模型
微调模型是为了让模型在特殊领域表现良好，帮助其学习到专业术语等。 本文采用llama_index框架微调BGE模型，跑通整个流程，并学习模型微调的方法。 已开源：https://github.com/stay-leave/enhance_llm 一、...
-
【AIGC调研系列】DeepSeek模型的优势和劣势
DeepSeek模型的优势主要包括： 多模态能力：DeepSeek-VL能够在不丢失语言能力的情况下融入多模态能力，能够处理包括逻辑图、网页、公式识别、科学文献、自然图像等多种类型的数据，显示出其强大的通用多模式理解能力[1]。 高分辨率图片输入：...
-
用 LLaMA-Factory 在魔搭微调千问
今天在魔搭上把千问调优跑通了，训练模型现在在 Mac 还不支持，需要用 N 卡才可以，只能弄个N 卡的机器，或者买个云服务器。魔搭可以用几十个小时，但是不太稳定，有的时候会自动停止。 注册账号 直接手机号注册就可以. 找到对应模型 这步可能不需...
-
AI绘画工具Stable Diffusion免费下载及安装教程（超详细，保姆级教程）
目前市面上两款权威的AI绘画软件，一个是Midjourney ，另外一个就是今天的主角 Stable Diffusion 。它们的区别如下： Midjourney (简称MJ ：需要付费使用，且国内不可用 Stable Diffusion (简...
-
Stable Diffusion XL之使用Stable Diffusion XL训练自己的AI绘画模型
文章目录 一 SDXL训练基本步骤 二 从0到1上手使用Stable Diffusion XL训练自己的AI绘画模型 2.1 配置训练环境与训练文件 2.2 SDXL训练数据集制作 (1 数据筛选与清洗 (2 使用BLIP自动标注cap...
-
AI绘画的算法原理：从生成模型到Diffusion
近年来，AI绘画技术引起了广泛关注，让我们深入探讨其背后的技术原理和发展历程。本文将以通俗易懂的方式，介绍AI绘画的核心算法，从生成模型到Diffusion。 1. 计算机如何生成图画？ AI绘画的核心在于生成模型（ge...
-
【AIGC调研系列】Phi-3 VS Llama3
2024-04-24日发布的Phi-3系列模型在多个方面展现出了对Llama-3的性能优势。首先，Phi-3-small（7B参数）在MMLU上的得分高于Llama-3-8B-Instruct模型，分别为75.3%和66%[1]。此外，具有3.8B参数的P...
-
一文带你搞懂AI前沿技术AIGC
人工智能（AI）领域的发展日新月异，而AIGC（Adversarial Instance Generation and Correction）作为其中的一项前沿技术备受关注。本文将带你深入探索AIGC，解析其背后的原理、应用场景以及未来发展趋势。 什么...
-
快手版Sora「可灵」开放测试：生成超120s视频，更懂物理，复杂运动也能精准建模
什么？疯狂动物城被国产AI搬进现实了？ 与视频一同曝光的，是一款名为「可灵」全新国产视频生成大模型。 它采用了Sora相似的技术路线，结合多项自研技术创新，生成的视频不仅运动幅度大且合理，还能模拟物理世界特性，具备强大的概念组合能力和想象力。 数据上看...