-
RWKV-7 预览版、大量新论文...RWKV 社区 9 月动态速览
欢迎大家收看《RWKV 社区最新动态》第五期，本期内容收录了 RWKV 社区 2024 年 9 月的最新动态。 9 月动态省流版（TL;DR） RWKV 官方新闻动态 RWKV-7 发布预览版 RWKV-7 论文撰写已面向社区开放...
-
大模型存储选型 & JuiceFS 在关键环节性能详解
从去年开始，LLM大语言模型领域发展迅速、如 LLaMA、ChatGLM、Baichuan、Qwen 和 yi-model 等基础模型（Foundation Models）的数量显著增加。众多企业也开始基于这些基础模型做 post-training 的相关...
-
大模型培训讲师叶梓:Llama Factory 微调模型实战分享提纲
LLaMA-Factory ——一个高效、易用的大模型训练与微调平台。它支持多种预训练模型，并且提供了丰富的训练算法，包括增量预训练、多模态指令监督微调、奖励模型训练等。 LLaMA-Factory的优势在于其简单易用的界面和强大的功能。用户可以在不编写...
-
Llama 3.1大模型的预训练和后训练范式解析
Meta的Llama大型语言模型每次出新版本，都会是一大事件。前段时间他们不仅发布了3.1的一个超大型的405亿参数模型，还对之前的8亿和70亿参数的模型做了升级，让它们在MMLU测试中的表现更好了。 不同模型在MMLU基准测试中的表现 他们还...
-
亚马逊云科技Code Whisperer如何提高理解数据结构与算法的效率
关键字: [Code Whisperer, Data Structures Arrays, Sorting Algorithms, Merge Sort, Array Implementation, Coding Interviews] 导读...
-
Datawhale X 魔搭 AI夏令营第四期-AIGC文生图方向Task2笔记
Datawhale X 魔搭 AI夏令营第四期-AIGC文生图方向-Task2：精读代码，实战进阶 Task2任务目标 AI工具使用 AI工具介绍 ChatGPT 功能与用途 优点 缺点 总结 KIMI 通义千问 主要功能与用途： 优点：...
-
Meta又给OpenAI一记重击，视频生成Movie Gen震撼登场，甚至可以配音、编辑
在 OpenAI Sora 难产的时候，Meta 首次公开展示了自家的「用于媒体的突破性生成式 AI 研究」:Meta Movie Gen。 Meta 在相应博客中使用了「premiere」一词，也就是初次展示，因此手痒的用户可能还得再等上一段时间。 M...
-
Datawhale X 魔搭 AI夏令营 第四期-AIGC方向Task2笔记
baseline的流程图 Baseline代码 !pip install simple-aesthetics-predictor !pip install -v -e data-juicer !pip uninstall pytorch-...
-
AI绘画系统开发：你真的准备好了吗？
在这个人工智能飞速发展的时代，AI绘画系统似乎成为了炙手可热的话题。它不仅在艺术创作领域掀起了一股浪潮，还为很多设计师和艺术家带来了全新的创作方式。但问题是，开发一个真正实用的AI绘画系统，真的像听起来那么简单吗？ 从...
-
开源语音实时交互新突破：LLaMA-Omni实现大语言模型无缝语音交互
像 GPT-4o 这样的模型通过语音实现了与大型语言模型（LLMs）的实时交互，与基于文本的传统交互相比，显著提升了用户体验。然而，目前在如何构建基于开源 LLMs 的语音交互模型方面仍缺乏探索。为了解决这个问题，我们提出了 LLaMA-Omni，这是一个...
-
【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画
GitHub：https://github.com/BadToBest/EchoMimic 论文： https://arxiv.org/pdf/2407.08136 comfyui： https://github.com/smthemex/ComfyU...
-
用 LoRA 微调 Stable Diffusion：拆开炼丹炉，动手实现你的第一次 AI 绘画
总得拆开炼丹炉看看是什么样的。这篇文章将带你从代码层面一步步实现 AI 文本生成图像（Text-to-Image）中的 LoRA 微调过程，你将： 了解 Trigger Words（触发词）到底是什么，以及它们如何影响生成结果。 掌握 LoRA 微调...
-
【AI学习】AI绘画发展简史
无意中读了一篇发表自2022年的文章，《AI绘画何以突飞猛进? 从历史到技术突破, 一文读懂火爆的AI绘画发展史》，写的比较有意思，科普了好多我原来不知道的历史。 简单提炼一下，做个笔记。 AI绘画重要事件 2012年 Google两位大名鼎鼎的...
-
乏善可陈的第二届OpenAI开发者大会，果然没有掀起太大波澜
OpenAI 的宫斗大戏刚落下帷幕，今日凌晨就在旧金山召开了第二届 DevDay 开发者大会。 不过，与去年盛大的活动相比，今年略显低调，他们没有推出重大产品，而是选择对其现有的 AI 工具和 API 进行增量改进。 在这次活动中，OpenAI 发布了四大...
-
LLaMA-Factory 让大模型微调变得更简单！！
背景 如果只需要构建一份任务相关的数据，就可以轻松通过网页界面的形式进行 Fine-tuning 微调操作， 那么必将大大减轻微调工作量。 今年的 ACL 2024见证了北航和北大合作的突破—论文《LLAMAFACTORY: 统一高效微调超百种语言...
-
奥特曼：自认比o1聪明请举手🤚到o2还这么想么🤨？｜OpenAI开发者日
这一幕，刚刚在OpenAI开发者日最后一个环节——奥特曼炉边谈话中上演。 对话由奥特曼和OpenAI首席产品官Kevin Weil进行，奥特曼还对未来作出如下判断: 无限上下文长度将在十年内发生 o1正在推动智能体应用，人们将要求AI在一小时内完成以前人...
-
llama-factory实战: 基于qwen2.5-7b 手把手实战 自定义数据集清洗 微调
基于qwen2.5 手把手实战 自定义数据集 微调（llama-factory） 准备工作 1.数据集准备（例:民法典.txt） 2.服务器准备（阿里云 DSW 白嫖） 3.环境配置 pip 升级 模型下载 微调助手 4.数据集处理 脚...
-
Llama 3.1 技术研究报告-3
四、后训练 我们通过对预训练检查点进⾏多轮后训练，或在预训练检查点的基础上与⼈类反馈（Ouyang等⼈，2022年；Rafailov等⼈，2024年）对⻬模型，以产⽣对⻬的Llama 3模型。每⼀轮后训练包括监督式微调（SFT）和直接偏好优化（DPO；...
-
Chinese-Vicuna: 一个基于LLaMA的中文指令跟随模型
Chinese-Vicuna简介 Chinese-Vicuna是一个基于LLaMA的中文指令跟随模型，由研究者开发，旨在以低资源的方式实现高效的中文语言模型训练。该项目的主要目标是构建和分享可以在单个Nvidia RTX-2080TI上训练的中文指令跟随...
-
【AIGC】Kolors:快手开源的文生图大模型
GitHub：GitHub - Kwai-Kolors/Kolors: Kolors Team 论文：Kolors/imgs/Kolors_paper.pdf at master · Kwai-Kolors/Kolors · GitHub comfyu...
-
OpenAI开发者大会推出四大创新：提示词缓存可减少50%输入token成本
10月2日消息，美东时间10月1日OpenAI举行了年度开发者大会DevDay，推出系列新工具，包括四大创新：实时API（Realtime API）、视觉微调（Vision Fine-Tuning）、提示词缓存（Prompt Caching）、模型蒸馏（M...
-
Unsloth 教程 - 如何微调 Llama-3并导出到 Ollama
本文翻译整理自：? How to Finetune Llama-3 and Export to Ollamahttps://docs.unsloth.ai/tutorials/how-to-finetune-llama-3-and-export-to-ol...
-
如何利用 Whisper 模型进行多语言语音识别的优化和定制？
关注我，持续分享逻辑思维&管理思维&面试题； 可提供大厂面试辅导、及定制化求职/在职/管理/架构辅导； 推荐专栏《10天学会使用asp.net编程AI大模型》，目前已完成所有内容。一顿烧烤不到的费用，让人能紧跟时代的浪潮。从普通网站，到公...
-
llama factory LoRA微调qwen大模型 | 新手炼丹记录(1)
往期回顾 llama factory LoRA微调qwen大模型 | 新手炼丹记录(1 -CSDN博客 大模型使用llama.cpp转换gguf格式并量化 | 新手炼丹记录(2 -CSDN博客 oll...
-
LLaMa-Factory入门教程
LLaMa-Factory是一个基于人工智能技术的开源项目，专为大型语言模型（LLMs）的微调而设计。它提供了丰富的工具和接口，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景。以下将详细介绍如何使用LLaMa-Factory：...
-
中科院提出GPT-4o实时语音交互的开源对手：Llama-Omni
论文：LLaMA-Omni: Seamless Speech Interaction with Large Language Models地址：https://arxiv.org/pdf/2409.06666 研究背景 研...
-
AMD发布首个AI小语言模型：6900亿token、推测解码提速3.88倍
快科技10月1日消息，AMD发布了自己的首个小语言模型(SLM ，名为AMD-135M”。 相比于越来越庞大的大语言模型(LLM ，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。 AMD-135小模型隶属于Llama家族，有两个版...
-
LLM大模型之Rag检索增强生成演变成GraphRAG
RefAug：prompt增强训练LLM https://github.com/ytyz1307zzh/RefAug Learn Beyond The Answer: Training Language Models with Reflect...
-
保姆级 Stable Diffusion 教程，看完这篇就够了！
在美国科罗拉多州举办了一场新兴数字艺术家竞赛，一幅名为《太空歌剧院》的作品获得“数字艺术/数字修饰照片”类别的一等奖，神奇的是，该作品的作者并没有绘画基础，这幅画是他用 AI 生成的。 这让人们充分见识到AI 在绘画领域惊人的创造力，AI 作品不仅可...
-
1500+ HuggingFace API token暴露，使数百万 Meta-Llama、Bloom 等大模型用户面临风险
HugginingFace 和 GitHub 是AI开发人员的重要平台，因此我们决定对这些平台做更为深入的研究。在这项研究中，我们发现了数以千计的 API 令牌，这些令牌暴露给恶意行为者，使数百万最终用户可能受到攻击。 本文的主要内容包括：...
-
Meta Llama 3介绍及其关键技术
随着深度学习算法的突破和发展，语言模型已经成为连接人与机器的重要桥梁。在这一领域中，Meta的Llama 3 作为最新一代的大规模预训练模型，凭借其卓越的性能和广泛的应用前景，正逐渐成为行业内的佼佼者。 Llama 3 的研发团队继承了前代模型的技术优势...
-
AI日报：智谱开源图像生成模型CogView3；AI声音克隆差点骗走律师父亲3万美金；GGHead颠覆3D建模
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 1、文生图卷起来了!智谱开源图像生...
-
给AI公司“打杂”，95后华人把估值做到138亿美元
在旧金山的 Showplace 广场，一栋曾经属于Airbnb的商业大楼最近迎来了新主人。在大部分科技公司都在业务收缩的当下，Scale AI，这家由95后华人创立的人工智能数据标注公司，大手一挥租下了旧金山市中心约18万平英尺的办公室。 就在不久前，Sc...
-
使用 GaLore 预训练LLaMA-7B
项目代码： https://github.com/jiaweizzhao/galorehttps://github.com/jiaweizzhao/galore 参考博客： https://zhuanlan.zhihu.com/p/686686751...
-
陶哲轩全网悬赏「最强大脑」！AI+人类颠覆数学难题？凡尔赛网友已下场
【新智元导读】最近，陶哲轩向广大网友和数学爱好者发起了挑战:大众数学爱好者、证明助理、自动化助手和AI联合起来，是否可以证明扩展几个数量级的数学问题? 想参加陶哲轩发起的「众包」数学研究项目吗? 机会来了! AI辅助证明数学研究，越来越可行了 在传统上，...
-
3天把Llama训成Mamba，性能不降，推理更快！
近日，Mamba方面又搞出了有意思的研究：来自康奈尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型，并且设计了新的推测解码算法，加速了模型的推理。\ 先来看一张其乐融融的图片（一眼AI）： 右边的小羊驼代表Llama，而左边的蛇（...
-
LlaMa-Factory源码解析之预训练LLaMA-Factory/src/llamafactory/train/pt/workflow.py -＞ run_pt()
LLaMA-Factory/src/llmtuner/train/pt/workflow.py at main · hiyouga/LLaMA-Factory · GitHub 截止至2024年7月，该框架workflow.py目录从LLaMA-Fact...
-
Copilot,Cursor和通义灵码：到底谁才是你的最强代码助手？
近期基于大语言模型诞生的代码辅助助手可谓层出不穷，从一开始的github copilot, tabnine到现如今的cursor大火，到底谁才是代码辅助的最强王者呢？我希望就我近期的体验带大家初步认识一下他们（仅代表个人见解） 本文将介绍以下几个工具：...
-
Datawhale训练营AIGC方向 第二期
Datawhale训练营AIGC方向 第二期 AI生图模型 概念 AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何 生成符合语义的图片。 通俗来说...
-
Datawhale X 魔搭 AI夏令营-AIGC文生图方向Task3笔记
#目录# 一、ComfyUI安装及实践 （一）什么是ComfyUI （二）ComfyUI核心模块 （三）ComfyUI图片生成流程 ...
-
AIGC提示词（3）：AI的创造力之谜：相同提示词，不同内容
引言 在这个数字化的时代，人工智能生成内容（AIGC）已经变得无处不在。想象一下，只需输入几个关键词，AI就能创作出各种内容，无论是文字、图片，还是其他形式。但这里有个有趣的问题：如果我们给AI相同的提示词，它们生成的内容会一样吗？这个问题触及了AI内...
-
DataWhale Task02：从零预训练一个tiny-llama 20923
DataWhale Task02：从零预训练一个tiny-llama 20923 原文link：https://github.com/KMnO4-zx/tiny-llm 开源内容：https://github.com/datawhalechina/t...
-
【记录贴 | 持续更新】搜广推/aigc 面试题记录
目录 nlp/搜广推 transformer结构？ 位置编码的作用？ 解释 self-attention？ attention中 /√(d_k 的作用是什么？ 解释Multi-Head Attention？ FeedForward的作用...
-
Datawhale X 魔塔 AI夏令营第四期-AIGC文生图方向 Task3笔记
一、工具初探——ComfyUI应用场景探索 1、什么是ComfyUI 在介绍ComfyUI之前，我们先来回顾一下我们熟悉的GUI。 GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是在电脑屏...
-
Datawhale X 魔搭 第四期AI夏令营-AIGC方向 task3笔记
最后一个阶段——task3，本次AI夏令营终于也是要完结了，那么话不多说让我们直接进入笔记部分吧。本次的学习内容是:ComfyUI和Lora微调的讲解 Part 1：Hello ComfyUI 什么是ComfyUI呢？根据学习手册的介绍，它是主...
-
每日AIGC最新进展(56)：当下最强开源图片/视频理解模型CogVLM2发布
Diffusion Models专栏文章汇总：入门与实战 随着大型语言模型和多模态对齐技术的发展，视频理解模型在一般开放领域也取得了重大进展。然而，目前大多数视频理解模型使用帧平均和视频令牌压缩方法，导致时间信息的丢失和无法准确回答与时间相关的问题。...
-
DataWhale夏令营第四期魔搭- AIGC方向 task03笔记
文章目录 前言 一、ComfyUI的了解 1.认识ComfyUI 2. GUI的图片生成流程 二、Lora微调 1. Lora和微调简介 2.Lora微调的优势和详细内容 3.Lora实例详解 三，训练集的get 总结 前...
-
使用Stable Diffusion生成的图像合成数据集
使用Stable Diffusion生成图像合成数据集 相关论文Stable DiffusionDALL-E seriesDALL-E seriesImagen 一、Stable Diffusion的原理 Stable Diffusion是一种基...
-
LLaMA-Factory使用指南：快速训练专属大模型，打造定制化AI解决方案！
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和...
-
LLaMA-Factory源码分析
搭建远程容器调试环境 docker-compose部署 使用LLaMA-Factory源码中的docker/docker-cuda下的Dockerfile和docker-compose.yml构建镜像，启动其服务。Dockerfile使用官方默认，只需...