-
Karpathy离职OpenAI，首发2小时AI大课！从头开始构建GPT分词器
离职OpenAI的技术大神karpathy，终于上线了2小时的AI大课。 ——「让我们构建GPT Tokenizer（分词器）」。 其实，早在新课推出两天前，karpathy在更新的GitHub项目中，就预告了这件事。 这个项目是minbpe——专为...
-
LLaMA 2 和 QianWen-14B
阿里云通义千问14B模型开源！性能超越Llama2等同等尺寸模型 - 科技新闻 - EDA365电子论坛网 LLaMA 2 的硬件要求： LLaMA 2 系列模型有不同的参数量版本，如7B、13B和70B等。对于不同大小的模型，其硬件需求也有所不同。以...
-
谷歌杀入开源大模型，单挑Meta Llama2，凭什么问鼎王座？
撰稿丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 兵贵神速。在大模型的必争之地，谷歌却总是慢人一步，因而屡屡被调侃“起了大早，赶个晚集”。但昨日，谷歌却突放大招，发布了一款开放模型——Gemma，并声称其是轻量级中“最先进的”开放模型...
-
谷歌开源Gemma，为端侧AI浇了桶油
2月21日，谷歌正式对外发布开源大模型Gemma。 这距离谷歌上一次大模型Gemini 1.5的发布，还不到一周的时间，事关大模型的竞争愈演愈烈。 2月15日，OpenAI发布Sora，Sora文生视频的能力，再度震惊整个行业。 彼时，就连此前在文生视...
-
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，重燃开源之战
一声炸雷深夜炸响，谷歌居然也开源LLM了？！ 这次，重磅开源的Gemma有2B和7B两种规模，并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持，Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人印象深刻的是，还...
-
谷歌VideoPoet负责人蒋路跳槽TikTok！对标Sora，AI视频模型大战在即
离职OpenAI的技术大神karpathy，终于上线了2小时的AI大课。 ——「让我们构建GPT Tokenizer（分词器）」。 图片 其实，早在新课推出两天前，karpathy在更新的GitHub项目中，就预告了这件事。 图片 这个项目是minbpe...
-
生成式AI智能体之间的秘密串通：一场隐藏的危机，你准备好了吗？
大型语言模型（LLM）的能力增强，开辟了一组通信生成AI智能体解决联合任务的应用程序。这对未经授权的信息共享或其他不必要的智能体协调形式带来了隐私和安全挑战。现代隐写技术可能会使这种动态难以检测。通过借鉴人工智能和安全文献中的相关概念，全面正式化了生成人...
-
大语言模型之LlaMA系列-LlaMA 2及LlaMA_chat(下)
多转一致性的系统消息 - System Message for Multi-Turn Consistency 在对话设置中，某些指示应适用于所有对话轮次。 例如，简洁地响应，或"充当"某个公众人物。当我们向Llama 2-Chat提供此类指示时，后...
-
单GPU就能压缩模型，性能不变参数少25%！微软提出模型稀疏化新方法
众所周知，对于大语言模型来说，规模越大，所需的算力越大，自然占用的资源也就越多。 研究人员于是乎把目光转到了这片领域，即模型的稀疏化（Sparsification）。 今天要介绍的SliceGPT，则可以实现模型的事后稀疏。也就是说，在一个模型训练完了以...
-
Groq最快AI推理芯片成本推算高得离谱 运行LIama2得1171万美元
最近，Groq 公司推出了一款号称性价比高达英伟达 GPU100倍的 AI 推理芯片，引起了广泛关注。然而，运行其最快 AI 推理芯片 LIama2所需的成本高达1171万美元，让业内人士开始对其效益进行热议。网友们通过粗略估算发现，为了运行 LIama2...
-
运行LIama2得8400万元！最快AI推理芯片成本推算引热议
想实现史上最快大模型推理，得要1171万美元（8410万元）？？？ 同等项目下，使用英伟达GPU成本只需30万美元…… 关于最强AI芯片易主Groq，可能得让子弹再飞一会儿了。 这两天，Groq惊艳亮相。它以号称“性价比高英伟达100倍”的芯片，实现每秒...
-
Llama深入浅出
前方干货预警：这可能是你能够找到的最容易懂的最具实操性的学习开源LLM模型源码的教程。 本例从零开始基于transformers库逐模块搭建和解读Llama模型源码(中文可以翻译成羊驼 。 并且训练它来实现一个有趣的实例：两数之和。 输入...
-
英伟达NeMo框架在AI领域的综合应用与优势总结
一、NeMo 框架介绍 NVIDIA NeMo 是基于 PyTorch 和 PyTorch Lightning 的一个开源训练框架，源代码完全公开在 GitHub 上。NeMo 的主要目标是使 AI 开发者能够快速构建对话式 AI 模型并开发相关应用。...
-
基于LLaMA-Factory的微调记录
文章目录 数据模型准备 基于网页的简单微调 基于网页的简单评测 基于网页的简单聊天 基于网页的模型合并 微调问题测试与解决 问题测试 模板修改 强化训练 持续训练 单数据集训练 微调总结 LLaMA-Factory是一个非常好用的无代...
-
10倍英伟达GPU：大模型专用芯片一夜成名，来自谷歌TPU创业团队
我们知道，大模型到 GPT-3.5 这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。 但自本周起，这种观念已成为历史。 有名为 Groq 的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了 GP...
-
大模型最快推理芯片一夜易主：每秒500tokens干翻GPU！谷歌TPU人马打造，喊话奥特曼：你们也太慢了
太快了太快了。 一夜间，大模型生成已经没什么延迟了……来感受下这速度。 ，时长00:06 眼花缭乱了吧，生成速度已经接近每秒500 tokens。 还有更直观的列表对比，速度最高能比以往这些云平台厂商快个18倍吧。 （这里面还有个熟悉的身影：Lepton...
-
比GPT-4快18倍，世界最快大模型Groq登场！每秒500 token破纪录，自研LPU是英伟达GPU 10倍
【新智元导读】卷疯了!世界最快的大模型Groq一夜之间爆火，能够每秒输出近500个token。如此神速的响应，背后全凭自研的LPU。 一觉醒来，每秒能输出500个token的Groq模型刷屏全网。 堪称是「世界上速度最快的LLM」! 相比之下，ChatG...
-
AI视野：大模型最快推理芯片Groq登场；真人视频冒充Sora；Stable Diffusion WebUI Forge推出；字节辟谣推出中文版Sora
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ 📰🤖📢AI新鲜事 大模型最快推理芯...
-
Groq大模型推理芯片每秒500tokens超越GPU，喊话三年超过英伟达
Groq公司推出的大模型推理芯片以每秒500tokens的速度引起轰动，超越了传统GPU和谷歌TPU。该芯片由初创公司Groq研发，其团队成员来自谷歌TPU，包括创始人兼CEO Jonathan Ross，曾设计实现第一代TPU芯片的核心元件。 Groq采...
-
AI女友，很黄很暴利
有人租个女友回家过年，也有人在网上为AI女友付费。 AI女友是大模型的产物，她是一个聊天机器人，24小时陪聊，随叫随到，能文字能语音，还能发美照。 她可以是对现实或小说中某个人物的角色扮演，也可以是凭空创造出来的一个女性形象，总之不是真人。但因为接入了大语...
-
离开OpenAI的大神卡帕西「开课了」：新项目日增千星，还是熟悉的min代码风
大神Karpathy从OpenAI离职，原本扬言要大休一周。 图片 但转眼，新项目就已上线GitHub，日增上千星的那种。 图片 还是熟悉的卡式配方： 74行Python代码搞定大模型标记化（tokenization）中常用的BPE（Byte Pair...
-
AIGC专题：AIGC产业链近况更新
今天分享的是AIGC系列深度研究报告：《AIGC专题：AIGC产业链近况更新》。 （报告出品方：国联证券） 报告共计：19页 AIGC 正反馈持续加强 依托于强大的算力基础设施和海量的通用数据，经过训练和不断调优打造出了 AIGC 大模型，到中...
-
AI自动化标注崛起，数据标注员要失业了？
在数据标注行业流行着一句话：“有多少智能，就有多少人工”。 由于需要标注的数据规模庞大且成本较高，一些互联网巨头及一些AI公司很少自己设有标注团队，大多交给第三方数据服务公司或者数据标注团队来做。 这也衍生出了专为AI而生的人力密集型的数据标注产业链。...
-
使用LlamaIndex和ChatGPT的无代码检索增强生成（RAG）
检索增强生成(RAG 是使用大型语言模型(LLM 的关键工具。RAG使LLM能够将外部文档合并到它们的响应中，从而更紧密地与用户需求保持一致。这个功能在传统上使用LLM犹豫不决的领域尤其有益，尤其是在事实很重要的时候。 自从ChatGPT和类似的LLM推...
-
训不动Mixtral，要不试试LLaMA-MoE？
深度学习自然语言处理 原创作者：cola 随着各种各样增强版LLaMA的出现，Mixture-of-Expert(MoE 类模型越来越受大家关注。而LLaMA-MoE正是基于LLaMA系列和SlimPajama的MoE模型。它显著的一个好处...
-
近期关于AIGC方面的学习笔记和思路整理
LLM 对于LLM，我现在重点关注在这几个方面： 开源且可私有化部署的代码生成模型： 因为大部分软件企业对于安全都很重视，文档、数据、代码一般都会尽量避免被泄露。所以很难使用类似Copilot或者OpenAI的Bito这种需要连到互联网上的服务。如果...
-
关于LLaMA Tokenizer的一些坑...
使用LLaMA Tokenizer对 jsonl 文件进行分词，并将分词结果保存到 txt 文件中，分词代码如下： import jsonlines import sentencepiece as spm from tqdm import tqdm j...
-
扩展说明: 指令微调 Llama 2
这篇博客是一篇来自 Meta AI，关于指令微调 Llama 2 的扩展说明。旨在聚焦构建指令数据集，有了它，我们则可以使用自己的指令来微调 Llama 2 基础模型。 目标是构建一个能够基于输入内容来生成指令的模型。这么做背后的逻辑是，模型如此...
-
驾辰龙跨Llama持Wasm，玩转Yi模型迎新春过大年（上）
大年初一，看着春晚迎新年。今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要短短三步，为这个甲辰龙年带来一份九紫离火运的科技感。 环境准备 这次用的算力是OpenBayes提供的英伟达RTX_4...
-
AIGC内容分享(二)：全球大模型技术与应用分析
目录 前言 人工智能技术回顾 AIGC近期动态梳理 1. 国内动态 2. 国外动态 3. OpenAI的关键动作 4. AIGC的技术变革 AIGC的关键应用 1. AIGC应用背后的驱动力 2. AIGC的三大原能力 3. AI...
-
ChatGPT论文：大语言模型LLM之战:Dolly、LLaMA 、Vicuna、Guanaco、Bard、ChatGPT--在自然语言转SQL(NL2SQL、Text-to-SQL)的比较（二）
3 评价结果 3.1 Spider 数据集 表 2 列出了各种提示策略和模型组合的执行准确性 (EX 和测试套件 (TS 的准确性。我们的主要发现是： 开源模型在 Spider 数据集上遇到了困难：尽管参数数量和模型性能之间存在正相关关系...
-
llama.cpp中main函数参数
使模型类gpt式交互： ./main -m .\models\llama-2-7b-chat\ggml-model-q4_0.gguf -n 256 --repeat_penalty 1.0 --color -i -r "User:" -f prompt...
-
Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。 虽然TimeGPT是一个专有模型，只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了...
-
万元预算打造高质量13B私有模型，Colossal-AI LLaMA-2 开源方案再升级
几个月前，Colossal-AI 团队仅利用8.5B token数据、15小时、数千元的训练成本，成功构建了性能卓越的中文LLaMA-2 7B 版本模型，在多个评测榜单性能优越。 在原有训练方案的基础上，Colossal-AI 团队再次迭代，并通过构建更...
-
LLMs之Llama2 70B：使用 PyTorch FSDP 微调 Llama 2 70B实现全部过程讲解之详细攻略
LLMs之Llama2 70B：使用 PyTorch FSDP 微调 Llama 2 70B实现全部过程讲解之详细攻略 目录 使用 PyTorch FSDP 微调 Llama 2 70B 引言 FSDP 工作流 使用的硬件 微调 LLa...
-
使用deepspeed继续训练LLAMA
目录 1. 数据训练配置 2. 模型载入 3. 优化器设置 4. DeepSpeed 设置 5. DeepSpeed 初始化 6. 模型训练 LLAMA 模型子结构： 1. 数据训练配置 利用 PyTorch 和 Transfo...
-
LLaMA 入门指南
LLaMA 入门指南 LLaMA 入门指南 LLaMA的简介 LLaMA模型的主要结构 Transformer架构 多层自注意力层 前馈神经网络 Layer Normalization和残差连接 LLaMA模型的变体 Base版本 La...
-
英伟达官宣AI聊天机器人，本地RTX显卡运行，这是要挑战OpenAI？
OpenAI 进军芯片领域，英伟达自己造聊天机器人，这是 Sam vs Jensen 的时代? 下载地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/ 在这波 AI...
-
【AIGC】Llama2-7B-Chat模型微调
环境 微调框架：LLaMA-Efficient-Tuning 训练机器：4*RTX3090TI (24G显存 python环境：python3.8, 安装requirements.txt依赖包 一、Lora微调 1、准备数据集 2、训...
-
19｜Whisper+ChatGPT：请AI代你听播客
今天，我们的课程开始进入一个新的主题了，那就是语音识别。过去几周我们介绍的 ChatGPT 虽然很强大，但是只能接受文本的输入。而在现实生活中，很多时候我们并不方便停下来打字。很多内容比如像播客也没有文字版，所以这个时候，我们就需要一个能够将语音内容转换成...
-
清华系2B模型杀出，性能吊打LLaMA-13B
2 月 1 日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM，主体语言模型 MiniCPM-2B 仅有 24 亿（2.4B）的非词嵌入参数量。 在综合性榜单上与 Mistral-7B 相近，在中文、数学、代码能力表现更...
-
GPT-4绝对性能暴涨74.4%！UIUC苹果华人团队提出CodeAct，用Python代码统一LLM智能体行动
一直以来，LLM智能体被众多业界AI大佬看好，甚至有望成为将人类从琐碎工作中解放出来的利器。 但是，它们该如何与世界进行最佳互动? 最近，来自UIUC和苹果的华人研究员，提出了一种全新的智能体框架——CodeAct。 它通过采用可执行的Python代码，来...
-
每日一看大模型新闻（2023.12.13）趣味项目CLoT:训练LLM更幽默地回答问题；用RLHF 2%的算力让LLM停止有害输出，字节提出LLM遗忘学习；2.7B能打Llama 2 70B，微软祭出
1.产品发布 1.1 2.7B能打Llama 2 70B，微软祭出「小语言模型」 发布时间：2023-12-13 2.7B能打Llama 2 70B，微软祭出「小语言模型」！96块A100 14天训出Phi-2，碾压谷歌Gemini na...
-
将AI融入CG特效工作流；对谈Dify创始人张路宇；关于Llama 2的一切资源；普林斯顿LLM高阶课程；LLM当前的10大挑战 | ShowMeAI日报
👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦！ 🤖 将AI融入CG特效工作流，体验极致的效率提升 BV1pP411r7HY 这是 B站UP主 @特效小哥studio 和 @拓星研究所 联...
-
用通俗易懂的方式讲解：使用Llama-2、PgVector和LlamaIndex，构建大模型 RAG 全流程
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。 本文，我们将深入研究使用trans...
-
LLaMA-Factory添加adalora
感谢https://github.com/tsingcoo/LLaMA-Efficient-Tuning/commit/f3a532f56b4aa7d4200f24d93fade4b2c9042736和https://github.com/huggingf...
-
OpenAI豪赌7万亿，能买4个英伟达！奥特曼芯片帝国占全球GDP 10%，或引世界经济末日？
昨天，Sam Altman筹资7万亿美元建芯片帝国的新闻一出，舆论哗然。 7万亿美元，是全球GDP的10%，大约是美国GDP的1/4，或者2/5个中国的GDP。 这个数字实在令人难以理解，除非OpenAI确信，自己的技术就从根本上重塑整个世界。否则，人...
-
Meta开源Code Llama 70B,缩小与GPT-4之间的技术鸿沟
每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同...
-
【AI】RTX2060 6G Ubuntu 22.04.1 LTS (Jammy Jellyfish) 部署Chinese-LLaMA-Alpaca-2 【2】启用GPU支持
接上篇 【AI】RTX2060 6G Ubuntu 22.04.1 LTS (Jammy Jellyfish 部署Chinese-LLaMA-Alpaca-2-CSDN博客 前面的实验，chat.sh确认是运行在CPU模式下，未启用GPU支持...
-
元壤教育“AIGC大模型应用开发工程师”课纲，学习这套课程就够了
元壤教育（公众号ID：yuanrang_edu）：专注于AIGC大模型应用开发工程师和AIGC+数字人全栈运营师就业培训，帮助3000万大学生和职业人士构建AIGC新职场的高速公路。 人工智能是新电力。正如大约 100 年前电力改变了许多行业一...