-
LLaMA-2-7B数学能力上限已达97.7%？Xwin-Math利用合成数据解锁潜力
合成数据持续解锁大模型的数学推理潜力！ 数学问题解决能力一直被视为衡量语言模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学问题上表现出色。 近日，一项由 Swin-Transformer 团队打造，来自西安交通...
-
大模型的DenseNet时刻！DenseMamba：精度显著提升
本文经自动驾驶之心公众号授权转载，转载请联系出处。 随着 ChatGPT 的突破性进展，大型语言模型（LLMs）迎来了一个崭新的里程碑。这些模型在语言理解、对话交互和逻辑推理方面展现了卓越的性能。过去一年，人们目睹了 LLaMA、ChatGLM 等模型...
-
【AIGC调研系列】StarCoder2模型与其他模型对比的优势和劣势
StarCoder2模型的优势主要包括： 性能：StarCoder2模型具备性能优势，旨在为代码生成、编辑和推理任务提供强大的支持[6]。 透明度：该系列模型希望成为代码生成领域的新标准，提高了模型的透明度和可访问性[1][4][11]。 成本效...
-
NVIDIA GPU弱爆了！世界第一AI芯片升级4万亿晶体管、90万核心
快科技3月14日消息，Cerebras Systems发布了他们的第三代晶圆级AI加速芯片WSE-3”(Wafer Scale Engine 3 ，规格参数更加疯狂，而且在功耗、价格不变的前提下性能翻了一番。 2019年的第一代WSE-1基于台积电16nm...
-
【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）
1.python环境准备 注：llama-cpp-python安装一定要带上前面的参数安装，如果仅用pip install装，启动服务时并没将模型加载到GPU里面。 # CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAK...
-
论文笔记：Code Llama: Open Foundation Models for Code
导语 Code Llama是开源模型Llama 2在代码领域的一个专有模型，作者通过在代码数据集上进行进一步训练得到了了适用于该领域的专有模型，并在测试基准中超过了同等参数规模的其他公开模型。 链接：https://arxiv.org/abs/23...
-
Meta两个豪华AI集群曝光：每个配备2.4万块英伟达H100，价值几十亿
3月13日消息，美国时间周二，Facebook母公司Meta公布了两个数据中心规模新集群的技术细节，它们各自拥有超过2.4万个GPU，并在硬件、网络、存储、设计、性能和软件等方面上，专为支持大型语言模型如Llama 3进行训练而深度优化。 这两个新集群基...
-
首个AI软件工程师上线！已通过公司面试抢程序员饭碗，华人创始团队手握10块IOI金牌
前段时间，英伟达 CEO 黄院士发出惊人言论：「都别学编程了，以后交给 AI 就行了，以后人人都是软件工程师。」当时还有很多人反对，说「AI 永远不会取代程序员。」没想到，首个人工智能软件工程师 Devin 一发布，程序员的饭碗可能真要被 AI 端走了。...
-
今日AI：GPT-4.5意外曝光可能6月发布、UP主借AI识别情绪播放量186万、全球首个AI程序员诞生
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ ?一分钟速看版 ▶OpenAI的G...
-
Llama-3背后基础训练设施全揭秘：两个24KGPU集群，共4.9万个H100
作者丨Kevin Lee、Adi Gangidi、Mathew Oldham 编译丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 日前，Meta在官网公布了两个全新的24K H100 GPU集群（49,152个），并就新集群的技术细节...
-
专为训练Llama 3，Meta 4.9万张H100集群细节公布
生成式大模型给人工智能领域带来了重大变革，人们在看到实现通用人工智能（AGI）希望的同时，训练、部署大模型的算力需求也越来越高。 刚刚，Meta 宣布推出两个 24k GPU 集群（共 49152 个 H100），标志着 Meta 为人工智能的未来做出了...
-
仅需格式转换提升9%数学推理能力，上交开源新对齐方法ReAlign
大模型对齐新方法，让数学推理能力直接提升9%。 上海交通大学生成式人工智能实验室（GAIR Lab）新成果ReAlign，现已开源。 随着以ChatGPT为代表的语言大模型的快速发展，研究人员意识到训练数据的质量才是大模型对齐的关键。 然而，目前主流的...
-
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B
【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B 简介 环境配置 环境搭建 依赖安装 代码及模型权重拉取 拉取 Chinese-LLaMA-Alpaca 拉取 llama-30b...
-
刚刚，马斯克xAI官宣开源自家大模型Grok！网友：现压力给到了OpenAI
马斯克又给OpenAI上压力了！ 今天，马老板郑重宣布要在本周开源自己的大模型Grok。 毕竟马斯克起诉OpenAI的理由是「OpenAI违背了最初对开源、非营利人工智能的承诺」，这节骨眼上把Grok开源算是成功占领道德高地。 这下我再说你是「Clos...
-
浙大&中科院让Agent学会自我进化，玩德州扑克心机尽显
基于大模型的Agent，已经成为了大型的博弈游戏的高级玩家，而且玩的还是德州扑克、21点这种非完美信息博弈。 来自浙江大学、中科院软件所等机构的研究人员提出了新的Agent进化策略，从而打造了一款会玩德州扑克的“狡猾”智能体Agent-Pro。 通过不断...
-
仅一行命令本地 CPU 环境快速上手 Google 开源大模型 Gemma
Google Gemma 是什么？ 2月底 Google 发布的 Gemma 相比自家的 Gemini 更加轻量级，不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文，相比其他开源在各个方面都占了上风。科技巨头出品、领先地位、全面对外开放、免费可商用...
-
DenseMamba：大模型的DenseNet时刻，Mamba和RetNet精度显著提升
随着 ChatGPT 的突破性进展，大型语言模型（LLMs）迎来了一个崭新的里程碑。这些模型在语言理解、对话交互和逻辑推理方面展现了卓越的性能。过去一年，人们目睹了 LLaMA、ChatGLM 等模型的诞生，它们基于 Transformer 架构，采用多...
-
清华系2B模型杀出支持离线本地化部署，可以个人电脑或者手机上部署的多模态大模型，超越 Mistral-7B、LLaMA-13B
清华系2B模型杀出支持离线本地化部署，可以个人电脑或者手机上部署的多模态大模型，超越 Mistral-7B、LLaMA-13B。 2 月 1 日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM，主体语言模型 Mini...
-
LeCun最新专访：为什么物理世界终将成为LLM的「死穴」？
在人工智能领域，很少有像 Yann LeCun 这样的学者，在 65 岁的年龄还能高度活跃于社交媒体。 一直以来，Yann LeCun 都是以「直言不讳的批评者」形象活跃于人工智能领域。他始终支持开源，并带领 Meta 的团队推出了占据如今开源大模型领域...
-
让大模型“瘦身”90%！清华&哈工大提出极限压缩方案：1bit量化，能力同时保留83%
对大模型进行量化、剪枝等压缩操作，是部署时最常见不过的一环了。 不过，这个极限究竟有多大? 清华大学和哈工大的一项联合研究给出的答案是: 90%。 他们提出了大模型1bit极限压缩框架OneBit，首次实现大模型权重压缩超越90%并保留大部分（83%）能力...
-
谷歌最强轻量级开源大模型Gemma：小尺寸可商用，性能超越Llama-2，个人PC就能用
前言 谷歌近日发布了其最新的轻量级、开源AI模型——Gemma，这一举措无疑在AI领域引起了广泛的关注。不同于其他闭源大模型，Gemma的推出标志着谷歌在开放模型领域的重要一步，意图通过开放、共享的方式，加速AI技术的普及和应用。 Gemma模型概...
-
“羊驼“入侵CV，美团&浙大沈春华团队将LLaMA向CV扩展，构建全新基础模型VisionLLaMA
本文首发:AIWalker https://arxiv.org/abs/2403.00522 https://github.com/Meituan-AutoML/VisionLLaMA 本文概述 大型语言模型构建在基于Transf...
-
LLaMA-2 下载&demo使用
LLaMA-2 下载&demo使用 1. LLaMA-2 下载&demo使用 1.1 meta官网 1.2 huggingface 1.3 其他源 1.4 huggingface下载模型和数据加速 1. LLaM...
-
Serge让你在本地运行LLaMa模型
什么是 Serge ？ Serge 是基于 llama.cpp 运行 Alpaca 模型的聊天界面。完全自托管，不需要 API 密钥。适合 4GB RAM 并且能在 CPU 上运行。 什么是 LLaMA ? LLaMA 是一种机器学习...
-
联合国最新研究：ChatGPT等大模型对女性存在明显偏见！
快科技3月8日消息，据媒体报道，在三八国际妇女节前夕，联合国教科文组织发布的研究报告称，大语言模型存在性别偏见、种族刻板印象等倾向。 大语言模型是一种用于支持生成式人工智能的自然语言处理工具，OpenAI的GPT-3.5、GPT-2，脸书母公司Meta的L...
-
田渊栋等人新作：突破内存瓶颈，让一块4090预训练7B大模型
上个月，Meta FAIR 田渊栋参与的一项研究广受好评，他们在论文《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10...
-
AI代码加速器即将发布！傅盛：程序员会写某种代码就能找到工作的时代一去不复返了
整理&撰稿 | 伊风 3月6日，猎豹移动董事长兼CEO、猎户星空董事长傅盛在自己生日当天，通过个人微博宣布，猎户星空即将推出一款新产品，“猎户星空AI代码加速器”。“这款基于大语言模型的代码加速器，预计将彻底改变传统的编程方式，人人都会写代码...
-
联合国教科文组织:由OpenAI和Meta支持的AI工具存在性别歧视内容
联合国教科文组织发布的研究报告指出，由OpenAI和Meta算法推动的全球最广泛使用的人工智能（AI）工具存在性别歧视现象。该研究中，专家评估了两种算法以及OpenAI的GPT-2和GPT-3.5，这两者分别是人们熟知的聊天机器人ChatGPT的免费版本的...
-
CLRNet：一种用于自动驾驶车道检测的分层细化网络算法
车道是具有高级语义的交通标志，特别是在视觉导航系统中尤其重要。检测车道可以使许多应用受益，例如自动驾驶和高级驾驶员辅助系统（ADAS）中的视觉导航就是一个典型的应用，它可以帮助智能车辆更好地进行自车定位并更安全地行驶。 然而，车道检测拥有特定的局部模式，...
-
消费级显卡可用！李开复零一万物发布并开源90亿参数Yi模型，代码数学能力史上最强
李开复旗下AI公司零一万物，又一位大模型选手登场： 90亿参数Yi-9B。 它号称Yi系列中的“理科状元”，“恶补”了代码数学，同时综合能力也没落下。 在一系列类似规模的开源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、De...
-
全面超越ViT，美团、浙大等提出视觉任务统一架构VisionLLAMA
半年多来，Meta 开源的 LLaMA 架构在 LLM 中经受了考验并大获成功（训练稳定、容易做 scaling）。 沿袭 ViT 的研究思路，我们能否借助创新性的 LLaMA 架构，真正实现语言和图像的架构统一？ 在这一命题上，最近的一项研究 Visi...
-
AI加速引擎PAI-TorchAcc：OLMo训练加速最佳实践
作者：黄奕桐、沈雯婷、艾宝乐、王昂、李永 摘要 阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。 在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在...
-
Claude3敲响了微软和OpenAI的警钟
编译 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） Claude3一出，GPT-4似乎有些靠后站了。 在这场互联网巨头的大模型之战中，微软和OpenAI一直处于主动出牌的地位，而谷歌、亚马逊则似乎面临着强大对手的压力。 单从云...
-
AIGC 实战：如何使用 Ollama 开发自定义的大模型（LLM）
虽然 Ollama 提供了运行和交互式使用大型语言模型（LLM）的功能，但从头开始创建完全定制化的 LLM 需要 Ollama 之外的其他工具和专业知识。然而，Ollama 可以通过微调在定制过程中发挥作用。以下是细分说明： 预训练模型选择： Oll...
-
驾辰龙跨Llama持Wasm，玩转Yi模型迎新春
今年新年很特别，AI工具添光彩。今天就来感受下最新的AI神器天选组合“WasmEdge+Yi-34B”，只要短短三步，为这个甲辰龙年带来一份九紫离火运的科技感。 环境准备 这次用的算力是OpenBayes提供的英伟达RTX_4090*1、24GB显存、...
-
向英伟达发起挑战的Groq是什么来头？简单科普新型AI芯片LPU
在如今的人工智能领域，「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU，连 OpenAI 都不能轻易升级 ChatGPT。 不过最近，GPU 的地位也在经受挑战：一家名为 Groq 的初创公司开发出了一种新的 AI 处理器...
-
谷歌掀桌子！开源Gemma：可商用，性能超过Llama 2！
2月22日，谷歌在官网宣布，开源大语言模型Gemma。 Gemma与谷歌最新发布的Gemini 使用了同一架构，有20亿、70亿两种参数，每种参数都有预训练和指令调优两个版本。 根据谷歌公布的测试显示，在MMLU、BBH、GSM8K等主流测试平台中，其...
-
PPIO王闻宇：论GPU的过去、现在和未来｜AIGC基石思考之算力哲学
00 前言：算力与GPU 算力，即计算能力（Computing Power）。更具体来说，算力是通过对信息数据进行处理，实现目标结果输出的计算能力。 最早的算力引擎。是人类的大脑，后来演变成草绳、石头、算筹（一种用于计算的小棍子）、算盘。到...
-
使用直接偏好优化策略微调Mistral-7b模型
译者 | 朱先忠 审校 | 重楼 引言 通常，经过预训练的大型语言模型（LLM）只能执行下一个标记预测，这使其无法回答问题。这就解释了为什么这些基本模型还需要根据成对的指令和答案作进一步微调，最终才能够充当真正有用的人工助理。然而，这个过程仍然可能存在...
-
Llama.cpp工具main使用手册
Llama.cpp提供的 main工具允许你以简单有效的方式使用各种 LLaMA 语言模型。 它专门设计用于与 llama.cpp 项目配合使用。 推荐：用 NSDT编辑器 快速搭建可编程3D场景 Llama.cpp的工具 main提供简...
-
三足鼎立的开源大模型：Llama、Gemma和Mistral
关于Llama 3的最新消息，Meta计划在今年7月推出这一全新的开源大模型。Llama 3的最大版本预计将拥有超过1400亿个参数，这意味着它的性能将远超过前一代的Llama 2。至于Llama 3是否将具备多模态能力，目前尚未有确切的信息。 同时，谷...
-
使用Llama 2大语言模型搭建本地自己的聊天机器人(群晖Docker篇)
随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛，包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应，提供个性化的建议和服务,目前大部分大语言模型的产品都...
-
RNN效率媲美Transformer，谷歌新架构两连发：同等规模强于Mamba
这一次，谷歌 DeepMind 在基础模型方面又有了新动作。 我们知道，循环神经网络（RNN）在深度学习和自然语言处理研究的早期发挥了核心作用，并在许多应用中取得了实功，包括谷歌第一个端到端机器翻译系统。不过近年来，深度学习和 NLP 都以 Transf...
-
Llama3将于7月发布！当下处于微调中！
整理 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） 据一位熟悉Llama 3人士透露，Meta计划于7月发布Llama 3。据悉，Llama 3的最大版本可能会超过1400亿个参数，超过其前身Llama 2。 Meta希望Llama...
-
DeepMind携Mamba华人作者推Transformer革命之作！性能暴涨媲美Llama 2，推理能效大幅碾压
Transformer又又又被挑战了！ 这次的挑战者来自大名鼎鼎的谷歌DeepMind，并且一口气推出了两种新架构，——Hawk和Griffin。 论文地址：https://arxiv.org/abs/2402.19427 这种将门控线性RNN与局部注...
-
OpenAI与开源多语言嵌入模型，你选择哪一家？
译者 | 朱先忠 审校 | 重楼 出品 | 51CTO技术栈（微信号：blog51cto） 本文对OpenAI的多个嵌入模型与多家开源的多语言嵌入模型进行了综合比较，帮助你最终选择最适合自己的大数据开发模型。 1.引言 OpenAI最近发布了他们的...
-
从AI推理性能优化角度看LLaMA的模型结构和源码
本篇文章讲讲LLaMA的结构，已经有很多文章已经对LLaMA在一些结构上任务表现上做了一些解析，本文主要从优化的角度、实现kernel的角度解析一下LLaMA，读者事先对transformer的结构有基本认识最好。本文首发于我的公众号“AI不止算法”，文章...
-
只需少量计算和内存资源即可运行的小型 Llama 大模型
背景介绍 在当今这个数据爆炸的时代，语言模型的训练变得越来越复杂和困难。我们需要巨大的计算资源和时间来训练一个高效的语言模型。然而，这对许多人来说并不现实。与此同时，我们也遇到了如何在有限的内存和计算资源中使用大型语言模型的挑战，特别是在边缘设备上。 今...
-
清华、哈工大把大模型压缩到了1bit，把大模型放在手机里跑的愿望就快要实现了！
自从大模型火爆出圈以后，人们对压缩大模型的愿望从未消减。这是因为，虽然大模型在很多方面表现出优秀的能力，但高昂的的部署代价极大提升了它的使用门槛。这种代价主要来自于空间占用和计算量。「模型量化」 通过把大模型的参数转化为低位宽的表示，进而节省空间占用。目...
-
用code去探索理解Llama架构的简单又实用的方法
除了白月光我们也需要朱砂痣 我最近也在反思，可能有时候算法和论文也不是每个读者都爱看，我也会在今后的文章中加点code或者debug模型的内容，也许还有一些好玩的应用demo，会提升这部分在文章类型中的比例 今天带着大家通过代码...