-
开源大模型Llama 3王者归来！最大底牌4000亿参数，性能直逼GPT-4
扎克伯格:「有了 Llama3，全世界就能拥有最智能的 AI。」 ChatGPT 拉开了大模型竞赛的序幕，Meta 似乎要后来居上了。 本周四，AI 领域迎来重大消息，Meta 正式发布了人们等待已久的开源大模型 Llama3。 扎克伯格在 Faceboo...
-
得物 AIGC 算法岗(日常实习生) 面经分享
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 最大的感受就是，今年的算法面试...
-
英伟达竞品来了，训练比H100快70%，英特尔发最新AI加速卡
英伟达的 AI 加速卡，现在有了旗鼓相当的对手。 今天凌晨，英特尔在 Vision 2024 大会上展示了 Gaudi 3，这是其子公司 Habana Labs 的最新一代高性能人工智能加速器。 Gaudi 3 将于 2024 年第三季度推出，英特尔现...
-
刚刚，Mistral AI最新磁力链放出！8x22B MoE模型，281GB解禁
【新智元导读】初创团队Mistral AI再次放出一条磁力链，281GB文件解禁了最新的8x22B MoE模型。 一条磁力链，Mistral AI又来闷声不响搞事情。 281.24GB文件中，竟是全新8x22B MOE模型! 全新MoE模型共有56层，...
-
Llama架构比不上GPT2？神奇token提升10倍记忆？
一个 7B 规模的语言模型 LLM 能存储多少人类知识？如何量化这一数值？训练时间、模型架构的不同将如何影响这一数值？浮点数压缩 quantization、混合专家模型 MoE、以及数据质量的差异 (百科知识 vs 网络垃圾 又将对 LLM 的知识容量...
-
大概是最全的开源大模型LLM盘点了吧！
LLM(Large Language Model, 大型语言模型 是指那些规模庞大、参数数量众多的深度神经网络模型，用于理解和生成自然语言文本。在自然语言处理（NLP）领域有着广泛的应用，因其强大的语言理解和生成能力，能够处理各种复杂的文本任务，包括但不...
-
Intel发布Gaudi 3 AI加速器：4倍性能提升、无惧1800亿参数大模型
快科技4月10日消息，美国当地时间4月9日，Intel举办了一场面向客户和合作伙伴的Intel Vision 2024产业创新大会，做出多项重磅宣布，包括全新的Gaudi 3 AI加速器，包括全新的至强6品牌，以及涵盖全新开放、可扩展系统，下一代产品和一系...
-
1000行C语言搓出GPT-2！AI大神Karpathy新项目刚上线就狂揽2.5k星
【新智元导读】训大模型的方法可能要被革新了!AI大神Karpathy发布的新项目仅用1000行的C语言训完GPT-2，而不再依赖庞大的GPT-2库。他本人预告，即将上线新课。 断更近一个月，Karpathy终于上线了。 这次不是AI大课，而是带来一个新项目...
-
10万美元训出Llama-2级大模型！全华人打造新型MoE，贾扬清SD前CEO围观
想了解更多AIGC的内容： https://www.51cto.com/aigc/ “只需”10万美元，训练Llama-2级别的大模型。 尺寸更小但性能不减的MoE模型来了： 它叫JetMoE，来自MIT、普林斯顿等研究机构。 性能妥妥超过同等规模的Ll...
-
llama-factory简介
llamafactory是什么，能干什么 LLaMA-Factory 是一个易于使用的大规模语言模型（Large Language Model, LLM）微调框架，它支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen ...
-
首个开源世界模型LWM ：百万级上下文，长视频理解超GPT-4
来自加州大学伯克利分校的研究人员最近发布并开源了首个世界模型，被称为 LWM（LargeWorldModel）系列模型。这一模型采用了大量视频和书籍数据集，通过 RingAttention 技术实现了长序列的可扩展训练，使得模型的上下文长度达到了1M to...
-
群晖NAS使用Docker部署大语言模型Llama 2结合内网穿透实现公网访问本地GPT聊天服务
文章目录 1. 拉取相关的Docker镜像 2. 运行Ollama 镜像 3. 运行Chatbot Ollama镜像 4. 本地访问 5. 群晖安装Cpolar 6. 配置公网地址 7. 公网访问 8. 固定公网地址 随着ChatGPT...
-
多忽悠几次AI全招了！Anthropic警告：长上下文成越狱突破口，GPT羊驼Claude无一幸免
大模型厂商在上下文长度上卷的不可开交之际，一项最新研究泼来了一盆冷水—— Claude背后厂商Anthropic发现，随着窗口长度的不断增加，大模型的“越狱”现象开始死灰复燃。 无论是闭源的GPT-4和Claude2，还是开源的Llama2和Mistral...
-
华为诺亚频域LLM「帝江」：仅需1/50训练成本，7B模型媲美LLaMA，推理加速5倍
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 基于 Transformer 架构的大语言模型在 NLP 领域取得了令人惊艳的效果，然而，Transformer 中自注意力带来的二次复...
-
LLaMA 模型中的Transformer架构变化
目录 1. 前置层归一化（Pre-normalization） 2. RMSNorm 归一化函数 3. SwiGLU 激活函数 4. 旋转位置嵌入（RoPE） 5. 注意力机制优化 6. Group Query Attention 7. 模型...
-
性能强，成本低，运行快！最强开源大模型出现，超越ChatGPT和Llama！
大数据人工智能公司 Databricks放大招了！ 3月27日，该公司开源了通用大模型 DBRX，并声称该模型是迄今为止全球最强大的开源大型语言模型，比 Meta 的 Llama 2 更为强大。 GPT-3.5研究测试： https://huj...
-
大语言模型中常用的旋转位置编码RoPE详解：为什么它比绝对或相对位置编码更好?
自 2017 年发表“ Attention Is All You Need ”论文以来，Transformer 架构一直是自然语言处理 (NLP 领域的基石。它的设计多年来基本没有变化，随着旋转位置编码 (RoPE 的引入，2022年标志着该领域的...
-
python调用GPT-4-API/gpt3.5-api/chatGML-API/llama2-API/文心一言ERNIE-BOT-API
目录 调用GPT-4进行单轮对话 调用GPT3.5 调用llama2-70B（百度接口） 调用chatGML 调用ERNIE-BOT 4.0 关于如何开通GPT-API服务，请参考这一篇文章 目前仅使用到单轮对话，记录一下，之后拓展需...
-
微软Azure AI平台增加新安全功能 可捕获客户AI应用中的幻觉
微软的Azure AI平台最近添加了一系列新的安全功能，旨在帮助捕捉客户AI应用中的幻觉、提示攻击和其他安全漏洞。这些功能由微软的首席负责人Sarah Bird介绍，并表示将易于使用，无需雇佣红队来测试他们构建的AI服务。 这些由LLM提供支持的工具可以检...
-
笔记本电脑上部署LLaMA-2中文模型
尝试在macbook上部署LLaMA-2的中文模型的详细过程。 （1）环境准备 MacBook Pro(M2 Max/32G ; VMware Fusion Player 版本 13.5.1 (23298085 ; Ubuntu 22.04.2 L...
-
llama-index调用qwen大模型实现RAG
背景 llama-index在实现RAG方案的时候多是用的llama等英文大模型，对于国内的诸多模型案例较少，本次将使用qwen大模型实现llama-index的RAG方案。 环境配置 （1）pip包 llamaindex需要预装很多包，这里先把我...
-
今日Arxiv最热NLP大模型论文：Llama-2上下文扩大48倍的方法来了，港大发布，无需训练
引言：大语言模型的长上下文理解能力 在当今的人工智能领域，大语言模型（Large Language Models，简称LLMs）的长上下文理解能力成为了一个重要的研究方向。这种能力对于模型来说至关重要，因为它使得LLMs能够有效地应对各种应用场景，例如在...
-
开源大模型DBRX：1320亿参数，比Llama2-70B快1倍
大数据公司Databricks最近发布了一款名为DBRX的MoE大模型，引发了开源社区的热议。DBRX在基准测试中击败了Grok-1、Mixtral等开源模型，成为了新的开源之王。这款模型的总参数量达到了1320亿，但每次激活只有360亿参数，并且其生成速...
-
DBRX抢占开源大模型王座 编程、数学等领域超越GPT-3.5
最新开源大语言模型DBRX以其惊人的1320亿参数量成为业界新宠。该模型不仅在语言理解、编程和数学等方面超越了业内领先的开源模型，还在效率上有所突破。DBRX的基础和微调版本均已发布，为研究和商业应用提供了丰富的资源。 GitHub 链接：https:/...
-
新开源之王来了！1320亿参数，逻辑数理全面打赢Grok，还比Llama2-70B快1倍
“最强”开源大模型之争，又有新王入局： 大数据巨头Databricks，刚刚发布MoE大模型DBRX，并宣称： 它在基准测试中击败了此前所有开源模型。 包括同为混合专家模型的Grok-1和Mixtral。 新王搅局，迅速引发了开源社区的热议。 毕竟，仅...
-
号称全球最强开源 AI 模型，DBRX 登场：1320 亿参数，语言理解、编程能力等均超 GPT-3.5
3 月 28 日消息，初创公司 Databricks 近日发布公告，推出了开源 AI 模型 DBRX，声称是迄今为止全球最强大的开源大型语言模型，比 Meta 的 Llama 2 更为强大。 DBRX 采用 transformer 架构，包含 1320...
-
使用GaLore在本地GPU进行高效的LLM调优
训练大型语言模型(llm ，即使是那些“只有”70亿个参数的模型，也是一项计算密集型的任务。这种水平的训练需要的资源超出了大多数个人爱好者的能力范围。为了弥补这一差距，出现了低秩适应(LoRA 等参数高效方法，可以在消费级gpu上对大量模型进行微调。 G...
-
使用 QLoRA 进行微调Llama 2 和 Mistral的初学者指南
本指南适用于任何想要为自己的项目定制强大的语言模型（如 Llama 2 和 Mistral）的人。使用 QLoRA，我们将逐步完成...
-
高通推出第三代骁龙8s移动平台 支持100亿AI参数模型
今日，高通技术公司震撼发布全新旗舰级移动平台——第三代骁龙®8s，为Android旗舰智能手机市场注入了全新活力。这款平台不仅继承了骁龙8系平台广受欢迎的特性，更在多个方面实现了显著升级，为用户带来前所未有的顶级移动体验。 在第三代骁龙8s上，我们看到了诸...
-
4万亿晶体管5nm制程，全球最快AI芯片碾压H100！单机可训24万亿参数LLM，Llama 70B一天搞定
全球最快、最强的AI芯片面世，让整个行业瞬间惊掉了下巴！ 就在刚刚，AI芯片初创公司Cerebras重磅发布了「第三代晶圆级引擎」（WSE-3）。 性能上，WSE-3是上一代WSE-2的两倍，且功耗依旧保持不变。 90万个AI核心，44GB的片上SRA...
-
【个人开发】llama2部署实践（三）——python部署llama服务（基于GPU加速）
1.python环境准备 注：llama-cpp-python安装一定要带上前面的参数安装，如果仅用pip install装，启动服务时并没将模型加载到GPU里面。 # CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAK...
-
清华系2B模型杀出支持离线本地化部署，可以个人电脑或者手机上部署的多模态大模型，超越 Mistral-7B、LLaMA-13B
清华系2B模型杀出支持离线本地化部署，可以个人电脑或者手机上部署的多模态大模型，超越 Mistral-7B、LLaMA-13B。 2 月 1 日，面壁智能与清华大学自然语言处理实验室共同开源了系列端侧语言大模型 MiniCPM，主体语言模型 Mini...
-
LLaMA-2 下载&demo使用
LLaMA-2 下载&demo使用 1. LLaMA-2 下载&demo使用 1.1 meta官网 1.2 huggingface 1.3 其他源 1.4 huggingface下载模型和数据加速 1. LLaM...
-
近屿智能完成A轮融资，打造行业领先的AIGC工程师与产品经理成长蓝图
2024年1月，上海近屿智能科技有限公司（简称近屿智能）成功完成了A轮融资，智望资本担任了领投角色，而金沙江创投也进行了追加投资。这一融资里程碑充分证明了近屿智能在AIGC行业的技术领先地位得到了市场的广泛认可和投资人的青睐。 自创立伊始，近屿智能始...
-
联合国教科文组织:由OpenAI和Meta支持的AI工具存在性别歧视内容
联合国教科文组织发布的研究报告指出，由OpenAI和Meta算法推动的全球最广泛使用的人工智能（AI）工具存在性别歧视现象。该研究中，专家评估了两种算法以及OpenAI的GPT-2和GPT-3.5，这两者分别是人们熟知的聊天机器人ChatGPT的免费版本的...
-
AI加速引擎PAI-TorchAcc：OLMo训练加速最佳实践
作者：黄奕桐、沈雯婷、艾宝乐、王昂、李永 摘要 阿里云机器学习平台PAI开发的Pytorch训练加速框架PAI-TorchAcc已接入最新开源的大语言模型 OLMo。 在保证模型效果和易用性的前提下，PAI-TorchAcc相对 PyTorch 性能在...
-
使用直接偏好优化策略微调Mistral-7b模型
译者 | 朱先忠 审校 | 重楼 引言 通常，经过预训练的大型语言模型（LLM）只能执行下一个标记预测，这使其无法回答问题。这就解释了为什么这些基本模型还需要根据成对的指令和答案作进一步微调，最终才能够充当真正有用的人工助理。然而，这个过程仍然可能存在...
-
使用Llama 2大语言模型搭建本地自己的聊天机器人(群晖Docker篇)
随着ChatGPT 和open Sora 的热度剧增,大语言模型时代,开启了AI新篇章,大语言模型的应用非常广泛，包括聊天机器人、智能客服、自动翻译、写作助手等。它们可以根据用户输入的文本生成相应的响应，提供个性化的建议和服务,目前大部分大语言模型的产品都...
-
OpenAI ChatGPT-4开发笔记2024-08：windows本地环境下载Llama 2
Step 1: Ask for permission on Meta’s website To be able to download the model, you first need to agree to some terms and condi...
-
Llama 3官网体验入口 媲美OpenAI GPT-4 AI模型免费使用下载地址
Llama 3是Meta开发的下一代开源语言模型，旨在与OpenAI的GPT- 4 相媲美。这款产品计划于 7 月发布，将更加响应用户，并对复杂话题提供上下文而不是简单阻止问题。Llama3 的参数数量可能超过 1400 亿，是Llama2 的两倍。目前尚...
-
科技公司担忧，澳大利亚新标准或削弱AI保护在线安全能力
澳大利亚近期发布的新在线安全标准引起了科技公司的担忧，特别是微软、Meta和Stability AI等。这些标准旨在规范生成式人工智能（generative AI）等技术，以防止其被滥用，但科技公司担心这可能对其AI系统的保护在线安全的能力产生负面影响。...
-
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法： 它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。 除此之外，它还能大大降低训练成本：...
-
Llama中文大模型-模型部署
选择学习路径 快速上手-使用Anaconda 第 0 步：前提条件 确保安装了 Python 3.10 以上版本。 第 1 步：准备环境 如需设置环境，安装所需要的软件包，运行下面的命令。 git clone https:/...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了，并且开源可商用，这下开源社区又要变天了。快速...
-
【Llama2 windows部署详细教程】第二节：llama.cpp成功在windows上编译的秘诀
Llama2 开源大模型推出之后，因需要昂贵的算力资源，很多小伙伴们也只能看看。好在llama.cpp推出之后，可对模型进行量化，量化之后模型体积显著变小，以便能在windows CPU环境中运行，为了避免小伙伴们少走弯路，下面将详细介绍llama.cpp...
-
Llama中文大模型
关于Llama中文大模型 欢迎来到Llama中文大模型：已经基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。 Llama中文大模型 ：https://github.com/LlamaFamily/Llama-Chine...
-
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...
-
AI网站生成器10web计划将AI建站引入WordPress
位于亚美尼亚科技公司10web正致力于将人工智能应用于WordPress网站建设，通过整合Llama2、GPT-4和Stable Diffusion等生成AI模型，力图提高WordPress网站建设的易用性。相较于Wix和Squarespace等闭源解决方...
-
LLaMA 2 和 QianWen-14B
阿里云通义千问14B模型开源！性能超越Llama2等同等尺寸模型 - 科技新闻 - EDA365电子论坛网 LLaMA 2 的硬件要求： LLaMA 2 系列模型有不同的参数量版本，如7B、13B和70B等。对于不同大小的模型，其硬件需求也有所不同。以...
-
谷歌杀入开源大模型，单挑Meta Llama2，凭什么问鼎王座？
撰稿丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 兵贵神速。在大模型的必争之地，谷歌却总是慢人一步，因而屡屡被调侃“起了大早，赶个晚集”。但昨日，谷歌却突放大招，发布了一款开放模型——Gemma，并声称其是轻量级中“最先进的”开放模型...