-
Mozilla 让人们将 AI LLM 变成单文件可执行文件，简化大型语言模型的分发和运行
供本地使用的 LLM（大型语言模型）通常作为一组权重分布在数 GB 文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。 Mozilla 的创新团队最近发布了...
-
【极客技术】真假GPT-4？微调 Llama 2 以替代 GPT-3.5/4 已然可行！
近日小编在使用最新版GPT-4-Turbo模型（主要特点是支持128k输入和知识库截止日期是2023年4月）时，发现不同商家提供的模型回复出现不一致的情况，尤其是模型均承认自己知识库达到2023年4月，但当我们细问时，Fake GPT4-Turbo（暂且这...
-
OpenAI 首席运营官：不要期待人工智能一夜之间带来实质性的商业变革
12 月 5 日消息，虽然 OpenAI 正努力发展企业用户，然而，该公司的一些高管提醒人们，不要期望这项技术能迅速改变他们的业务。 在接受 CNBC 采访时，OpenAI 首席运营官 Brad Lightcap 表示，人工智能最被过度炒作的部分之一就...
-
LLMs之LLaMA-2：源码解读(tokenizer.py文件)基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互
LLMs之LLaMA-2：源码解读(tokenizer.py文件 基于SentencePiece库执行文本的分词和编码/解码操作—在文本生成和处理过程中，将文本字符串与token ID列表之间进行相互转换，以便与深度学习模型进行交互 目录...
-
亚马逊面向企业的 AI 聊天机器人 Amazon Q 或存在严重幻觉和数据泄露问题引发质疑
在发布不到一周后，Amazon Q —— 亚马逊对抗 Copilot 的生成式 AI 助手——已面临生存威胁，一份新报告显示这款 AI 助手可能产生「严重幻觉」。 据 The Platformer援引泄露文件报道，Q 正面临准确性和隐私问题，包括幻觉和数...
-
微调语言大模型选LoRA还是全参数？基于LLaMA 2深度分析
本文对比了全参数微调和LoRA，并分析了这两种技术各自的优势和劣势。作者使用了三个真实用例来训练LLaMA 2模型，这提供了比较特定任务的性能、硬件要求和训练成本的基准。本文证明了使用LoRA需要在serving效率和模型质量之间做出权衡，而这...
-
Llama 2 云端部署与API调用【AWS SageMaker】
Meta 刚刚发布了 Llama 2 大模型。如果你和我们一样，你一定会迫不及待地想要亲自动手并用它来构建。 推荐：用 NSDT设计器 快速搭建可编程3D场景。 使用任何类型的 LLM 进行构建的第一步是将其托管在某处并通过 API 使用...
-
开源语言大模型演进史：向LLaMA 2看齐
本文是开源 LLM 发展史系列文章的第三部分。此前，第一部分《开源语言大模型演进史：早期革新》回顾了创建开源 LLM 的最初尝试。第二部分《开源语言大模型演进史：高质量基础模型竞赛》研究了目前可用的最受欢迎的开源基础模型（即已进行预训练但尚未微...
-
Star History 九月开源精选 ｜开源 GitHub Copilot 替代
虽然大火了近一年，但是截至目前 AI 唯一破圈的场景是帮助写代码（谷歌云旗下的 DORA 年度报告也给 AI 泼了盆冷水）。不过对于软件开发来说，生成式人工智能绝对已经是新的标配。 本期 Star History 收集了一些开源 GitHub Copil...
-
哪些职业最可能被AI取代？白领工作岌岌可危！
近日，英国教育部发布的一份研究报告在《电讯报》和《每日邮报》的审查下揭示了哪些职业最可能被人工智能（AI）和聊天机器人所替代，以及哪些职业最不容易被人工智能取代。研究人员分析了365个职业类别以及执行这些职业所需的各种技能。每种技能然后与人工智能的十个最常...
-
不是大模型全局微调不起，只是LoRA更有性价比，教程已经准备好了
增加数据量和模型的参数量是公认的提升神经网络性能最直接的方法。目前主流的大模型的参数量已扩展至千亿级别，「大模型」越来越大的趋势还将愈演愈烈。 这种趋势带来了多方面的算力挑战。想要微调参数量达千亿级别的大语言模型，不仅训练时间长，还需占用大量高性能的内存资...
-
在本地使用CPU运行Llama 2模型来实现文档Q&A
第三方商业大型语言模型（LLM）提供商，如OpenAI的GPT4，通过简单的API调用使LLM的使用更加容易。然而，由于数据隐私和合规等各种原因，我们可能仍需要在企业内部部署或私有模型推理。 开源LLM的普及让我们私有化部署大语言模型称为可能，从而减少了...
-
2024年的AI：企业领导人的回应和聊天机器人的改进
Language I/O的产品副总裁Chris Jacob介绍了不断发展的AI格局，预测了领导者的经验方法、数据的复兴以及聊天机器人的转型。 2023年是GenAI的发展具有标志性的一年，从提高生产率到创建书面内容，这些复杂工具的可能性引发了巨大的...
-
摆脱“恐怖谷” ！2024年是衡量生成式AI投资回报的关键之年
研究表明，就受欢迎程度和存在程度而言，2023年是生成式AI的丰收之年。从提高生产力到创建书面内容，这种智能工具带来的可能性引起巨大的轰动。2024年将是生成式AI的衡量之年，因为人们将超越大型语言模型(LLM 的技术能力，并研究它们如何影响损益。 许...
-
大模型应用设计的十个思考
技术不是万能的，但没有技术却可能是万万不能的，对于大模型可能也是如此。基于大模型的应用设计需要聚焦于所解决的问题，在自然语言处理领域，大模型本身在一定程度上只是将各种NLP任务统一成了sequence 到 sequence 的模型。利用大模型， 我们是在...
-
矩阵模拟！Transformer大模型3D可视化，GPT-3、Nano-GPT每一层清晰可见
「矩阵模拟」的世界或许真的存在。模拟人类神经元，不断进化的Transformer模型，一直以来都深不可测。 许多科学家都试着打开这个黑盒，看看究竟是如何工作的。 而现在，大模型的矩阵世界，真的被打开了！ 一位软件工程师Brendan Bycroft制作了...
-
文字序顺不响影GPT-4阅读理解，别的大模型都不行
研表究明，汉字序顺并不定一影阅响读（对于英文来说，则是每一个单词中的字母顺序）。 现在，日本东京大学的一项实验发现，这个“定理”居然也适合GPT-4。 比如面对这样一段“鬼画符”，几乎里面每一个单词的每一个字母都被打乱： oJn amRh wno het...
-
Altman重回OpenAI，Ilya何去何从，内斗原因难以置信
OpenAI连续剧接近尾声，没想到还有一些彩蛋。 首先是Altman重回OpenAI，重组了董事会。Sam Altman 重回OpenAI，重掌 CEO Altman重新担任CEO，Mira担任CTO，Greg担任总裁。 图片 三人也和了影，示意王者归来...
-
开源大模型框架llama.cpp使用C++ api开发入门
llama.cpp是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。 以下基于llama.cpp的源码利用C++ api来开发实例demo演示加载本地模型文...
-
GPT-4没通过图灵测试！60年前老AI击败了ChatGPT，但人类胜率也仅有63%
长久以来，「图灵测试」成为了判断计算机是否具有「智能」的核心命题。 上世纪60年代，曾由麻省理工团队开发了史上第一个基于规则的聊天机器人ELIZA，在这场测试中失败了。 时间快进到现在，「地表最强」ChatGPT不仅能作图、写代码，还能胜任多种复杂任务...
-
能耗比达到GPT-4 10倍！黄学东亲自解密Zoom AI的成功之道，AI伴侣直接替你开会
近日，AI大佬，现任Zoom CTO的黄学东，在自家的官网上发表了一篇博客。 其中隆重介绍了自己加入Zoom六个月之后创新的成果——Zoom AI Companion，以及驱动Zoom AI Companion的Zoom联邦（federated app...
-
本地部署中文LLaMA模型实战教程，民间羊驼模型
羊驼实战系列索引 博文1：本地部署中文LLaMA模型实战教程，民间羊驼模型（本博客）博文2：本地训练中文LLaMA模型实战教程，民间羊驼模型博文3：精调训练中文LLaMA模型实战教程，民间羊驼模型 简介 LLaMA大部分是英文语料训练的，讲中文能...
-
Meta教你5步学会用Llama2：我见过最简单的大模型教学
在这篇博客中，Meta 探讨了使用 Llama 2 的五个步骤，以便使用者在自己的项目中充分利用 Llama 2 的优势。同时详细介绍 Llama 2 的关键概念、设置方法、可用资源，并提供一步步设置和运行 Llama 2 的流程。 Meta 开源的 L...
-
AIGC：【LLM（四）】——LangChain+ChatGLM:本地知识库问答方案
文章目录 一.文件加载与分割 二.文本向量化与存储 1.文本向量化(embedding 2.存储到向量数据库 三.问句向量化 四.相似文档检索 五.prompt构建 六.答案生成 LangChain+ChatGLM项目(http...
-
LLaMA模型微调版本：斯坦福 Alpaca 详解
项目代码：https://github.com/tatsu-lab/stanford_alpaca 博客介绍：https://crfm.stanford.edu/2023/03/13/alpaca.html Alpaca 总览 Alpaca 是 L...
-
一言不合就跑分，国内AI大模型为何沉迷于“刷榜”
“不服跑个分”这句话，相信关注手机圈的朋友一定不会感到陌生。诸如安兔兔、GeekBench等理论性能测试软件，由于能够在一定程度上反映手机的性能，因此备受玩家的关注。同理在PC处理器、显卡上，同样也有相应的跑分软件来衡量它们的性能。 既然“万物皆可跑分”，...
-
用GPT-4V和人类演示训练机器人：眼睛学会了，手也能跟上
如何将语言 / 视觉输入转换为机器人动作？ 训练自定义模型的方法已经过时，基于最近大语言模型（LLM）和视觉语言模型（VLM）的技术进展，通过 prompt 工程使用 ChatGPT 或 GPT-4 等通用模型才是时下热门的方法。 这种方法绕过了海量数据...
-
文心一言与GPT-4比对测试！
Waitlist了三个星期，今天下午终于拿到了百度文心一言的体验资格，于是立刻展开测试。 根据文心一言网页端信息显示，目前最新发版是4月1号的版本，版本号是v1.0.3，应该是从上个月16号发布会以后又做了两版迭代。根据文心一言自己的回答，...
-
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本)、安装、使用方法之详细攻略
LLMs之Colossal-LLaMA-2：Colossal-LLaMA-2的简介(基于LLaMA-2架构+中文优化+扩充词表+仅千美元成本 、安装、使用方法之详细攻略 导读：2023年9月25日，Colossal-AI团队推出了开源模型Colos...
-
简单尝试：ChatGLM-6B + Stable diffusion管道连接
核心思想是： 1. 抛去算法设计方面，仅从工程角度考虑的话，Stable diffusion的潜力挖掘几乎完全受输入文字影响。 2. BLIP2所代表的一类多模态模型走的路线是"扩展赋能LLM模型"，思路简单清晰，收益明显。LLM + Stable d...
-
LLaMA: Open and Efficient Foundation Language Models
背景 用最少的计算资源，解决了LLM大模型预测问题，训练了一些列的LLaMa模型，在参数量比较少的情况下，达到业界大模型效果。 主要贡献就是提升了LLM模型的训练速度和效率，在小容量的基础上，大大提升了模型的效果。 同时由于模型结构更小更简单，大大提升...
-
[玩转AIGC]sentencepiece训练一个Tokenizer(标记器)
目录 一、前言 二、安装 三、自己训练一个tokenizer 四、模型运行 五、拓展 六、补充 一、前言 前面我们介绍了一种字符编码方式【如何训练一个中英翻译模型】LSTM机器翻译seq2seq字符编码（一） 这种方式是对一个一个...
-
文献阅读：LLaMA: Open and Efficient Foundation Language Models
文献阅读：LLaMA: Open and Efficient Foundation Language Models 1. 文章简介 2. 模型训练 1. 训练数据 2. 模型结构 3. 模型训练 1. Optimiz...
-
企业权衡开源生成式 AI 的风险和收益
在 EmTech MIT，专家们探讨了在企业中采用生成式 AI 的挑战和好处，包括开源生成式 AI模型的优缺点。 本周早些时候，在麻省理工学院技术评论（MIT Technology Review）主办的EmTech MIT会议上，人工智能在演讲中占有重...
-
DeepMind 推出 AI 工具 GNoME，号称已发现 220 万种新晶体材料
12 月 1 日消息，谷歌旗下 DeepMind 日前在《自然》期刊上展示了自家 AI 工具 GNoME，并介绍了 AI 在材料科学上的相关应用，据悉，DeepMind 使用 GNoME 发现了 220 万种新晶体，其中有 38 万种晶体属于稳定材料，可...
-
突然！这家AI当红公司，面临破产！创始人被要求下台！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） Stability AI 这艘船，也许就要沉了！ 据外媒彭博消息，这家公司的商业模式正处于危机之中，正挣扎着试图找到在市场上维持生存的方法。 1、华尔街投资王施压，创始人快下台！...
-
Smart Copilot：大模型在技术服务和智能客服领域提效的最佳实践
欢迎来到魔法宝库，传递AIGC的前沿知识，做有格调的分享❗ 喜欢的话记得点个关注吧！ 随着云计算技术的快速发展，越来越多的企业和个人选择将业务迁移到云端。有很多云厂商为客户提供了灵活、可扩展的计算资源和服务，使得客户能够更加专注于核心业务。 然而，...
-
最强的GPT-4V都考不过？基于大学考试的测试基准MMMU诞生了
目前最好的大型多模态模型 GPT-4V 与大学生谁更强？我们还不知道，但近日一个新的基准数据集 MMMU 以及基于其的基准测试或许能给我们提供一点线索，如下排行榜所示。 看起来，GPT-4V 在一些科目上已经强过挂科的大学生了。当然这个数据集的创造目的...
-
微软亚洲研究院韦福如：人工智能基础创新的第二增长曲线
从人工智能的发展历程来看，GPT 系列模型（例如 ChatGPT 和 GPT-4）的问世无疑是一个重要的里程碑。由它所驱动的人工智能应用已经展现出高度的通用性和可用性，并且能够覆盖多个场景和行业 —— 这在人工智能的历史上前所未有。 然而，人工智能的科研...
-
大模型部署手记（12）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+text-gen+中文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：https://github.com/facebookresearch/llama 模型：chinese-alpaca-2-7b-hf 下载：使用百度网盘下载 硬件环境：暗影精灵7Plu...
-
使用PyTorch加速生成式 AI模型
PyTorch 团队发布了一篇名为《Accelerating Generative AI with PyTorch II: GPT， Fast》的博文，重点介绍如何使用纯原生 PyTorch 加速生成式 AI 模型。 正如最近在PyTorch 开发者大会上...
-
ChatGPT一周年，Altman霸气重返OpenAI！自曝回归内幕Ilya去向待定
ChatGPT一周年之际，OpenAI发文官宣：Sam Altman重启OpenAI！ 一年前的今天，他作为CEO，正在做着ChatGPT上线前最后的准备工作。他应该怎么也想不到，上线后这一年，会发生这么多事情。 今天OpenAI，也戴上了庆祝自己生...
-
亚马逊的 Trainium2 AI 芯片配备 96GB HBM，训练性能提高四倍
本周，亚马逊网络服务（AWS）推出了其新的人工智能（AI）加速器芯片 Trainium2，相比其前身，它显著提升了性能，使 AWS 能够训练具有高达数万亿参数的基础模型（FMs）和大型语言模型（LLMs）。此外，AWS 还为自己设定了一个宏伟目标，即使其客...
-
AI制作视频——mov2mov以及inpaint
背景 AI制作视频的几种思路 1.从零开始生成：清华的cogview，runway gen-1、gen-2，微软的女娲 这个思路，就是认为可以通过文字描述的方式把视频画面描述出来，通过对文本-视频帧内容-视频内容的数据对的平行语料的学习。学习到文本故...
-
Building AI-Copilot：构建 LLM 支持的生成应用程序的一些经验教训和模式
我们正在构建一个用于产品策略和生成创意的实验性人工智能副驾驶，名为“Boba”。一路上，我们学到了一些关于如何构建此类应用程序的有用经验，我们已经根据模式制定了这些应用程序。这些模式允许应用程序帮助用户更有效地与大语言模型 (LLM 交互，编排提示以获得...
-
用上这个工具包，大模型推理性能加速达40倍
英特尔® Extension for Transformer是什么？ 英特尔® Extension for Transformers[1]是英特尔推出的一个创新工具包，可基于英特尔® 架构平台，尤其是第四代英特尔® 至强® 可扩展处理器（代号Sapp...
-
最新Claude2.1、Llama 2随便用！亚马逊把生成式AI开发门槛打下去了
好消息，搞生成式AI应用的门槛，被狠狠地打下去了！ 就在刚刚，亚马逊云科技在年度盛会re:Invent中正式宣布： 在我这搞生成式AI应用，主流、最新大模型随便用~ 例如Meta家的Llama 2 70B、Antropic家的Claude 2.1等等：...
-
英特尔推Extension for Transformers工具包 大模型推理性能提升40倍
在当前技术发展的背景下，英特尔公司推出的Extension for Transformers工具包成为一个重要创新，实现了在CPU上对大型语言模型（LLM）推理性能的显著加速。该工具包通过LLM Runtime技术，优化了内核，支持多种量化选择，提供更优的...
-
使用Accelerate库在多GPU上进行LLM推理
大型语言模型(llm 已经彻底改变了自然语言处理领域。随着这些模型在规模和复杂性上的增长，推理的计算需求也显著增加。为了应对这一挑战利用多个gpu变得至关重要。 所以本文将在多个gpu上并行执行推理，主要包括：Accelerate库介绍，简单的方法与工...
-
AutoGen官网体验入口 AI对话框架免费软件app下载
AutoGen是一个基于多代理对话框架的下一代大语言模型应用程序。它通过简化复杂的大语言模型（LLM）工作流的编排、自动化和优化，最大化了LLM模型的性能并克服了其弱点。AutoGen在哪里可以体验呢?下面就给大家带来AutoGen官网体验入口和免费app...