-
一周 AIGC 丨苹果下架多款 AIGC 应用，阿里云开源通义千问 70 亿参数模型
多个 AIGC 应用在苹果应用商店下架，包含数据采集和使用不够规范等问题。阿里云开源通义千问 70 亿参数模型，包括通用模型 Qwen-7 B 和对话模型 Qwen-7 B-Chat。腾讯混元大模型开始应用内测，内部多个业务线接入测试。百度智能...
-
大模型部署手记（10）LLaMa2+Chinese-LLaMA-Plus-7B+Windows+llama.cpp+中英文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：llama-2-7b、llama-2-7b-chat（...
-
奥特曼筹数十亿美元建全球晶圆厂网络，自造AI芯片
据彭博社消息，OpenAI CEO 萨姆・奥特曼（Sam Altman）近日再次为一家人工智能芯片企业筹集了数十亿美元的资金，希望建立一个范围覆盖全球的晶圆厂「企业网络(network of factories 」，并计划与未具名的顶级芯片制造商合作。 报...
-
英伟达新对话QA模型准确度超GPT-4，却遭吐槽：无权重代码意义不大
昨天，Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，从而在 Llama 2 70B 的迭代微调后超越了 GPT-4。今天，英伟达的全新对话 QA 模型「ChatQA-70B」在不使用任何 GPT 模型数据的情况下，在 10...
-
LLaMA Board: 通过一站式网页界面快速上手 LLaMA Factory
原文：https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md ? 加入我们的微信群。 [ English | 中文 ] LLaMA Board: 通过一站式网页界面快速上手...
-
AIGC内容分享(四十一)：国内AIGC独角兽冲出几家？
目录 2023年新晋AI独角兽 智谱AI：清华计算机系KEG科研成果 百川智能：原搜狗CEO王小川创业项目 零一万物：李开复筹建的新项目 Minimax：前商汤副总裁创业项目 结尾： 2023年新晋AI独角兽 根据IT桔子数据，截...
-
大模型自我奖励：Meta让Llama2自己给自己微调，性能超越了GPT-4
大模型领域中，微调是改进模型性能的重要一步。随着开源大模型逐渐变多，人们总结出了很多种微调方式，其中一些取得了很好的效果。 最近，来自 Meta、纽约大学的研究者用「自我奖励方法」，让大模型自己生成自己的微调数据，给人带来了一点新的震撼。 在新方法中，作者...
-
被OpenAI、Mistral AI带火的MoE是怎么回事？一文贯通专家混合架构部署
选自 HuggingFace 博客 编译:赵阳 专家混合 （MoE） 是 LLM 中常用的一种技术，旨在提高其效率和准确性。这种方法的工作原理是将复杂的任务划分为更小、更易于管理的子任务，每个子任务都由专门的迷你模型或「专家」处理。 早些时候，有人爆料...
-
2024-01-04 用llama.cpp部署本地llama2-7b大模型
点击 <C 语言编程核心突破> 快速C语言入门 用llama.cpp部署本地llama2-7b大模型 前言 一、下载`llama.cpp`以及`llama2-7B`模型文件 二、具体调用 总结 前言 要解...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
奥特曼，10亿美元砸向AI芯片
Sam Altman（奥特曼），造芯依旧! 据彭博社消息，奥特曼再次为一家人工智能芯片企业筹集数十亿美元。 目的是利用这笔资金开发一个“工厂网络”（network of factories），用于制造，该网络将延伸到全球，并涉及与未透露名字的“顶级芯片制...
-
AI游戏设计的半年度复盘；大模型+智能音箱再起波澜；昇思大模型技术公开课第2期；出海注册经验分享；如何使用LoRA微调Llama 2 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 进步or毁灭：Nature 调研显示 1600+ 科学家对AI的割裂态度 国际顶级期刊 Nature 最近一项调研很有意思，全球 1600 多名科...
-
小扎砸数百亿美元猛攻开源AGI！狂掷60万块H100，爆50倍GPT-4算力
【新智元导读】今天，小扎正式宣战「开源AGI」!下一代大模型Llama3正在训练，年底将拥有35万块H100，届时算力总和达60万块H100。为了追赶OpenAI，成立十年的FAIR团队纳入GenAI，全力奔赴AGI。 自Llama2、Code Llama...
-
LLaMA Pro: Progressive LLaMA with Block Expansion
Q: 这篇论文试图解决什么问题？ A: 这篇论文试图解决大型语言模型（LLMs）在特定领域（如编程、数学、生物医学或金融）能力不足的问题。尽管LLMs在多种现实世界任务中表现出色，但在某些特定领域仍然存在局限性，这阻碍了开发通用语言代理以应用于更广泛场景...
-
亚马逊APP测试新AI功能，不仅能解答产品问题还能逗你笑
亚马逊正在其适用于 iOS 和 Android 的移动应用程序中测试一项新的 AI 功能，让客户可以询问有关产品的具体问题。人工智能工具可以帮助准确计算出新货架有多大，确定电池可以使用多长时间，甚至......给你写一首关于雪地靴的圣诞颂歌。 新功能旨在用...
-
Stability AI发布Stable Code3B填补AI代码生成的空白
在AI领域，Stability AI公司于2024年推出了其首个新型人工智能模型:商业许可的（通过会员资格）Stable Code3B。该模型仅拥有30亿参数，专注于软件开发的代码完成能力，可在没有专用GPU的笔记本上本地运行，并在性能上具有竞争力，可与M...
-
在文心一言超越ChatGPT3.5后，我们做了大模型对比测试。
IDC发布的AI大模型评估报告中，文心一言拿下12个指标中的7个满分，综合评分第一。百度副总裁吴甜表示，新版文心一言已超越ChatGPT3.5。这是令人振奋的新闻。不过，我们还没能体验到文心一言。 除了文心一言，号称超过ChatGPT3.5大模型，还有g...
-
基于ChatGPT的代码解释神器：GPT Academic、GitHub Copilot
（个人推荐使用第二个GitHub Copilot） 1. GPT 学术优化 (GPT Academic 工具 简介 GPT Academic是什么 为ChatGPT/GLM提供实用化交互界面，特别优化论文阅读/润色/写作体验，模块化设计，支持自定...
-
AI视野：智谱AI发布大模型GLM-4；腾讯发布PhotoMaker；GPT Store现多款违规AI女友；Deepfake音视频检测技术亮相CES
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ????大模型动态 智谱AI发布大...
-
Portkey AI Gateway：一个连接多种人工智能模型的开源工具
Portkey AI Gateway是一个开源工具，旨在连接多种人工智能模型。该工具允许开发者通过简单的API接口访问超过100种不同的大语言模型，包括OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemi...
-
[玩转AIGC]LLaMA2训练中文文章撰写神器（数据准备，数据处理，模型训练，模型推理）
目录 一、下载并加载中文数据集 二、中文数据集处理 1、数据格式 2、数据集处理之tokenizer训练格式 1）先将一篇篇文本拼凑到一起（只是简单的拼凑一起，用于训练tokenizer） 2）将数据集进行合并 3、数据集处理之模型（ll...
-
LLM系列 | 22 : Code Llama实战(下篇)：本地部署、量化及GPT-4对比
引言 模型简介 依赖安装 模型inference 代码补全 4-bit版模型 代码填充 指令编码 Code Llama vs ChatGPT vs GPT4 小结 引言 青山隐隐水迢迢，秋尽江南草未凋。...
-
Transformer的无限之路：位置编码视角下的长度外推综述
在自然语言处理（Natural Language Processing，NLP）领域，Transformer 模型因其在序列建模中的卓越性能而受到广泛关注。然而，Transformer 及在其基础之上的大语言模型（Large Language Model...
-
Mistral AI推出Mixtral 8x7B：一种改变机器学习的SMoE语言模型 效果堪比GPT-3.5
## 划重点: 1. ? **创新模型介绍:** Mistral AI 的研究团队推出了基于 Sparse Mixture of Experts（SMoE）模型的 Mixtral8x7B 语言模型，采用开放权重。 2. ? **性能突出:** Mixtra...
-
当AI变成“守法公民”，为何用户反而不爱它了
ChatGPT、OpenAI这两个名字无疑是2023年科技圈最为炙手可热的存在，但投入AI大模型赛道的显然远远不止OpenAI一家，例如谷歌有Gemini、Meta有开源的Llama2、亚马逊也有Titan。并且这个赛道目前来看也并非巨头们的狂欢，比如创业...
-
AIGC内容分享(十三)：2023年中国AIGC产业全景报告
目录 核心摘要 中国AIGC产业之“变”与"新 技术变革的原始驱力：大模型层 价值传递的实际落位：应用层 不可忽视的资源引擎：算力层 中国AIGC产业之发展趋势 核心摘要 古人有云：日就月将，学有缉熙于光明。人类对人工智能学的潜心钻研...
-
基于AI的事件智能分析系统建设实践
一、背景 当前，随着虚拟化、云计算等新技术的广泛应用，企业数据中心内部IT基础设施规模成倍增长，计算机硬件和软件的规模不断的扩大，相应的计算机故障也频繁发生，一线运维人员迫切的需要更加专业、更加强大的运维工具。 在数据中心的日常运维工作中，一般是通过...
-
LLMs之LLaMA-2：LLaMA-2的简介(技术细节)、安装、使用方法(开源-免费用于研究和商业用途)之详细攻略
LLMs之LLaMA-2：LLaMA-2的简介(技术细节 、安装、使用方法(开源-免费用于研究和商业用途 之详细攻略 导读：2023年7月18日，Meta重磅发布Llama 2！这是一组预训练和微调的大型语言模型（LLM），规模从70亿到700亿个...
-
探索AIGC未来：CPU源码优化、多GPU编程与中国算力瓶颈与发展
★人工智能；大数据技术;AIGC;Turbo;DALL·E 3;多模态大模型；MLLM；LLM；Agent；Llama2；国产GPU芯片；GPU;CPU；高性能计算机；边缘计算；大模型显存占用；5G;深度学习；A100；H100；A800；H800；L40...
-
国内多所高校共建开源社区LAMM，加入多模态语言模型大家庭的时候到了
ChatGPT问世以来，大语言模型（LLM）实现了跳跃式发展，基于自然语言进行人机交互的AI范式得到广泛运用。然而，人类与世界的交互中不仅有文本，其他诸如图片、深度等模态也同样重要。然而，目前的多模态大语言模型（MLLM）研究大多数闭源，对高校和大多数研...
-
大模型恋爱神器！16种MBTI自由定制，北大ChatLaw团队出品
北大团队新作，让大模型拥有个性! 而且还是自定义那种，16种MBTI都能选。 图源备注：图片由AI生成，图片授权服务商Midjourney 这样一来，即便是同一个大模型，不同性格下的回答都不一样。 比如提问:你周末喜欢干什么? 这样能干啥呢?北大的童...
-
AIGC：阿里开源大模型通义千问部署与实战
1 引言 通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模的模型。Qwen-7B是基于Transformer的大语言模型, 在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代...
-
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录 一、 GPT系列 1.1 GPTs（OpenAI，2018——2020） 1.2 InstructGPT（2022-3） 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT（2022.11.30） 1.4 ChatG...
-
四行代码让大模型上下文暴增3倍，羊驼Mistral都适用
无需微调，只要四行代码就能让大模型窗口长度暴增，最高可增加3倍! 而且是“即插即用”，理论上可以适配任意大模型，目前已在Mistral和Llama2上试验成功。 有了这项技术，大模型（LargeLM）就能摇身一变，成为LongLM。 近日，来自得克萨斯农...
-
轻量级模型，重量级性能，TinyLlama、LiteLlama小模型火起来了
当大家都在研究大模型（LLM）参数规模达到百亿甚至千亿级别的同时，小巧且兼具高性能的小模型开始受到研究者的关注。 小模型在边缘设备上有着广泛的应用，如智能手机、物联网设备和嵌入式系统，这些边缘设备通常具有有限的计算能力和存储空间，它们无法有效地运行大型语...
-
[玩转AIGC]如何训练LLaMA2（模型训练、推理、代码讲解，并附可直接运行的kaggle连接）
目录 一、clone仓库 二、数据集下载与处理 1、数据集下载 2、数据集标记化（耗时较长） 三、修改配置 四、开始训练 五、模型推理 六、train.py训练代码讲解 1、导包 2、定义模型训练参数与相关设置 3、加载模型配置 4、迭代...
-
[NLP] 使用Llama.cpp和LangChain在CPU上使用大模型-RAG
一 准备工作 下面是构建这个应用程序时将使用的软件工具: 1.Llama-cpp-python 下载llama-cpp, llama-cpp-python [NLP] Llama2模型运行在Mac机器-CSDN博客 2、LangChain L...
-
迷你AI模型TinyLlama发布：高性能、仅637MB
经过一番期待，TinyLlama项目发布了一款引人注目的开源模型。该项目于去年9月启动，开发人员致力于在数万亿标记上训练一款小型模型。在经历了一些辛勤工作和一些挫折之后，TinyLlama团队如今发布了这个模型。这个模型有着10亿个参数，大约在训练数据上进...
-
使用 OpenLLM 构建和部署大模型应用
本次分享主题为：使用 OpenLLM 快速构建和部署大语言模型的应用。OpenLLM 是一个开源的大语言模型（LLM）开发框架。它支持多种开源的 LLM 模型，并且具有内建的两个关键的 LLM 优化，能够优化内存使用。此外，它与 LangChain 和...
-
AIGC：【LLM（六）】——Dify：一个易用的 LLMOps 平台
文章目录 一.简介 1.1 LLMOps 1.2 Dify 二.核心能力 三.Dify安装 3.1 快速启动 3.2 配置 四.Dify使用 五.调用开源模型 六.接通闭源模型 七.在 Dify.AI 探索不同模型潜力 7.1 快速切...
-
最强开源大模型？Llama 2论文解读
标题 简介 模型预训练 预训练设置 硬件资源与碳排放 模型评估 模型微调 有监督微调 基于人工反馈的强化学习（RLHF） 人类偏好数据的收集 奖励模型 迭代微调过程 多轮对话控制 RLHF 结果 模型回答的安全性 一直...
-
Meta与微软联手推出开源大型语言模型Llama 2；程序员如何优雅地做副业
? AI新闻 ? Meta与微软联手推出开源大型语言模型Llama 2 摘要：Meta和微软近期合作发布了名为Llama 2的开源大型语言模型。该模型旨在帮助开发者和组织构建生成式人工智能工具和体验。Azure客户可以更轻松、安全地在Azure平台...
-
谷歌Gemini大逆转？斯坦福Meta华人证明其推理性能强于GPT-3.5
【新智元导读】谷歌放出的Gemini，在对标GPT的道路上似乎一直处于劣势，Gemini真的比GPT-4弱吗?最近，斯坦福和Meta的学者发文为Gemini正名。 Gemini的推理能力，真的比GPT-4弱吗? 此前，谷歌憋出的重磅复仇神器Gemini P...
-
大模型部署手记（11）LLaMa2+Chinese-LLaMA-Plus-2-7B+Windows+llama.cpp+中文对话
1.简介： 组织机构：Meta（Facebook） 代码仓：GitHub - facebookresearch/llama: Inference code for LLaMA models 模型：LIama-2-7b-hf、Chinese-LLaMA...
-
人工智能 | Llama大模型：与AI伙伴合二为一，共创趣味交流体验
Llama 大模型介绍 我们介绍 LLaMA，这是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LL...
-
Llama2推理RTX3090胜过4090，延迟吞吐量占优，但被A800远远甩开
大型语言模型 (LLM 在学界和业界都取得了巨大的进展。但训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的开源框架和方法。然而，不同硬件和软件堆栈的运行时性能可能存在很大差异，这使得选...
-
得物大模型平台，业务效果提升实践
一、背景 得物大模型训练与推理平台上线几个月后，我们与公司内部超过 10 个业务领域展开了全面的合作。在一些关键业务指标方面，取得了显著的成效，例如： 效率相关部门的合作，多维度打标总正确率取得 2 倍以上提升。利用大模型开辟了新的业务，提升了效...
-
折射OpenAI新一年技术路线图，透视Sam Altman的12个愿望清单
当地时间12月24日，Sam Altman 在X 平台上罕见地发起了一个「许愿池」， 「希望 OpenAI 在2024年构建/修复什么?」，这条推文迅速吸引 AI 领域众多大佬和网友的参与。 两个小时后，Sam Altman 挑选了12个期望值最高的愿望清...
-
LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理
Llama 2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居Hugging Face Open LLM排行榜（https://huggingface.co/spaces/HuggingFaceH4/open_llm_lea...
-
Llama中文社区开源预训练Atom-7B-chat大模型体验与本地化部署实测(基于CPU，适配无GPU的场景)
一、模型简介 原子大模型Atom由Llama中文社区和原子回声联合打造，在中文大模型评测榜单C-Eval中位居前十（8月21日评测提交时间）。 Atom系列模型包含Atom-7B和Atom-...