-
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora(部分)
文章目录 LLaMA大模型及其衍生模型 1. LLaMA 2. stanford_alpaca 3. ChatDoctor 4. alpaca-lora 5. Chinese-LLaMA-Alpaca 6. BELLE 大模型综述 A Su...
-
【AIGC】BaiChuan7B开源大模型介绍、部署以及创建接口服务
模型介绍 baichuan-7B是由百川智能开发的一个开源的大规模预训练模型。基于Transformer结构,在大约1.2万亿tokens上训练的70亿参数模型,支持中英双语,上下文窗口长度为4096。在标准的中文和英文权威benchmark(C-EV...
-
大语言模型之十五-预训练和监督微调中文LLama-2
这篇博客是继《大语言模型之十二 SentencePiece扩充LLama2中文词汇》、《大语言模型之十三 LLama2中文推理》和《大语言模型之十四-PEFT的LoRA》 前面博客演示了中文词汇的扩充以及给予LoRA方法的预训练模型参数合并,并没有给出Lo...
-
[LLM+AIGC] 01.应用篇之中文ChatGPT初探及利用ChatGPT润色论文对比浅析(文心一言 | 讯飞星火)
近年来,人工智能技术火热发展,尤其是OpenAI在2022年11月30日发布ChatGPT聊天机器人程序,其使用了Transformer神经网络架构(GPT-3.5),能够基于在预训练阶段所见的模式、统计规律和知识来生成回答,还能根据聊天的上下文进行互动,...
-
使用LoRA对大语言模型LLaMA做Fine-tune
使用LoRA对大语言模型LLaMA做Fine-tune 前言 下载 配置环境 模型的训练 Fine-tune 模型的使用 Inference 参考 问题汇总 前言 目前有大量对LLM(大语言模型)做Fine-tune的方式,不...
-
ChatGPT最近被微软内部禁用!GPTs新bug:数据只要两句提示词就能套走
注意!你创建GPTs时上传的数据,任何人都能轻易下载…… 只需两句提示词,就可被直接套走! 而又在另一边,OpenAI最亲密盟友微软内部一度紧急禁用,网站上显示的理由正是: 出于安全和数据方面的考虑,许多AI工具不再供员工使用。 自定制版GPT上线以来...
-
NLP-分词器:SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】
背景 随着ChatGPT迅速出圈,最近几个月开源的大模型也是遍地开花。目前,开源的大语言模型主要有三大类:ChatGLM衍生的大模型(wenda、ChatSQL等)、LLaMA衍生的大模型(Alpaca、Vicuna、BELLE、Phoenix、Chim...
-
LLM:LLaMA模型和微调的Alpaca模型
LLaMA模型 简单了解[LeCun狂赞:600刀GPT-3.5平替! 斯坦福70亿参数「羊驼」爆火,LLaMA杀疯了] 论文原文:https://arxiv.org/abs/2302.13971v1 预训练数据 模型架构 模型就是用的tra...
-
LLMs之Code:Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略
LLMs之Code:Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder 、安装、使用方法之详细攻略 导读:2023年08月25日(北京时间 ,Meta发布了Code Llama,一个可以使用文本提示生成...
-
几行代码教你轻松完成超大模型推理:LLaMA-30B+TITAN RTX*4+accelerate
是不是苦于没有ChatGPT的API key或者免费的token而无法愉快地和它玩耍?想不想在有限的计算资源上部署大模型并调戏大模型??想不想解锁大模型的除了对话之外的其它功能???几行代码教你搞定如何在有限的计算资源下部署超大模型并实现推理。 准备...
-
苹果或在 WWDC 2024 上展示强化版 Siri 和 iPhone 16 的独家 AI 功能
苹果公司或将在 2024 年全球开发者大会(WWDC)上展示一款由大型语言模型(LLM)提供动力的强化版 Siri,这款新 Siri 将首次亮相于 iOS 18。但某些前沿的生成式 AI 功能可能将只适用于 iPhone 16 型号。 上个月,彭博社记者...
-
亚马逊AI编程助手CodeWhisperer
Amazon CodeWhisperer是一款AI编程助手,可根据开发人员使用自然语言编写的注释和IDE(集成开发环境)中的代码生成建议,帮助开发人员提高工作效率。借助CodeWhisperer,开发人员无需在IDE与文档或开发者论坛之间切换,...
-
老黄H100再破纪录,4分钟训完GPT-3!全新「特供版」H20、L20和L2曝光,性能史诗级缩水
H100再次在MLPerf中刷新了记录! 英伟达超算NVIDIA Eos在GPT-3模型的基准测试中,只用了3.9分钟就完成了训练。 这比6月份的刷新记录的成绩——10.9分钟,提升了近3倍。 Eos使用了多达10,752个H100和NVIDIA Quan...
-
使用 LangChain 和 Pinecone 矢量数据库构建自定义问答应用程序
构建自定义聊天机器人,以使用 LangChain、OpenAI 和 PineconeDB 从任何数据源开发问答应用程序 介绍 大型语言模型的出现是我们这个时代最令人兴奋的技术发展之一。它为人工智能领域开辟了无限可能,为各行业的现实问题提供了解决方案。这些...
-
Intel研究人员提出新AI方法,更高效地在CPU上部署LLM
大型语言模型(LLM)因其在文本生成、语言理解和文本摘要等各种任务中的卓越性能而备受瞩目,但它们庞大的模型参数却需要大量内存和专用硬件,这使得部署这些模型变得相当具有挑战性。 为了降低推断所需的计算功率,研究人员通常采用权重量化等方法,即减少人工神经网络的...
-
微软推出 FP8 混合精度训练框架:比 BF16 快 64%,内存占用少 42%
11 月 10 日消息,大语言模型(LLM)快速崛起,在语言生成和理解方面表现出光明的前景,影响超越了语言领域,延伸到逻辑、数学、物理学等领域。 不过想要解锁这些“非凡能量”,需要付出高额的代价,例如训练 540B 模型,需要 Project PaL...
-
AI进军体育圈?自动识别比赛场景生成“真人”解说
最近,一项新技术引起了人们的关注,它使用OpenAI多项技术,能够以令人信服的方式自动生成体育比赛的解说。这个技术可以自动识别比赛中的场景,包括球员的位置和行动、球的位置和轨迹,甚至比赛的得分等等。 除此之外,它还可以根据比赛的进展和结果,实时生成解说的内...
-
华人团队获最佳论文、最佳系统论文,CoRL获奖论文出炉
自 2017 年首次举办以来,CoRL 已经成为了机器人学与机器学习交叉领域的全球顶级学术会议之一。CoRL 是面向机器人学习研究的 single-track 会议,涵盖机器人学、机器学习和控制等多个主题,包括理论与应用。 2023 年的 CoRL 大会...
-
让AI模型成为GTA五星玩家,基于视觉的可编程智能体Octopus来了
电子游戏已经成为如今现实世界的模拟舞台,展现出无限可能。以游戏《侠盗猎车手》(GTA)为例,在 GTA 的世界里,玩家可以以第一人称视角,在洛圣都(游戏虚拟城市 当中经历丰富多彩的生活。然而,既然人类玩家能够在洛圣都里尽情遨游完成若干任务,我们是否也能有一...
-
GPTs翻版来了!Opengpts支持定制聊天机器人
Opengpts是一个开源项目,LangChain通过整合LangServe和LangSmith,构建了一个旨在提供与OpenAI GPTs类似体验的平台。用户可以通过选择不同的语言模型、自定义工具以及控制提示,实现对聊天机器人的更灵活控制。 功能方面,L...
-
LLama 2部署教程+私有模型分发
近日,Meta发布了LLama的最新版本——LLama2,尽管其对中文的处理能力尚有待提升,但其整体表现无疑是令人瞩目的。在发布当天,我便迫切地将其下载下来进行试用,发现相比之前的版本,LLama2在多个方面都实现了显著的进步,特别是在编程能力上的提升更为...
-
UniPAD:通用自动驾驶预训练模式!各类感知任务都可支持
本文经自动驾驶之心公众号授权转载,转载请联系出处。 最近,新论文推陈出新的速度着实太快有点读不过来的感觉。可以看到的是,语言视觉多模态大模型融合已经是业界共识了,UniPad 这篇文章就比较有代表性,多模态的输入,类世界模型的预训练基座模型,同时又方便扩...
-
微软以安全问题为由短暂限制员工访问 OpenAI 的 ChatGPT
微软已向 OpenAI 投资数十亿美元。但据 CNBC 报道,在周四的一段时间内,该软件公司的员工不被允许使用该初创公司最著名的产品 ChatGPT。 在内部网站上,微软发表声明称:「由于安全和数据问题,一些 AI 工具不再向员工开放使用。」CNBC 还...
-
OpenAI 寻求合作伙伴生成用于训练 AI 模型的数据集
IT之家 11 月 10 日消息,OpenAI 发文宣布,将与组织合作生成用于训练 AI 模型的公共 / 私有数据集,数据合作伙伴关系旨在“让更多组织能够帮助引导 AI 的未来”并“从更有用的模型中受益”。 IT之家从博客获悉,OpenAI 称:“为了...
-
Llama大模型运行的消费级硬件要求【CPU|GPU|RAM|SSD】
大型语言模型 (LLM 是强大的工具,可以为各种任务和领域生成自然语言文本。 最先进的LLM之一是 LLaMA(大型语言模型 Meta AI),这是由 Facebook 的研究部门 Meta AI 开发的一个包含 650 亿个参数的模型 要在家运行 L...
-
LoRa模型训练教程(炼丹,Stable Diffusion)
1. lora介绍(Low Rank Adaption) 何为LoRA?LoRA并不是扩散模型专有的技术,而是从隔壁语言模型(LLM)迁移过来的,旨在解决避免将整个模型参数拷贝下来才能对模型进行调校的问题。因为大型语言模型的参数量过于恐怖,比如最近新出...
-
建立自己的ChatGPT:LLama私有化部署及测试
大语言模型(LLM)现在非常流行,可惜ChatGPT等都不开源。大家没法搭建一个自己的环境来感受以下。幸好Meta开源了LLama,这是LLama的介绍: https://ai.facebook.com/blog/large-language-model...
-
使用 PAI-Blade 优化 Stable Diffusion 推理流程
背景 AIGC是人工智能计算领域里发展迅速的重要业务。Stable Diffusion 是其中最热门的开源模型,受到广泛关注。然而,随着应用场景不断扩大,Stable Diffusion所面临的推理时延和计算成本问题也越来越突出。 简介 PAI-Bl...
-
Windows10上使用llama-recipes(LoRA)来对llama-2-7b做fine-tune
刚刚在Windows10上搭建环境来对llama2做finetune,里面坑还是挺多的,这里把印象中的坑整理了一下以作备忘。 llama-recipes是meta的开源项目,Github地址为:GitHub - facebookresearch/llam...
-
【原创】用 VisualGLM 进行AIGC多模识别和内容生成
最近几个月,整个AI行业的LLM(大语言模型)蓬勃发展,除了过去传统的纯文字的多模态能力的视觉语言模型,如 GPT-4,ImageBind等表现令人印象深刻。 ChatGLM-6B是中文用户使用非常舒服的一个开源中文LLM。2023年5月17日,智谱...
-
摩根士丹利:随着 Edge AI 走向主流,苹果处于最有利的位置
在人工智能(AI)成为 2023 年的热门话题之际,投资公司摩根士丹利的一份新报告得出结论,尽管苹果对其 AI 技术的发展讳莫如深,但该公司已准备好在消费者开始广泛采用基于 AI 的工具时获得利润。摩根士丹利认为,苹果在 AI 领域的进展超出了公众的预期,...
-
ChatGPT 挂了一整天了,已经习惯了用大模型的我怎么办
OpenAI 挂了,已经习惯了用大模型的我怎么办 OpenAI 挂了,急,在线等。 你是不是已经习惯了 ChatGPT 的存在?是不是感觉离了 ChatGPT 寸步难行,很难再进行自己的工作?今天 ChatGPT 大面积宕机,服务直到文章发布(下午5点...
-
斯坦福大学研究:智能手机录音可识别一个人是否喝醉,准确率 98%
11 月 9 日消息,斯坦福大学最近的一项研究发现,智能手机有 98% 的概率通过语音模式准确识别一个人何时喝醉。 该研究测试了 18 名参与者(72% 男性、年龄 21-62 岁),传感器对他们的声音模式进行分析,以检测他们是否喝醉。该研究发表在《...
-
谷歌启动 Open Se Cura 开源框架计划,有望为 Pixel 设备带来低功耗本地 AI 功能
IT之家 11 月 9 日消息,谷歌日前推出了一项名为 Open Se Cura 的开源框架计划,目的是要加速开发适用于“小型设备”的低功耗 AI 系统。该框架包含了一套开源工具库,据称可以通过“协同设计和开发”,加速机器学习工作发展。 谷歌指出,当...
-
大模型走捷径「刷榜」?数据污染问题值得重视
生成式 AI 元年,大家的工作节奏快了一大截。 特别是,今年大家都在努力卷大模型:最近国内外科技巨头、创业公司都在轮番推出大模型,发布会一开,个个都是重大突破,每一家都是刷新了重要 Benchmark 榜单,要么排第一,要么第一梯队。 在兴奋于技术进展速...
-
开发者「第二大脑」来袭,GitHub Copilot更新,人类开发参与进一步减少
是什么让 Andrej Karpathy 感慨,人类在软件开发过程中直接编写代码的贡献将越来越小,直接输入和监督作用将更加抽象化。最终,人类的角色将仅仅是进行基本的审核和确认,而不再是主要的编程和开发者。 原来是 GitHub 新发布的 Copilot...
-
2024年,生成式AI将助长更强大的网络钓鱼活动
谷歌云预测,2024年生成式AI的持续使用将帮助创建更智能的网络钓鱼活动,而网络安全专家将使用相同的工具来捍卫并缩小技能差距。 据谷歌云网络安全预测2024报告显示,普通人用于判断电子邮件是否合法或欺诈的标志,如拼写错误、语法错误和缺乏文化背景,将在202...
-
大模型勇闯洛圣都,加封「GTA五星好市民」!南洋理工、清华等发布视觉可编程智能体Octopus:打游戏、做家务全能干
随着游戏制作技术的不断发展,电子游戏已然成为现实世界的模拟舞台。 以游戏《侠盗猎车手》(GTA)为例,在GTA的世界里,玩家可以以第一人称视角,在洛圣都(游戏虚拟城市)当中经历丰富多彩的生活。 然而,既然人类玩家能够在洛圣都里尽情遨游完成若干任务,我们...
-
亚马逊用比 GPT-4 多两倍的参数训练 Olympus 人工智能模型
在大型语言模型(LLMs)领域,科技巨头之间的竞争愈发激烈,这些模型是像 OpenAI 的 ChatGPT 这样的工具的 AI 技术基础。 根据路透社内部消息人士的消息,亚马逊正计划推出自己的产品,投入巨资训练其自己的名为「Olympus(奥林匹斯)」的...
-
来聊聊近期火爆的几个大模型和自动驾驶概念
本文经自动驾驶之心公众号授权转载,转载请联系出处。 近期大模型各种应用依然火爆,10月初前后出现了一系列颇有噱头的文章,试图把大模型应用于自动驾驶。和很多朋友最近也聊了很多相关的话题,写这篇文章,一方面是发现其实包括我在内,在过去其实都混淆了一些很相关...
-
GitHub 宣布 Copilot Chat 功能 12 月全面推出,教育用户及开源项目维护者可免费使用
IT之家 11 月 9 日消息,今年 7 月时,GitHub 宣布为企业公司和组织推出 GitHub Copilot Chat 服务的公开测试版,9 月时这项功能扩展到个人用户。 而在今天,GitHub 宣布,作为当前 GitHub Copilot 订...
-
OpenAI重磅更新:人人可定制GPT!马斯克2个月打造ChatGPT竞品公开叫板
11月7日凌晨2点,人工智能初创公司 OpenAI 举办首届 DevDay 开发者大会,其首席执行官山姆•阿尔特曼(Sam Altman)宣布了GPT-4、ChatGPT等AI平台的一系列增强功能与定价变化。这些变化有望使OpenAI的技术更加强大、灵活...
-
准确率 99%,新模型可识别 ChatGPT 生成的文本内容
IT之家 11 月 8 日消息,根据 sciencedirect 收录的最新论文,科学家依赖 20 个特征和机器学习算法,可以准确区分内容是由人类论文作者创作,还是由 ChatGPT 生成的,且准确率可以高达 99%。 AI Detector 研究人员...
-
用过GPT-4 Turbo以后,我们再也回不去了
昨天,很多人彻夜未眠 —— 全球科技圈都把目光聚焦在了美国旧金山。 短短 45 分钟时间里,OpenAI CEO 山姆・奥特曼向我们介绍了迄今为止最强的大模型,和基于它的一系列应用,一切似乎就像当初 ChatGPT 一样令人震撼。 OpenAI 在本周...
-
解说梅西球赛、英雄联盟,OpenAI GPT-4视觉API被开发者玩出新花样
文章开始,我们先来看一段球赛解说视频: 是不是感觉听起来不太对劲? 你的感觉没错,因为这段解说是用 AI 生成的,这个大喊「梅西!梅西!」的声音居然来自 AI。 这是 X 平台(原推特)博主 @Gonzalo Espinoza Graham 发布的一段视...
-
北大具身智能团队提出需求驱动导航,对齐人类需求,让机器人更高效
如果想让机器人帮助你,你通常需要下达一个较为精准的指令,但指令在实际中的实现效果不一定理想。如果考虑真实环境,当要求机器人找某个特定的物品时,这个物品不一定真的存在当前的环境内,机器人无论如何也找不到;但是环境当中是不是可能存在一个其他物品,它和用户要求...
-
10分钟定制一个「陈天奇GPT」,OpenAI新品大波实测来袭!Sam Altman降维打击,千家AI初创公司入土
OpenAI首届春晚,创业公司屠杀夜。 正如Sam Altman所言:「我们正在孕育新物种,它们正在迅速增殖。」 图片 可以说,基于OpenAI接口构建创业公司,产品忽然就失去了意义。许多初创公司的产品,已经没有了护城河。 杜克大学教授陈怡然表示,照这个...
-
消息称亚马逊投资数百万美元培训巨大AI模型“Olympus”
亚马逊正投资数百万美元,致力于培训一个雄心勃勃的大型语言模型,该模型被代号为“Olympus”,希望能够与OpenAI和Alphabet的顶级模型竞争。据两位知情人士向路透社透露,这一消息令外界瞩目,但亚马逊拒绝置评。 图源备注:图片由AI生成,图片授权...
-
AIGC远不止是代码辅助
生成式人工智能(AIGC)对于软件开发人员的生产力有重要的潜力。但要成功利用它,需要将其视为不仅仅是代码生成工具而已。 生成式人工智能(AIGC)可以彻底改变软件开发。它具有驱动软件开发人员显著提高生产力的能力,可以加快创新周期和上市时间。然而,如果将其...
-
GPT商店已至,AI的爆款应用还有多远?
什么,还必须要关注“技术”想要什么。 昨天凌晨,整个AI界发生了一场地震,在被视为“首届AI春晚”的OpenA开发者大会上,GPT-4进行了史诗版本的更新。 128K的超长上下文、成本更低的tokens、全新的Assistants API、新增的多模态功能...