-
大语言模型之十六-基于LongLoRA的长文本上下文微调Llama-2
增加LLM上下文长度可以提升大语言模型在一些任务上的表现，这包括多轮长对话、长文本摘要、视觉-语言Transformer模型的高分辨4k模型的理解力以及代码生成、图像以及音频生成等。 对长上下文场景，在解码阶段，缓存先前token的Key和Value（K...
-
Code Llama 简介：编码未来的综合指南
在不断发展的技术领域，Meta 推出的 Code Llama 标志着一次重大飞跃。这种最先进的大型语言模型 (LLM 不仅仅是开发人员武器库中的另一个工具；它也是开发人员的工具之一。它改变了游戏规则。让我们深入了解 Code Llama 提供的功能、它...
-
GitHub Copilot Chat将于12月全面推出；DeepLearning.AI免费新课
? AI新闻 ? GitHub Copilot Chat将于12月全面推出，提升开发者的生产力 摘要：GitHub宣布将于12月全面推出GitHub Copilot Chat，这是GitHub Copilot的一个新功能，旨在帮助开发者编写代码。它...
-
更强的Llama 2开源，可直接商用：一夜之间，大模型格局变了
已上微软 Azure，即将要上 AWS、Hugging Face。 一夜之间，大模型格局再次发生巨变。 一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。 今日，Meta 终于发布了大家期待...
-
LLM各层参数详细分析（以LLaMA为例）
网上大多分析LLM参数的文章都比较粗粒度，对于LLM的精确部署不太友好，在这里记录一下分析LLM参数的过程。 首先看QKV。先上transformer原文 也就是说，当h（heads） = 1时，在默认情况下，...
-
Nexusflow发布开源生成式AI模型NexusRaven-V2 处理软件工具方面超越 GPT-4
在针对网络安全领域的生成AI领导者Nexusflow宣布推出NexusRaven-V2后，该公司日前发布了一个13亿参数的开源生成AI模型，该模型在处理软件工具方面超越了OpenAI GPT-4。 NexusRaven-V2拥有强大的功能调用能力，能够理...
-
“大海捞针”实验验证RAG+GPT-4 Turbo模型卓越性能 只需4%的成本
近期的“大海捞针”实验揭示了RAG+GPT-4Turbo模型的卓越性能，只需4%的成本，便能在生成响应时实现卓越的准确性。这标志着大型模型领域的一次重要突破。 在这个实验中，研究者使用了三种基本技术，包括上下文窗口填充、RAG（检索增强生成）和微调，以使L...
-
RAG+GPT-4 Turbo让模型性能飙升！更长上下文不是终局，「大海捞针」实验成本仅4%
RAG+GPT-4，4%的成本，便可拥有卓越的性能。 这是最新的「大海捞针」实验得出的结论。 在产品中使用LLM的下一阶段，重点是让它们生成的响应/回复更加「超前高速化」(hyper-specific 。 也就是LLM需要按照不同的使用情况，针对数据集...
-
在 Mac M1 上运行 Llama 2 并进行训练
在 Mac M1 上运行 Llama 2 并进行训练 Llama 2 是由领先的人工智能研究公司 Meta （前Facebook）开发并发布的下一代大型语言模型 (LLM 。 它基于 2 万亿个公共数据 token 进行了预训练，旨在帮助开发人员和...
-
北大等发布最新AI智能体Jarvis-1，制霸「我的世界」
智能体研究又取得了新成绩！ 最近，来自北大、北邮、UCLA和BIGAI的研究团队联合发表了一篇论文，介绍了一个叫做Jarvis-1的智能体。 论文地址：https://arxiv.org/pdf/2311.05997.pdf 从论文标题来看，Jarvi...
-
谷歌Gemini AI模型即将登陆Pixel8Pro 革新Android体验
据报道，谷歌宣布Gemini AI模型即将首次亮相Pixel8Pro，并计划逐步覆盖整个Android生态系统。Gemini Nano是谷歌新一代大型语言模型（LLM）的本地优先版本，旨在提升设备智能、加速反应速度，无需依赖互联网连接。 虽然Gemini是...
-
首个精通3D任务的具身通才智能体：感知、推理、规划、行动统统拿下
想要迈向通用人工智能，必须要构建一个能够理解人类生活的真实世界，并掌握丰富技能的具身通用智能体。 今年以来，以 GPT-4 (V [1]、LLaVA [2]、PALM-E [3] 等为代表的多模态大语言模型（Multi-modal Large Langu...
-
JetBrains 推出新 AI 编码助手，结合多个大型语言模型以实现供应商中立
JetBrains 于当地时间周三发布了一款新的 AI 编码助手，这款助手能够从开发者的集成开发环境（IDE）获取信息，并将其反馈给 AI 软件，以提供编码建议、代码重构和文档支持。这家开发工具公司声称，其 AI 助手是第一个供应商中立的此类产品，因为它使...
-
AIGC周报｜周鸿祎：不会用GPT的人未来将被淘汰；蔡崇信：不用过于担心AI未来会取代人类；AI翻唱或涉多项侵权行为
AIGC（AI Generated Content）即人工智能生成内容。近期爆火的 AI 聊天机器人 ChatGPT，以及 Dall·E 2、Stable Diffusion 等文生图模型，都属于 AIGC 的典型案例，它们通过借鉴现有的、人类创造的内容来...
-
微软高管透露将推出更多超越OpenAI的大语言模型
微软的高级执行官Eric Boyd在一次采访中透露，公司计划在未来推出更多超越OpenAI的大语言模型（LLMs），以迎合企业客户对多样选择的需求。Boyd强调，微软的生成式AI应用及其所使用的LLMs是安全可靠的，但他指出，那些专注于文本生成等领域的公司...
-
自动驾驶大模型论文调研与简述
最近关于大模型(LLMs, VLM 与自动驾驶相关文献调研与汇总： 适合用于什么任务？答：目前基本上场景理解、轨迹预测、行为决策、运动规划、端到端控制都有在做。 大家都怎么做的？ 对于规控任务，LLM型基本是调用+Prompt设计，集中在输入和输出设计...
-
微软高管暗示公司计划推出超越OpenAI的大模型
在VentureBeat的采访中，微软高管Eric Boyd透露了微软在生成式AI领域的计划。他指出微软将推出更多超越OpenAI的大型语言模型（LLMs），以满足客户对选择的需求。尽管OpenAI最近面临领导层分歧，但Boyd强调微软对OpenAI的信心...
-
Gemini官网体验入口 谷歌最新AI模型软件app免费下载地址
《Gemini》是Google最新推出的一款先进的大型人工智能模型。这款AI模型被设计成多模态，能够理解和操作不同类型的信息，包括文本、代码、音频、图像和视频。那么，《Gemini》在哪里可以体验呢?下面就给大家带来《Gemini》官网体验入口和免费app...
-
2023年度AI领域的六大顶级投资者
在当前的创业环境中，利用人工智能 （AI） 的公司数量显着增加。在今年出现的十家独角兽公司中，有六家是基于人工智能的初创公司。这一趋势在业界引起了巨大的轰动，现有的人工智能初创公司的估值也出现了显着的飙升。 这些发展凸显了人工智能在当前商业环境中的重要性...
-
Danswer 接入 Llama 2 模型 ｜ 免费在 Google Colab 上托管 Llama 2 API
一、前言 前面在介绍本地部署免费开源的知识库方案时，已经简单介绍过 Danswer《Danswer 快速指南：不到15分钟打造您的企业级开源知识问答系统》，它支持即插即用不同的 LLM 模型，可以很方便的将本地知识文档通过不同的连接器接入到 Danswe...
-
成立不到一年 生成式AI初创公司 Mistral AI 估值接近 20 亿美元
据知情人士透露，法国生成式人工智能初创公司 Mistral AI 即将完成约4.5亿欧元的融资。 与刚刚筹集了类似资金的德国 Aleph Alpha 不同，大多数投资者来自非洲大陆以外的地区。此轮融资由硅谷风险投资公司 Andreessen Horowit...
-
田渊栋团队最新论文解决大模型部署难题 推理系统吞吐量提高近30倍！
田渊栋团队最新发表的论文解决了大型语言模型在实际部署中遇到的内存和输入长度限制的问题，将推理系统的吞吐量提高了近30倍。论文提出了一种实现KV缓存的新方法，通过识别和保留重要的tokens，显著减少了内存占用，并在长输入序列的任务中表现良好。 这篇论文的研...
-
Gemini vs ChatGPT：谷歌最新的AI和ChatGPT相比，谁更强?
谷歌刚刚在其AI之旅中迈出了新的一步，推出了其最新和最强大的AI模型Gemini 1.0。 谷歌最优秀、最聪明的AI能否击败其最知名的竞争对手——AI聊天机器人ChatGPT?以下是关于机器人之战中的最新参赛者的信息。 在本文中，你将了解Gemini和...
-
必收藏！105页SD提示词手册；百度 Prompt 官方课程；7场 AIGC 免费线下活动；不懂代码的我，利用GPT做了一个微信小程序 | ShowMeAI日报
?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦！ ? 『Stable Diffusion Prompt Book』105页超详细，必收藏的AI绘画实用手册 ShowMeAI知识星球资料编号...
-
首超人类专家！OpenAI“混乱”之际，谷歌多模态大模型Gemini“大杀四方”
在OpenAI“混乱”之际，Google准备“大杀四方”。 就在昨日晚间，Google 和 Alphabet CEO Sundar宣布Gemini上线，并称之为“我们规模最大、能力最强的 AI 模型”，语惊四座。 Gemini的关键词是“多模态”，Go...
-
Meta 推出独立的 AI 图像生成器，目前免费但只支持英文提示词
IT之家 12 月 7 日消息，Meta 公司日前推出全新的、独立的 AI 图像生成器 ——Imagine with Meta，允许用户通过自然语言描述来创建图像。 据介绍，新的人工图像生成器由 Meta 现有的 Emu 图像生成模型提供支持，可根据文...
-
什么是 Gemini？关于谷歌新AI模型你应该知道的一切
什么是 Gemini? Google Gemini是谷歌最新发布的强大人工智能模型，不仅可以理解文本，还能处理图像、视频和音频。作为一种多模态模型，Gemini被描述为能够在数学、物理等领域完成复杂任务，同时能够理解并生成各种编程语言中的高质量代码。 Ge...
-
盘点AWS re:Invent 2023大会值得关注的十大亮点
译者 | 晶颜 审校 | 重楼 “AWS re:Invent 2023”于11月27日至12月1日在拉斯维加斯举行，展示了亚马逊保持其领先云提供商地位的承诺。通过一系列战略公告，该公司展示了其在行业中树立新标准的不懈追求。以下是今年活动的十大亮点： A...
-
腾讯与悉尼大学联手打造GPT4Video:显著提升大语言模型视频生成能力
在多模态大型语言模型（MLLMs）领域取得显著进展的同时，尽管在输入端多模态理解方面取得了显著进展，但在多模态内容生成领域仍存在明显的空白。为填补这一空白，腾讯人工智能实验室与悉尼大学联手推出了GPT4Video，这是一个统一的多模态框架，赋予大型语言模型...
-
从零开始训练 Stable Diffusion 的成本 ＜ 16 万美元
我们想知道使用我们的流数据集、Composer 和 MosaicML 云平台从头开始训练稳定扩散模型需要多少时间（和金钱）。我们的结果：13 天内我们将花费 79,000 个 A100 小时，总培训成本不到 160,000 美元。我们的工具不仅将时间和成本...
-
吞吐量提升近30倍！田渊栋团队最新论文解决大模型部署难题
大型语言模型 （LLM） 在今年可谓是风光无限。不过惊艳的效果背后是一个巨大的模型以及夸张的硬件资源。 LLM在现实中部署时通常会面临两个难题：昂贵的KV缓存成本，以及对长序列的泛化能力差。 近日，田渊栋团队发表了一篇论文，成功解决以上两个难题，并将推理...
-
遥遥领先GPT-4！谷歌最强AI大模型Gemini 1.0发布
快科技12月7日消息，在5月举行的开发者大会上，谷歌首次透露其正在开发的AI大模型Gemini，时隔7个月，Gemini终于来了。 据谷歌官方公众号消息，谷歌日前正式发布Gemini 1.0，这是谷歌迄今为止构建的最强大、最通用、最灵活的模型。 据介绍，...
-
国内AI顶会CPAL论文录用结果放出！共计30篇Oral和60篇Spotlight
大家可能还记得，今年五月份公布的，将由国内大佬马毅和沈向洋牵头办的全新首届AI学术会议CPAL。 这里我们再介绍一下CPAL到底是个什么会，以防有的读者时间太久有遗忘—— CPAL（Conference on Parsimony and Learning...
-
大模型LLaMA和微调LLaMA
1.LLaMA LLaMA的模型架构:RMSNorm/SwiGLU/RoPE/Transformer/1-1.4T tokens，和GPT一样都是基于Transformer这个架构。 1.1对transformer子层的输入归一化 与Transf...
-
AI文生视频，会在明年迎来“GPT时刻”
在当下的AI赛道上，AI生文、生图的应用，早已层出不穷，相关的技术，也在不断日新月异。 而与之相比，AI文生视频，却是一个迟迟未被“攻下”的阵地。 抖动、闪现、时长太短，这一系列缺陷，让AI生成的视频只能停留在“图一乐”的层面，很难拿来使用，更不要说提供商...
-
AI视野：Copilot将可免费使用GPT-4Turbo；Bing推深度搜索功能；谷歌推桌面版Chrome“帮我写”；百度腾讯等入股无问芯穹
???AI新鲜事 微软Copilot将可免费使用GPT-4Turbo 微软宣布Copilot将集成OpenAI最新工具，特别是强化版的GPT-4Turbo。GPT-4Turbo具有更大的上下文窗口和更新的知识截止日期，提供更深入的见解。微软表示，整合后将使...
-
stable-diffusion使用openpose报错
依据教程 ： https://post.smzdm.com/p/awz2l2xg/ 使用 stable-diffusion教学之ControlNet+lora换脸 报错： urllib.error.URLError: <urlopen er...
-
大模型免微调解锁对话能力，RLHF没必要了！一作上交大校友：节省大量成本和时间
要搞大模型AI助手，像ChatGPT一样对齐微调已经是行业标准做法，通常分为SFT+RLHF两步走。 来自艾伦研究所的新研究却发现，这两步都不是必要的？？？ 新论文指出，预训练完成刚出炉的基础模型已经掌握了遵循指令的能力，只需要提示工程就能引导出来，引起...
-
Github Copilot Chat的规则泄露，详细分析这31条规则
GitHub Copilot 是一款由 GitHub 和 OpenAI 共同开发的人工智能编程助手。它是一种基于机器学习的代码自动完成工具，旨在帮助开发人员更高效地编写代码。 GitHub Copilot Chat是GitHub Copilot的一部分，...
-
使用 AI 越狱 AI 模型：新方法可系统地探测 GPT-4 等大型语言模型的弱点，从而使其行为异常
上个月，OpenAI 董事会突然解雇了该公司的首席执行官，这引发了人们的猜测：董事会成员对人工智能突飞猛进的发展速度以及过快寻求技术商业化可能带来的风险感到震惊。 Robust Intelligence 是一家成立于 2020 年的初创公司，与耶鲁大学的...
-
调查显示，仅10%企业在过去一年采用生成式AI解决方案
近日，由cnvrg.io进行的2023ML Insider调查显示，生成式AI（GenAI）应用虽然备受期待，但在过去一年中仅有10%的企业将其纳入生产中。这一结果或许引起人们对这一趋势的矛盾看法。 这项年度调查对全球430名技术专业人士进行了全面分析，了...
-
微软 Copilot 初步整合 Code Interpreter：支持编写代码、洞察数据等
IT之家 12 月 6 日消息，微软微广告和网络服务部门首席执行官米哈伊尔・帕拉欣（Mikhail Parakhin）在最新推文中宣布，已初步整合 Code Interpreter 功能。 帕拉欣表示 Copilot（原 Bing Chat）目前已经初...
-
Meta 的LLaMA是 GPT的竞争对手，如何在 M1 Mac 上使用 LLaMA
目录 第 1 步：下载模型 第 2 步：安装依赖 第 3 步：编译 LLaMA CPP 第 4 步：转换模型 Step5：运行模型 语言模型大战 随着人们对人工智能及其在日常生活中的应用越来越感兴趣，Meta 的 LLaMA、OpenAI 的 G...
-
七月论文审稿GPT第2版：从Meta Nougat、GPT4审稿到Mistral、LongLora Llama
前言 如此前这篇文章《学术论文GPT的源码解读与微调：从chatpaper、gpt_academic到七月论文审稿GPT》中的第三部分所述，对于论文的摘要/总结、对话、翻译、语法检查而言，市面上的学术论文GPT的效果虽暂未有多好，可至少还过得去，而如果涉...
-
关于语言模型私有化部署的讨论 | AIGC实践
上周在与TC同行关于AIGC实践的线上交流中，大家普遍比较关心的一个实践切入点是：语言模型的私有化部署——简单来说，就是在企业内部，部署一个属于自己的“ChatGPT”，对于本行业/专业知识，以及企业独有的产品和技术信息有充分的了解，并且提供用户接口...
-
【GPT4】微软 GPT-4 测试报告（4）GPT4 的数学能力
**欢迎关注【youcans的AGI学习笔记】原创作品微软 GPT-4 测试报告（1）总体介绍微软 GPT-4 测试报告（2）多模态与跨学科能力微软 GPT-4 测试报告（3）编程能力微软 GPT-4 测试报告（4）数学能力微软 GPT-4 测试报告（5）...
-
颠覆Transformer霸权！CMU普林斯顿推Mamba新架构，解决致命bug推理速度暴增5倍
深度学习进入新纪元，Transformer的霸主地位，要被掀翻了？ 2017年6月12日横空出世，让NLP直接变天，制霸自然语言领域多年的Transformer，终于要被新的架构打破垄断了。 Transformer虽强大，却有一个致命的bug：核心注意力...
-
GPT-4 未通过图灵测试，GPT-3.5 还败给六十年前的老 AI 系统，最新研究出炉！
过去一年间，能说会道的ChatGPT、最新的 GPT-4大模型，其能力也已超乎很多人的想象，一场由 OpenAI 引领推动的 AIGC 浪潮席卷全球各大科技公司。但是从学术研究的角度来看，其表现力距离人类智能究竟还有多远? 近日，一篇由加州大学圣迭戈分校的...
-
构建生成式人工智能需要的不仅仅是大模型
生成式人工智能(GenAI 的迅速崛起使得企业争相寻找新的创新方法来利用这项技术在商业应用中的力量。许多企业认为，大型语言模型(LLM 已经重塑了人工智能驱动的商业应用程序的构建方式，所需要的只是将数据输入到大型企业的LLM模型中，它就会完成工作。然而，...
-
性能直追GPT-4，5000个H100训成！DeepMind联创发全新一代大模型
最近，InflectionAI发布了全新的一款AI模型。 更炸裂的是InfectionAI对这款模型的评价——性能直超谷歌和Meta开发的两款模型，紧随OpenAI的GPT-4之后。 到底是什么样的表现让InflectionAI能夸下如此海口呢？ 在介绍...