-
详解各种LLM系列｜LLaMA 1 模型架构、预训练、部署优化特点总结
作者 | Sunnyyyyy 整理 | NewBeeNLP https://zhuanlan.zhihu.com/p/668698204 后台留言『交流』，加入 NewBee讨论组 LLaMA 是Meta在2...
-
llama/llama2论文解读
llama 摘要 llama在约1.4T的token上，训练出参数量7B到65B的模型，其模型规模如下 在仅使用开源数据集的情况下，llama-13B在多数benchmarks上与GPT-3效果相当；llama-65B也与最好的模型（Chin...
-
BFT最前线丨浙江大学和蚂蚁集团合作，成立智能视觉实验室；ChatGPT 对亚洲节点大规模封号；谷歌CEO称将推出Bard升级版
文 | BFT机器人 01 浙江大学和蚂蚁集团合作，成立智能视觉实验室 据消息，浙江大学和蚂蚁集团达成合作成立「智能视觉联合实验室」，旨在推进智能视觉的技术创新和产业应用，重点攻坚包括机器视觉、三维重建、视觉内容生成等人工智能...
-
斯坦福和OpenAI提出meta-prompting，最强零样本prompting技术诞生了
最新一代语言模型（尤其是 GPT-4、PaLM 和 LLaMa）已经成功拓展了自然语言处理和生成的边界。这些大规模模型可以解决许多不同任务，从写莎士比亚风格的十四行诗到总结复杂的医疗报告和解决竞赛级的编程问题。尽管这些模型可以解决多种多样的问题，但它们并...
-
语言模型大战：GPT、Bard与文心一言，谁才是王者？
如何对GPT-3.5、GPT-4、Bard、文心一言、通义千问的水平进行排序？ 在聊技术原理之前我们来先看看几个产品的团队背景 一、团队背景 1.1、ChatGPT ChatGPT团队的成员大多具有计算机科学、人工智能、自然语言处理、机器学...
-
NLP国内外大模型汇总列表[文心一言、智谱、百川、星火、通义千问、盘古等等]
国内外大模型汇总列表 中国大模型列表大全，全面收集有明确来源的大模型情况，包括机构、来源信息和分类等，随时更新。 Awesome family related to LLMS includes: https://github.com/wgwang...
-
史上首个100%开源大模型重磅登场！破纪录公开代码/权重/数据集/训练全过程，AMD都能训
多年来，语言模型一直是自然语言处理（NLP）技术的核心，考虑到模型背后的巨大商业价值，最大最先进的模型的技术细节都是不公开的。 现在，真·完全开源的大模型来了！ 来自艾伦人工智能研究所、华盛顿大学、耶鲁大学、纽约大学和卡内基梅隆大学的研究人员，联合发表了...
-
如何用Stable Diffusion生成高质量的图 全网最全介绍！（附资料）
Stable Diffusion无疑是最近最火的AI绘画工具之一，所以本期给大家带来了全新Stable Diffusion 提示词资料包（文末可获取） Stable Diffusion Stable Diffusion是一个开源的图像生成AI系统,...
-
AI2发布开放语言模型OLMo 号称多项性能媲美Llama2
AI2最新发布的开放语言模型（OLMo）框架旨在推动大规模语言模型的研究和实验。通过在Hugging Face和GitHub上提供训练代码、模型和评估代码，AI2致力于让学术界和研究人员能够共同研究语言模型的科学，探索新的预训练数据子集对下游性能的影响，以...
-
谷歌的Bard在聊天机器人排名中击败了GPT-4
谷歌的Bard最近通过其Gemini Pro版本在LMSYS聊天机器人榜上超越了OpenAI的GPT-4，标志着聊天机器人领域的一次显著变革。这款更新使得Bard成为LMSYS榜上第二高分的聊天机器人，逐渐摆脱了OpenAI在聊天机器人领域的主导地位。...
-
ChatGPT is not all you need，一文看尽SOTA生成式AI模型：6大公司9大类别21个模型全回顾（三）
文章目录 ChatGPT is not all you need，一文看尽SOTA生成式AI模型：6大公司9大类别21个模型全回顾（三） Text-to-Text 模型 ChatGPT LaMDA PEER Meta AI Speech f...
-
多模态LLM多到看不过来？先看这26个SOTA模型吧
当前 AI 领域的关注重心正从大型语言模型（LLM）向多模态转移，于是乎，让 LLM 具备多模态能力的多模态大型语言模型（MM-LLM）就成了一个备受关注的研究主题。 近日，腾讯 AI Lab、京都大学和穆罕默德・本・扎耶德人工智能大学的一个研究团队发布...
-
百川智能发布千亿参数大模型，中文能力超越GPT-4！
“追上ChatGPT水平，我觉得今年内可能就能够实现，但对于GPT-4或者GPT-5，我认为可能需要3年左右的时间，应该不会低于两年。”去年4月，百川智能创始人王小川当初曾这样判断自己入局大模型赛道后的进度。就在昨天，千亿参数规模的百川大模型终于来了！...
-
GPT-4准确率最高飙升64%！斯坦福OpenAI重磅研究：全新Meta-Prompting方法让LLM当老板
当你让大模型写一首「莎士比亚十四行诗」，并以严格的韵律「ABAB CDCD EFEF GG」执行。 同时，诗中还要包含提供的3个词。 对于这么高难度的创作题，LLM在收到指令后，并不一定能够按要求做出这首诗。 正所谓，人各有所长，LLM也是如此，仅凭单...
-
未来五年AI如何改变各学科？从LLM到AI蛋白设计、医疗保健......
五年前（2019 年 1 月），《Nature Machine Intelligence》创刊。当然，就人工智能（AI）而言，五年前似乎是一个不同的时代。 1 月 24 日，Nature Machine Intelligence 杂志在《Annivers...
-
高效底座模型LLaMA
论文标题：LLaMA: Open and Efficient Foundation Language Models 论文链接：https://arxiv.org/abs/2302.13971 论文来源：Meta AI 一、概述 大型语...
-
AI4Science还是伪命题吗？两年后workshop组织者重新审视AI4Science
2021年，一群热血青年提出了要把AI4Science（AI for Science）带入机器学习顶会NeurIPS。 什么？AI4Science是一门学科吗？是不是靠着AI蹭热点？各种质疑声接踵而来。 这些质疑和不解也反映在了第一届AI4Science...
-
保姆级教程：从0到1搭建Stable Diffusion XL完整工作流进行AI绘画
Rocky Ding 公众号：WeThinkIn 写在前面 【人人都是算法专家】栏目专注于分享Rocky在AI行业中对业务/竞赛/研究/产品维度的思考与感悟。欢迎大家一起交流学习? 大家好...
-
Llama 2- Open Foundation and Fine-Tuned Chat Models＜3＞
3.4 RLHF 结果 3.4.1 基于模型的评估 评估LLMs是一个具有挑战性的开放研究问题。人类评估虽然是黄金标准，但可能会因各种 HCI 考虑因素而变得复杂（Clark 等人，2021；Gehrmann 等人，2023），并且并不总是可扩展的...
-
提示词（prompt）工程指南（五）：ChatGPT 提示工程
在本节中，我们介绍ChatGPT的最新提示工程技术，包括提示、应用、限制、论文和其他阅读资料。 完整的中文版本指南和更丰富的参考资料在 Github 和 Gitee 中，自动持续翻译更新： ? 关于提示词工程（prompt）的指南、论文、讲座、笔记...
-
生成式AI大模型对人类进化的影响
你是不是发现每天的工作都离不开ChatGPT之类的语言生成模型？离不开类似Midjourney的图像生成模型？离不开一些设计类的AI辅助工具？如果是，那说明你已经逐步被AI侵蚀了，你的创造力也正在逐渐下降，大模型正在剥夺你的创造力。 不可否认，生成式大...
-
一个开源的大型语言模型LLaMA论文简单解读，LLaMA: Open and Efficient Foundation Language Models
一个开源的大型语言模型LLaMA论文解读，LLaMA: Open and Efficient Foundation Language Models 返回论文和资料目录 1.导读 LLaMA 是 Meta AI 发布的包含 7...
-
LLaMa 原理+源码——拆解 (KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU)
原理 Vanilla Transformer 与 LLaMa 的区别 Embedding RMS Norm Rotary Positional Encodding SwiGLU Function KV-Cache Grouped Mult...
-
Agent触摸汉堡辨冷热，首次拥有类人感官！UCLA等发布3D多模态交互具身智能大模型
具身智能，是大模型未来应用的一个重要方向。 现在，大模型加持下的智能体，能够参与3D环境，不仅有了听觉视觉，还有了触觉等多种感官能力。 卧室里有什么物体，一眼辨认。 听到门铃响了，LLM便会告诉你家里来客人了。 大模型加持的NPC，在触摸桌子的香蕉后，...
-
[NLP]LLaMA与LLamMA2解读
摘要 Meta最近提出了LLaMA(开放和高效的基础语言模型 模型参数包括从7B到65B等多个版本。最值得注意的是，LLaMA-13B的性能优于GPT-3，而体积却小了10倍以上，LLaMA-65B与Chinchilla-70B和PaLM-540B具有竞...
-
免费商用 Meta 发布开源大语言模型 Llama 2
Meta 和微软深度合作，正式推出下一代开源大语言模型 Llama 2，并宣布免费提供给研究和商业使用。 Llama 2 论文地址：Llama 2: Open Foundation and Fine-Tuned Chat Models 据介...
-
[算法前沿]--005-和chatgpt一样的大模型LLaMA可以运行在pc上？
未来已来,大模型依据压缩模型的方式,可以在普通的PC上运行. LLaMA Facebook的LLaMA 模型和Georgi Gerganov 的llama.cpp的结合。 LLaMA，这是一组包含 7B 到 65B 参数的基础语言模型。我们在数万亿个令...
-
AIGC内容分享(十二)：AIGC探索之旅AIGC探索之旅
目录 前言 引言：AI时代，未来已来 AIGC简介与发展历程 早期萌芽阶段（1950s－1990s） 沉淀积累阶段（1990s－2010s） 快速发展阶段（2010s至今） 大模型与AIGC的关联 大模型概述 大模型的定义和特点 典型大...
-
Whisper与ChatGPT联手，轻松实现音频转录文本
目录 前言 一、Whisper简介 二、Whisper可用的模型和语言 三、开源 Whisper 本地转录 3.1、安装pytube库 3.2、下载音频MP4文件 3.3、安装 Whisper 库 四、在线 Whisper API 转录...
-
stable-diffusion 模型效果+prompt
摘自个人印象笔记，图不完整可查看原笔记：https://app.yinxiang.com/fx/55cda0c6-2af5-4d66-bd86-85da79c5574e Prompt运用规则及技巧...
-
可协助 AI 语言模型改善自我纠错能力，谷歌推出 BIG-Bench Mistake 数据集
IT之家 1 月 15 日消息，谷歌研究院日前使用自家 BIG-Bench 基准测试建立了一项“BIG-Bench Mistake”数据集，并利用相关数据集对市面上流行的语言模型“出错概率”及“纠错能力”进行了一系列评估研究。 谷歌研究人员表示，由于...
-
实战AI大模型：AIGC及经典模型
今天，人工智能技术的快速发展和广泛应用已经引起了大众的关注和兴趣，它不仅成为技术发展的核心驱动力，更是推动着社会生活的全方位变革。特别是作为AI重要分支的深度学习，通过不断刷新的表现力已引领并定义了一场科技革命。大型深度学习模型（简称AI大模型）以其强大的...
-
谷歌AI通过图灵测试，大模型医生来了？GPT-4竟诊断出难倒17个医生的怪病
【新智元导读】AI在医疗领域再次发光!谷歌DeepMind团队发布的全新诊断对话式AI在测试中击败医生，通过了图灵测试，再次引领医疗AI的革命。 我们需要研发对人类有益AGI的原因之一: OpenAI联创Greg Brockman的一番话点明，当前先进A...
-
大模型应用实践：AIGC探索之旅
随着OpenAI推出ChatGPT，AIGC迎来了前所未有的发展机遇。大模型技术已经不仅仅是技术趋势，而是深刻地塑造着我们交流、工作和思考的方式。 本文介绍了笔者理解的大模型和AIGC的密切联系，从历史沿革到实际应用案例，再到面临的技术挑战和伦理监管问题...
-
谷歌千人被裁引硅谷裁员潮！27家公司宣布裁员，90%大厂码农工作遭AI冲击
过去一年，AI大模型如火如荼的发展，让所有人憧憬着美好未来。 没想到2024年的开启，却是硅谷大裁员！ 大厂谷歌却是首当其冲，裁员1000多人，涉及了核心工程、谷歌助理、Pixel手机等硬件团队的人员。 截至2023年9月30日，谷歌拥有18.2万名员工...
-
Google Bard 、Bing Copilot 、Claude、文心一言的简介及与ChatGTP异同
本文详细比较了 ChatGTP、Google Bard、Bing Copilot 、 Claude 和文心一言五种文本生成式 AI 。本文共计约 3000字，预计阅读时间为 10-15分钟。 1、ChatGTP 1.1、官网：https://chat....
-
为什么人工智能如此需要资源？
截至2023年底，任何关于生成式人工智能需要多少能源的预测都是不准确的。 头条新闻倾向于猜测“人工智能需要5倍、10倍、30倍的电力”和“足够运行10万个家庭的电力”等。与此同时，数据中心新闻等专业出版物的报道称，功率密度将上升到每机架50千瓦或100千...
-
小红书搜索团队提出全新框架：验证负样本对大模型蒸馏的价值
大语言模型（LLMs）在各种推理任务上表现优异，但其黑盒属性和庞大参数量阻碍了它在实践中的广泛应用。特别是在处理复杂的数学问题时，LLMs 有时会产生错误的推理链。传统研究方法仅从正样本中迁移知识，而忽略了那些带有错误答案的合成数据。 在 AAAI 2...
-
LLMs模型速览（GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca）
文章目录 一、 GPT系列 1.1 GPTs（OpenAI，2018——2020） 1.2 InstructGPT（2022-3） 1.2.1 算法 1.2.2 损失函数 1.3 ChatGPT（2022.11.30） 1.4 ChatG...
-
Meta最新模型LLaMA详解（含部署+论文）
来源：投稿 作者：毛华庆 编辑：学姐 前言 本课程来自深度之眼《大模型——前沿论文带读训练营》公开课，部分截图来自课程视频。 文章标题：LLaMA: Open and Efficient Foundation Language Mode...
-
模型A：幸亏有你，我才不得0分，模型B：俺也一样
琳琅满目的乐高积木，通过一块又一块的叠加，可以创造出各种栩栩如生的人物、景观等，不同的乐高作品相互组合，又能为爱好者带来新的创意。 我们把思路打开一点，在大模型（LLM）爆发的当下，我们能不能像拼积木一样，把不同的模型搭建起来，而不会影响原来模型的功能，...
-
【Bard vs. GPT-4】谷歌一雪前耻！全新PaLM 2反超GPT-4，办公全家桶炸裂升级，Bard史诗进化
在人工智能领域，自然语言处理一直是一个备受关注的领域。近日，谷歌发布了全新的PaLM 2，这一新技术一经问世，就引起了广泛的关注。 【更多阅读】 Google I/O 2023 全球开发者大会 Reveal Event_禅与计算机程序设计艺术的...
-
Midjourney V6发布了，逼真画面登峰造极，不愧为最好的AI绘画
Midjourney V6昨天才说要来，下午就立马现身。速度之快，让人瞠目结舌！一系列惊艳绝伦的神奇图像纷纷爆出，光影效果简直达到了巅峰。尤其是他们主打的“你说得出，我就能画得出”。 Midjourney V6昨天下午突然发布了！Midjourney...
-
使用Google大模型Bard(PaLM)理解时间序列预测模型ARIMA
使用Bard模型理解时间序列预测模型ARIMA Q: explains ARIMA model (注释：让Bard解释下时间序列预测模型ARIMA Q: explains the AR sub model in ARIMA model, gi...
-
LLaMA模型论文《LLaMA: Open and Efficient Foundation Language Models》阅读笔记
文章目录 1. 简介 2.方法 2.1 预训练数据 2.2 网络架构 2.3 优化器 2.4 高效的实现 3.论文其余部分 4. 参考资料 1. 简介 LLaMA是meta在2023年2月开源的大模型，在这之后，很多开源模型都...
-
LLaMA, ChatGLM, BLOOM的参数高效微调实践
作者：回旋托马斯x（腾讯NLP算法工程师） 项目地址：https://zhuanlan.zhihu.com/p/635710004 1. 开源基座模型对比 大语言模型的训练分为两个阶段： （1）在海量文本语料上的无监督预训练，学习通用的语义表...
-
估值或将达1000亿美元 OpenAI 将成为仅次于 SpaceX 的第二大最有价值初创公司
据彭博社的报道，人工智能研究公司 OpenAI 正在洽谈新一轮融资，估值将达到1000亿美元或以上，这将使其成为仅次于 SpaceX 的全球第二大最有价值的初创公司。 该报道援引参与潜在融资初步讨论的投资者的话说，融资的条款、估值和时间尚未确定，并且可能会...
-
大模型微调非得依赖人类数据吗？DeepMind：用带反馈的自训练更好
如你我所见，大语言模型（LLM）正在改变深度学习的格局，在生成人类质量的文本和解决各种语言任务方面展现出了卓越的能力。虽然业界通过对人类收集的数据进行监督微调进一步提升了在具体任务上的性能，但获取高质量人类数据却面临着重大瓶颈。这对于要解决复杂问题的任务...
-
【人话版】关于“AI替代程序员“的7点碎碎念
都说AI替代这个替代那个，不用浪费时间为这种问题焦虑，因为答案已经越来越明显了... 关键是，什么时候？怎么替？。 1 设想一个场景，有个需求要用某个技术或某个框架实现，有两个程序员对这些都不是很熟。 有一个疯狂谷歌、Stackov...
-
【ChatGPT4 vs. Bard】谷歌终于能与OpenAI 打擂台了！全新PaLM 2比肩GPT-4：一部手机就可运行，精通Python等20种语言
目录 Bard 的进化 很长时间以来看到的最好的谷歌 I/O 与 GPT-4 对打的 PaLM 2...