-
ChatGPT的训练数据可以通过“偏离攻击”进行泄露
ChatGPT等大语言模型(LLM)使用来自图书、网站及其他来源的海量文本数据进行训练,通常情况下,训练它们所用的数据是一个秘密。然而,最近的一项研究揭示:它们有时可以记住并反刍训练它们所用的特定数据片段。这个现象名为“记忆”。 随后,来自谷歌Deep...
-
2024年AI趋势看这张图,LeCun:开源大模型要超越闭源
2023 年即将过去。一年以来,各式各样的大模型争相发布。当 OpenAI 和谷歌等科技巨头正在角逐时,另一方「势力」悄然崛起 —— 开源。 开源模型受到的质疑一向不少。它们是否能像专有模型一样优秀?是否能够媲美专有模型的性能?迄今为止,我们一直还只能说...
-
开源大模型超越GPT-3.5!爆火MoE实测结果出炉,网友:OpenAI越来越没护城河了
一条神秘磁力链接引爆整个AI圈,现在,正式测评结果终于来了: 首个开源MoE大模型Mixtral 8x7B,已经达到甚至超越了Llama 2 70B和GPT-3.5的水平。 (对,就是传闻中GPT-4的同款方案。) 并且由于是稀疏模型,处理每个toke...
-
467亿参数MoE追平GPT-3.5!爆火开源Mixtral模型细节首公开,中杯逼近GPT-4
今天,Mistral AI正式放出了Mixtral 8x7B的技术细节—— 在大多数基准测试中,Mixtral的表现不仅优于Llama 2 70B,而且推理速度提高了整整6倍! 尤其是,它在大多数标准基准测试上与GPT-3.5打平,甚至略胜一筹。 新开源...
-
马斯克的AI机器人说自己不能违反OpenAI使用政策,业界分析:可能是这样
12月12日消息,特斯拉和SpaceX首席执行官埃隆·马斯克(Elon Musk)旗下人工智能创企xAI最近发布了其聊天机器人Grok,但好像出了点问题。 上周五,安全测试员贾克斯·温特伯恩(Jax Winterbourne)在社交媒体平台X上发布了一...
-
神经网络是如何工作的? | 京东云技术团队
作为一名程序员,我们习惯于去了解所使用工具、中间件的底层原理,本文则旨在帮助大家了解AI模型的底层机制,让大家在学习或应用各种大模型时更加得心应手,更加适合没有AI基础的小伙伴们。 一、GPT与神经网络的关系 GPT想必大家已经耳熟能详,当我们与它...
-
LLM之Prompt(二):清华提出Prompt 对齐优化技术BPO
论文题目:《Black-Box Prompt Optimization: Aligning Large Language Models without Model Training》 论文链接:https://arxiv.org/abs/2311.041...
-
AIGC: 关于ChatGPT中的核心API调用示例
Open AI 的 api 调用示例 API的调用的文档:https://platform.openai.com/docs/api-reference/introduction ChatGPT官方提供了 Python版的包 和 Nodejs版的包...
-
代表AIGC 巅峰的ChatGPT 有哪些低成本开源方案能够复现?一张消费级显卡能不能跑出个6-7成的效果?
文章大纲 文心一言或者chatGPT 怎么回答这样的问题? 文心一言 chatGPT 低成本复现思路0:有哪些开源低成本的中文大语言模型?出乎意料的多! 低成本复现思路1:公司级别的复现,仅仅支持Linu...
-
Copilot 保姆级使用指南
大家好,我是木川 一、介绍 GitHub Copilot是 GitHub和OpenAI合作开发的一个 AI 辅助编程工具 官网地址:https://github.com/features/copilot 官方文档:https://do...
-
零一万物Yi-34B-Chat微调模型上线,登陆多个权威榜单
最近,业内众多大模型基准又迎来了一轮 “实力值” 更新。 继 11 月初零一万物发布 Yi-34B 基座模型后,Yi-34B-Chat 微调模型在 11 月 24 日开源上线 ,短时间登陆了全球多个英文、中文大模型权威榜单,再度获得了全球开发者的关注。...
-
胜率达94.08%!李开复Yi-34B最新成绩超过LLaMA2等主流大模型
近期,李开复的Yi-34B-Chat模型在多个评测中大放异彩。其94.08%的胜率超越了LLaMA2和ChatGPT等主流大模型,尤其在加州大学伯克利分校主导的LMSYS ORG排行榜中,以1102的Elo评分追平了GPT-3.5。此外,在中文SuperC...
-
直追GPT-4!李开复Yi-34B新成绩公布:94.08%的胜率超越LLaMA2等主流大模型
仅次于GPT-4,李开复零一万物Yi-34B-Chat最新成绩公布—— 在Alpaca经认证的模型类别中,以94.08%的胜率,超越LLaMA2 Chat 70B、Claude 2、ChatGPT! 图片 不仅如此,在加州大学伯克利分校主导的LMSYS...
-
昆仑万维重磅发布AIGC全系列算法与模型,领跑未来
2022年12月15日,昆仑万维在北京举行AIGC技术发布会,会上昆仑万维CEO方汉正式发布了「昆仑天工」AIGC全系列算法与模型,并宣布模型开源。「昆仑天工」旗下模型包括天工巧绘SkyPaint、天工乐府SkyMusic、天工妙笔SkyText、天工智码...
-
一个最新国内可用的免费GPT4,Midjourney绘画网站+使用教程
一、前言 ChatGPT GPT4.0,Midjourney绘画,相信对大家应该不感到陌生吧?简单来说,GPT-4技术比之前的GPT-3.5相对来说更加智能,会根据用户的要求生成多种内容甚至也可以和用户进行创作交流。 然而,GPT-4对普通用户来说都是需...
-
ChatGPT与Google Bard那个更好?
AIGC 行业最大的两个竞争对手:ChatGPT vs Google Bard! 本文介绍这两个人工智能引擎之间的技术差异。 截至目前Google Bard和ChatGPT之间最大的区别是:Bard知道ChatGPT,但ChatGPT却对Bard懵然不知。...
-
却话文心一言(Chatgpt们),存算一体真能突破AI算力“存储墙”|“能耗墙”|“编译墙”?
文心一言折戟沉沙 作为国内搜索引擎巨头玩家,百度在中文语料领域拥有大量的积累,在算力基础设施等层面也拥有优势。 但是国产化AI芯片的处境其实很难。 这不是危言耸听,也不是崇洋媚外。这不,百度文心一言初战吃瘪。...
-
Stable Diffusion 文字生成图片如何写提示词
Stable Diffusion是一种基于神经网络的技术,通过输入提示词来生成相应的图片。为了获得高质量的图片输出,您需要选择合适的提示词,并确保它们能够激发模型的想象力和创造力。 以下是一些编写提示词的建议: 确定主题:首先,确定您希望生成的图片的...
-
开源模型「幻觉」更严重,这是三元组粒度的幻觉检测套件
大模型长期以来一直存在一个致命的问题,即生成幻觉。由于数据集的复杂性,难免会包含过时和错误的信息,这使得输出质量面临着极大的挑战。过多的重复信息还可能导致大型模型产生偏见,这也算是一种形式的幻觉。如何检测和有效缓解大模型的生成幻觉问题一直是学术界的热门课...
-
【原创】AIGC之ChatGPT工作原理
AIGC是什么 AIGC - AI Generated Content (AI生成内容),对应我们的过去的主要是 UGC(User Generated Content)和 PGC(Professional user Generated Content...
-
触手可及的 GPT —— LLaMA
出品人:Towhee 技术团队 最近几个月 ChatGPT 的出现引起广泛的关注和讨论,它在许多领域中的表现都超越了人类的水平。它可以生成人类级别的语言,并且能够在不同的任务中学习和适应,让人们对人工智能的未来充满了希望和憧憬。 ChatGPT 之...
-
GitHub Copilot——AI开发人员工具
序言 近几年来GPT逐渐兴起,相信大家对ChatGPT已经耳熟能详了。GPT对我们的生活提供了非常大的便利。例如可以让GPT为我们编写报告、回答问题、写代码等等。 市场上存在许多的GPT,例如大名鼎鼎的OpenAI的ChatGPT还有百度的文心一言、阿...
-
【Prompt】7 个向 chatGPT 高效提问的方法
欢迎关注【youcans的 AIGC 学习笔记】原创作品 【Prompt】7 个向 chatGPT 高效提问的方法 0. 向 chatGPT 高效提问的方法 1. 提问方法:明确问题 2. 提问方法:简洁清晰 3. 提问方法:避免歧义 4...
-
Koala:加州大学BAIR团队使用ChatGPT蒸馏数据和公开数据集微调LLaMA模型得到
自从Meta发布LLaMA以来,围绕它开发的模型与日俱增,比如Alpaca、llama.cpp、ChatLLaMA以及Vicuna等等,相关的博客可以参考如下: 【Alpaca】斯坦福发布了一个由LLaMA 7B微调的模型Alpaca(羊驼),训练3小时...
-
OpenAI承认GPT-4变懒:暂时无法修复
对于越来越严重的GPT-4偷懒问题,OpenAI正式回应了。 还是用的ChatGPT账号。 我们已收到相关反馈!自11月11日以来没有更新过模型,所以这当然不是故意造成的。 模型行为可能是不可预测的,我们正在调查准备修复它。 也就是段时间内还修复...
-
首个开源MoE大模型发布!7Bx8个专家,离GPT-4最近的一集
“取消今晚所有计划!”,许多AI开发者决定不睡了。 只因首个开源MoE大模型刚刚由Mistral AI发布。 MoE架构全称专家混合(Mixture-of-Experts),也就是传闻中GPT-4采用的方案,可以说这是开源大模型离GPT-4最近的一集...
-
专用于手机、笔记本,Stability.ai开源ChatGPT基因的大模型
12月8日,著名开源生成式AI平台stability.ai在官网开源了,30亿参数的大语言模型StableLM Zephyr3B。 Zephyr3B专用于手机、笔记本等移动设备,主打参数小、性能强、算力消耗低的特点,可自动生成文本、总结摘要等,可与70亿、...
-
更强的Llama 2开源,可直接商用:一夜之间,大模型格局变了
已上微软 Azure,即将要上 AWS、Hugging Face。 一夜之间,大模型格局再次发生巨变。 一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题,一直不可免费商用。 今日,Meta 终于发布了大家期待...
-
OpenAI为ChatGPT与Whisper模型推出增强API,成本大降90%
自从ChatGPT发布以来,每月活跃用户估计超过1亿。2023年2月份推出优质服务ChatGPT Plus,目前微软新Bing搜索集成了ChatGPT版本,但其他用户只能在网页上注册和体验ChatGPT的效果,2023年3月1日OpenAI发布了ChatG...
-
GPT3.5 VS GPT-4写领导讲话稿,谁是最强笔杆子?
正文共 1240 字,阅读大约需要 5 分钟 文秘/公务员必备技巧,您将在5分钟后获得以下超能力: 快速生成领导讲话稿 Beezy评级 :B级 *经过简单的寻找, 大部分人能立刻掌握。主要节省时间。 推荐人 | Kim 编...
-
高考测试成绩接近满分!夸克自研大模型通过备案
快科技12月8日消息,据国内媒体报道,日前,阿里智能信息事业群自研的夸克大模型已通过备案,将陆续在通识、健康、创作等领域升级内容产品与智能工具,落地一系列 AIGC 应用。 夸克相关负责人表示,夸克大模型是面向搜索、生产力工具和资产管理助手的应用型大模型。...
-
ChatGPT在图灵测试研究中败给上世纪60年代的计算机程序 ELIZA
近日,加利福尼亚大学圣迭戈分校的研究人员进行了一项有趣的实验,将上世纪60年代的计算机程序ELIZA与现代AI聊天机器人ChatGPT进行了图灵测试比较。该研究引发了对OpenAI的尴尬评价,认为ELIZA在这一测试中表现得更为出色。 图灵测试是评估计算机...
-
2023,AIGC能赚到钱吗?
2022年,AIGC(生成式AI)是当之无愧的网红。 AI作画在各大社交平台刷屏,ChatGPT火爆国内外出尽了风头,依靠AI生成语音和表情、动作的数字人也频频露脸。2022年12月,Science杂志发布了2022年度科学十大突破,果不其...
-
视觉CV-AIGC一周最新技术精选(2023-11)
PG-Video-LLaVA: Pixel Grounding Large Video-Language Models https://github.com/mbzuai-oryx/Video-LLaVA 将基于图像的大型多模态模型(LMM)扩...
-
AI生成新春祝福海报,AIGC从“炫技”走向日常
在ChatGPT的带动下,AIGC可以说是过去一年里最火的概念。 就在临近春节的日子里,一款名为“写作蛙”的微信小程序正在悄然流行。简单输入几句祝福语,就能自动生成图文并茂的祝福海报,包括一段应景的祝福语和一张节日氛围满满的照片,让AIGC和普通网民来了...
-
商汤科技推出AI大模型智能编程助手“代码小浣熊 Raccoon”
商汤科技推出了基于大语言模型的智能编程助手 —— 代码小浣熊 Raccoon,并开放公测。 代码小浣熊支持30+ 主流编程语言和主流 IDE,可以帮助开发者提升编程效率。通过与商汤的大语言模型结合,代码小浣熊具备强大的代码生成和中文语言理解能力。用户可以在...
-
Danswer 接入 Llama 2 模型 | 免费在 Google Colab 上托管 Llama 2 API
一、前言 前面在介绍本地部署免费开源的知识库方案时,已经简单介绍过 Danswer《Danswer 快速指南:不到15分钟打造您的企业级开源知识问答系统》,它支持即插即用不同的 LLM 模型,可以很方便的将本地知识文档通过不同的连接器接入到 Danswe...
-
【大模型AIGC系列课程 2-2】大语言模型的“第二大脑”
1. 大型语言模型的不足之处 很多人使用OpenAI提供的GPT系列模型时都反馈效果不佳。其中一个主要问题是它无法回答一些简单的问题。 ● 可控性:当我们用中文问AI一些关于事实的问题时,它很容易编造虚假答案。 ● 实时性:而当你询问它最近发生的新闻事...
-
思维链提出者Jason Wei:关于大模型的6个直觉
还记得 Jason Wei 吗?这位思维链的提出者还曾共同领导了指令调优的早期工作,并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI 研...
-
思维链提出者Jason Wei:关于大模型的六个直觉
还记得 Jason Wei 吗?这位思维链的提出者还曾共同领导了指令调优的早期工作,并和 Yi Tay、Jeff Dean 等人合著了关于大模型涌现能力的论文。目前他正在 OpenAI 参与 ChatGPT 的开发工作。机器之心曾经报道过他为年轻 AI...
-
Gemini vs ChatGPT:谷歌最新的AI和ChatGPT相比,谁更强?
谷歌刚刚在其AI之旅中迈出了新的一步,推出了其最新和最强大的AI模型Gemini 1.0。 谷歌最优秀、最聪明的AI能否击败其最知名的竞争对手——AI聊天机器人ChatGPT?以下是关于机器人之战中的最新参赛者的信息。 在本文中,你将了解Gemini和...
-
大语言模型分布式训练的量化分析与优秀实践,以 GPT-175B 为例
一、Transformer 大语言模型的 SOTA 训练技术 1、大语言模型的发展背景与挑战 首先和大家分享下大语言模型的发展背景。过去的几年内,无论从数据量的维度还是从模型规模的维度,语言模型规模都扩大了非常多的数量级。随着数据量和模型规模的扩大,也...
-
OpenAI COO最新访谈:明年ChatGPT的推理能力会更强,目标惠及所有人
ChatGPT推出已满一周年,目前每周活跃用户约1亿,超过92%的财富500强公司都在使用ChatGPT。但最近几周,OpenAI经历了过山车式的人事变动,首席执行官Sam Altman被董事会罢免后又回归,宣布组建了新的董事会。 美国媒体CNBC在Ope...
-
马斯克的人工智能初创公司 xAI 正在寻求高达 10 亿美元的投资
X.AI,一家由埃隆·马斯克创立的人工智能初创公司,已向美国证券交易委员会(SEC)提交文件,计划通过一次股权发行筹集高达 10 亿美元。 根据文件,该公司已经从四名投资者那里筹集了近 1.35 亿美元,首次出售发生在 11 月 29 日,并且已经有「具...
-
Meta 的LLaMA是 GPT的竞争对手,如何在 M1 Mac 上使用 LLaMA
目录 第 1 步:下载模型 第 2 步:安装依赖 第 3 步:编译 LLaMA CPP 第 4 步:转换模型 Step5:运行模型 语言模型大战 随着人们对人工智能及其在日常生活中的应用越来越感兴趣,Meta 的 LLaMA、OpenAI 的 G...
-
七月论文审稿GPT第2版:从Meta Nougat、GPT4审稿到Mistral、LongLora Llama
前言 如此前这篇文章《学术论文GPT的源码解读与微调:从chatpaper、gpt_academic到七月论文审稿GPT》中的第三部分所述,对于论文的摘要/总结、对话、翻译、语法检查而言,市面上的学术论文GPT的效果虽暂未有多好,可至少还过得去,而如果涉...
-
关于语言模型私有化部署的讨论 | AIGC实践
上周在与TC同行关于AIGC实践的线上交流中,大家普遍比较关心的一个实践切入点是:语言模型的私有化部署——简单来说,就是在企业内部,部署一个属于自己的“ChatGPT”,对于本行业/专业知识,以及企业独有的产品和技术信息有充分的了解,并且提供用户接口...
-
颠覆Transformer霸权!CMU普林斯顿推Mamba新架构,解决致命bug推理速度暴增5倍
深度学习进入新纪元,Transformer的霸主地位,要被掀翻了? 2017年6月12日横空出世,让NLP直接变天,制霸自然语言领域多年的Transformer,终于要被新的架构打破垄断了。 Transformer虽强大,却有一个致命的bug:核心注意力...
-
GPT-4 未通过图灵测试,GPT-3.5 还败给六十年前的老 AI 系统,最新研究出炉!
过去一年间,能说会道的ChatGPT、最新的 GPT-4大模型,其能力也已超乎很多人的想象,一场由 OpenAI 引领推动的 AIGC 浪潮席卷全球各大科技公司。但是从学术研究的角度来看,其表现力距离人类智能究竟还有多远? 近日,一篇由加州大学圣迭戈分校的...
-
OpenAI的首席运营官谈论ChatGPT的发布、开发人员日和奥特曼的想法
OpenAI的首席运营官Brad Lightcap在接受记者采访时表示:“如果你知道奥特曼,他喜欢在一个话题上快速切换,所以我们在一个话题上花了这么多时间意味着这件事很重要。这是一场辩论——人们并不100%确定这是正确的事情,或者是值得我们花时间...