-
谷歌“窃取”GPT-3.5模型关键信息:成本低至150元,调用API即可得手
谷歌最新研究揭示了一种攻击大型语言模型的方法,成功窃取了OpenAI GPT-3.5-turbo模型的关键信息。根据谷歌的声明,他们不仅还原了OpenAI大模型的整个投影矩阵,还获得了确切的隐藏维度大小,而这一切只需不到2000次巧妙的API查询,成本低至...
-
仅一行命令本地 CPU 环境快速上手 Google 开源大模型 Gemma
Google Gemma 是什么? 2月底 Google 发布的 Gemma 相比自家的 Gemini 更加轻量级,不仅可以在笔记本电脑上运行,而且还免费可商用,支持中文,相比其他开源在各个方面都占了上风。科技巨头出品、领先地位、全面对外开放、免费可商用...
-
Sora和ChatGPT,文心一言,通义千问,都是AI模型,它们有什么不同点和相同点?
为什么从2月14日开始,sora这个模型,很多人就开始炒作,甚至有人已经开始收学费,一天干到200万利润,这简直不敢相信。那到,Sora和ChatGPT,文心一言,通义千问,都是AI模型,它们有什么不同点和相同点? ChatGPT:ChatGPT是由Op...
-
关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答
文章目录 关于大语言模型LLM相关的数据集、预训练模型、提示词、微调的文心一言问答 先总结一下 Q:LLM模型预训练前与提示词关系,LLM模型预训练后与提示词关系 Q:预训练用的数据集与提示词有什么异同 Q:为什么我看到的数据集结构和提示词结...
-
【AIGC调研系列】inflection-2.5与其他模型相比的优势和劣势
Inflection -2.5作为一款升级的内部模型,其与其他模型相比的优势主要体现在以下几个方面: 性能提升:Inflection -2.5被认为是世界上最好的语言模型之一,其性能可与GPT-4、Gemini等世界领先的大型语言模型相媲美[1]。这...
-
大模型在复杂推理任务上潜力如何?多智能体互动框架ThinkThrice玩转剧本杀
剧本杀是一种广受欢迎的多角色扮演侦探游戏,要求玩家扮演不同的角色。通过阅读角色文本、理解各自的故事、搜集线索、以及逻辑推理,玩家们共同努力揭开谜团。游戏角色通常被分为平民和凶手两大类:平民的目标是找出隐藏在他们中间的凶手,而凶手则尽力隐藏自己的身份,避免...
-
挑战OpenAI的新模型免费上线,40%计算量性能逼近GPT-4
本周四,美国 AI 创业公司 Inflection AI 正式发布新一代大语言模型 Inflection-2.5。 据介绍,Inflection-2.5 将强大的 LLM 能力与 Inflection 标志性的「同理心微调」结合在一起,兼具高情商与高智商...
-
前谷歌大佬离职创业,不到一年造出GPT3.5和Gemini Pro,惨痛忠告:GPU简直菜鸡,就像是买彩票!
作者 | Yi Tay 编译 | 云昭 出品 | 51CTO技术栈(微信号:blog51cto) 你敢相信吗?一位前谷歌大佬,离职成立公司,不到一年,从头训练出了“GPT3.5”/“Gemini Pro”,注意,后者是多模态大模型! 本文主人公Y...
-
神经网络之父Hinton最新公开演讲:数字智能会取代生物智能吗?
Geoffrey Hinton教授,人称“人工智能教父”,他是英国皇家学会院士(FRS ,也是加拿大皇家学会院士( FRSC 和加拿大国家勋章(CC 获得者。 牛津大学于2024年2月19日在谢尔顿剧院举办了年度Romanes讲座,Geoffrey Hi...
-
联合国教科文组织:由OpenAI和Meta支持的AI工具存在性别歧视内容
联合国教科文组织发布的研究报告指出,由OpenAI和Meta算法推动的全球最广泛使用的人工智能(AI)工具存在性别歧视现象。该研究中,专家评估了两种算法以及OpenAI的GPT-2和GPT-3.5,这两者分别是人们熟知的聊天机器人ChatGPT的免费版本的...
-
「还是谷歌好」,离职创业一年,我才发现训练大模型有这么多坑
如何在不到一年的时间里创办一家公司、筹集资金、购买芯片,并搭建出追赶 Gemini pro/GPT 3.5 的 LLM? 很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇,但真正走完「从零开始」这一流程的人很少。我们普遍认为,储备技术人才是前提...
-
SAP公布大量生成式AI新功能 增强Datasphere平台
SAP正在推出大量的生成式AI新功能,并且这些功能将很快在SAP Datasphere平台中提供。 SAP表示,这些更新功能将使用户能够更直观地与他们的业务数据进行交互,有助于推动更智能的业务转型。新功能包括,帮助用户自动执行各种数据分析任务的copi...
-
谷歌云数据库增加更多人工智能功能
谷歌云正在加强其分析和事务数据库,包括BigQuery, AlloyDB和Spanner,旨在推动其客户生成人工智能应用程序的开发。 BigQuery是谷歌云的顶级数据库,用于支持分析和人工智能工作负载,它开发了几项人工智能增强功能。首先,该公司推出了...
-
AIGC 实战:如何使用 Ollama 开发自定义的大模型(LLM)
虽然 Ollama 提供了运行和交互式使用大型语言模型(LLM)的功能,但从头开始创建完全定制化的 LLM 需要 Ollama 之外的其他工具和专业知识。然而,Ollama 可以通过微调在定制过程中发挥作用。以下是细分说明: 预训练模型选择: Oll...
-
向英伟达发起挑战的Groq是什么来头?简单科普新型AI芯片LPU
在如今的人工智能领域,「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU,连 OpenAI 都不能轻易升级 ChatGPT。 不过最近,GPU 的地位也在经受挑战:一家名为 Groq 的初创公司开发出了一种新的 AI 处理器...
-
使用直接偏好优化策略微调Mistral-7b模型
译者 | 朱先忠 审校 | 重楼 引言 通常,经过预训练的大型语言模型(LLM)只能执行下一个标记预测,这使其无法回答问题。这就解释了为什么这些基本模型还需要根据成对的指令和答案作进一步微调,最终才能够充当真正有用的人工助理。然而,这个过程仍然可能存在...
-
老黄最新专访:芯片短缺难以结束,下个Transformer已经出现
英伟达的GPU正在吞噬这个世界。 科技公司对英伟达的超级计算GPU有着近乎无尽的需求。 不再是那个只为游戏显卡提供图形渲染服务的英伟达,现在的英伟达利用他的GPU开创了一个新时代: 人类能够与计算机对话,计算机能够回应人类。而最终,计算机甚至可能超越人类...
-
7B模型超越GPT4-V!港科大等发布「图推理问答」数据集GITQA:视觉图可提升推理能力
图神经网络(GNNs)擅长利用图的结构信息进行推理,但它们通常需要特定于领域的调优才能达到峰值性能,这阻碍了它们在不同任务之间的泛化性。 相比之下,基于大型语言模型(LLM)的图推理具有更强的跨任务和泛化能力,但它们在特定任务上的性能往往逊色于专用的图...
-
只需少量计算和内存资源即可运行的小型 Llama 大模型
背景介绍 在当今这个数据爆炸的时代,语言模型的训练变得越来越复杂和困难。我们需要巨大的计算资源和时间来训练一个高效的语言模型。然而,这对许多人来说并不现实。与此同时,我们也遇到了如何在有限的内存和计算资源中使用大型语言模型的挑战,特别是在边缘设备上。 今...
-
清华、哈工大提出OneBit方法:可把大模型压缩到1bit 保持 83% 性能
近期,清华大学和哈尔滨工业大学联合发布了一篇论文,成功将大模型压缩到1bit,仍保持83% 的性能。这一成果标志着量化模型领域的一次重大突破。过去,2bit 以下的量化一直是研究人员难以逾越的障碍,而这次的1bit 量化尝试,引起了国内外学术界的广泛关注。...
-
如何基于 Arthur Bench 进行 LLM 评估 ?
Hello folks,我是 Luga,今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 一、传统文本评估面临的挑战 近年来,随着大型语言模型(LLM 的快速发展和改进,传统的文本评估方法在某些方面可能已经不再适用。在文本评估...
-
复旦研发出“眸思”大模型:助力视障者安全出行
快科技3月3日消息,据复旦大学官微发文,复旦大学自然语言处理实验室基于多模态大模型复旦眸思”(MouSi)为视障者量身打造的听见世界”APP上线,将成为视障人士的生活助手与智能管家。 2023年上半年,复旦大学自然语言处理实验室发布了开发MOSS对话式大型...
-
【AIGC大模型】Sora--首个大型视频生成模型
Sora--首个大型视频生成模型 胡锡进于2024年2月20日认为:台当局怂了 新的改变 世界模拟器 视觉数据转换 视频压缩 时空补丁(Spacetime Laten Patches) 视频生成扩展变压器 算法和模型架构 结语 胡锡...
-
十分钟读完 Meta提出Llama 2模型的经典论文:Llama 2: Open Foundation and Fine-Tuned Chat Models
超越GPT-3:Meta AI发布新一代开源人工智能对话大模型Llama 2 引言:介绍 Llama 2 的发布背景和其在对话用例中的优化。 随着人工智能技术的飞速发展,大型语言模型(LLMs)已经成为了人类智能助手的代表,它们在需要专业知识的复杂推理...
-
企业如何管理生成式人工智能风险?
去年,生成式人工智能的采用率急剧上升。虽然该技术有望实现创新和生产力,但数据安全和泄露的风险却困扰着组织。与生成式人工智能相关的一些风险包括数据滥用、数据泄露和数据中毒。这是因为生成式人工智能是一种大型语言模型(LLM ,它依赖于大量数据来产生输出。随...
-
微软与前谷歌CEO支持AI对齐初创公司Synth Labs,让AI系统按人类预期工作
在人工智能软件领域,系统并不总是按照其开发者的意愿行动,这一潜在危险已经引起了一些科技巨头的关注。近期,微软与前谷歌CEO埃里克·施密特(Eric Schmidt)联手支持了一家名为Synth Labs的初创公司,致力于解决这一对齐问题。 Synth L...
-
英伟达CEO呼吁建立主权AI基础设施
人工智能(AI 热潮将英伟达(Nvidia 的股价推至历史新高。英伟达的GPU是支持人工智能工作负载的重要硬件。该公司的崛起也使得英伟达创始人兼首席执行官黄仁勋在人工智能市场上的影响力更大。 在最近的迪拜世界政府峰会上,黄仁勋分享了他的观点,即每个国家...
-
参议员表示 AI 监管必要以解决潜在风险
美国参议员 Mark Warner(来自弗吉尼亚州)和 Todd Young(来自印第安纳州 在华盛顿特区约翰斯・霍普金斯大学布隆伯格中心举行的讨论会上,就人工智能政策展开了一场广泛的对话。他们在这场由 Punchbowl News 创始人兼首席执行官 A...
-
基本概念:什么是ChatGPT和AIGC
1.背景介绍 1. 背景介绍 自2012年的AlphaGo胜利以来,人工智能(AI 技术的进步速度逐年加快,尤其是自然语言处理(NLP 领域的突破性进展。ChatGPT和AIGC是近年来引起广泛关注的两个AI技术。本文将深入探讨这两个技术的核...
-
研究人员开发AI攻击方法BEAST:可在一分钟内绕过LLM防护栏
研究人员在美国马里兰大学成功开发了一种高效的方法,可以在一分钟内诱导大型语言模型(LLM)产生有害反应,他们将这一技术命名为BEAST(BEAm Search-based adversarial aTtack 。BEAST技术利用Nvidia RTX A6...
-
苹果今年将发力生成式AI领域 库克:具有革命性发展潜力
在今日的股东大会上,苹果CEO蒂姆·库克宣布,公司高度重视生成式人工智能(AIGC),并认为它具有革命性的发展潜力,为此,苹果正积极在这一领域进行大规模的投资。 库克强调,苹果坚信AIGC将在提高用户生产力和解决问题等方面为用户带来前所未有的变革性机会。他...
-
文心一言 —— 中国的语言大模型
引言 在人工智能和自然语言处理领域,语言模型的发展正在引领一场技术革命。在这场革命中,中国的文心一言作为一颗新星,正以其独特的能力和特性引起广泛关注。 文心一言的背景 文心一言是中国自主开发的大型语言模型,它集合了先进的机器学习技术和大量的语料数据,...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了,并且开源可商用,这下开源社区又要变天了。快速...
-
亚马逊云宣布Mistral AI 模型即将登陆 Amazon Bedrock
Mistral AI 是一家总部位于法国的人工智能公司,专注于将公开可用的模型提升至最先进的性能水平。他们主要致力于构建快速而安全的大型语言模型(LLM),可用于各种任务,如聊天机器人和代码生成。 亚马逊云科技很高兴地宣布,Mistral AI 的两种高性...
-
你的下一个办公室助理会是机器人吗?
...
-
微软发布PyRIT,用于识别生成式AI系统中的风险
2月26日消息,据外媒报道,微软发布了一个名为PyRIT的开放访问自动化框架,用于主动识别生成式AI系统中的风险。 微软人工智能红色团队负责人Ram Shankar Siva Kumar表示,红色团队工具旨在“使全球每个组织都能利用最新的人工智能进步进...
-
研究:近一半热门新闻网站屏蔽了 OpenAI 爬虫
2 月 27 日消息,一项由路透社研究所进行的研究表明,截至 2023 年底,全球 10 个国家的热门新闻网站中,近一半 (48% 屏蔽了 OpenAI 的爬虫(Crawler),而近四分之一 (24% 屏蔽了谷歌的 AI 爬虫。 据IT之家了解,...
-
ChatMusician官网体验入口 AI音乐生成语言模型在线使用地址
ChatMusician是一个开源的大型语言模型(LLM),它通过持续的预训练和微调,集成了音乐能力。该模型基于文本兼容的音乐表示法(ABC记谱法),将音乐视为第二语言。ChatMusician能够在不依赖外部多模态神经结构或分词器的情况下,理解和生成音乐...
-
VAD v2端到端SOTA | 远超DriveMLM等方法(地平线)
从大规模驾驶演示中学习类似人类的驾驶策略是很有前途的,但规划的不确定性和非确定性本质使得这一任务充满挑战。在这项工作中,为了应对不确定性问题,作者提出了VADv2,一个基于概率规划的端到端驾驶模型。VADv2以流方式输入多视角图像序列,将传感器数据转换为...
-
基于AI开发畅销书的自助出版平台Inkitt融资3700万美元
自助出版平台Inkitt近日成功融资3,700万美元,由Khosla Ventures领投,总估值达4亿美元。该平台旨在通过人工智能(AI)将用户创作的故事转化为畅销书,并以此为基础构建21世纪的“迪士尼”。 Inkitt的应用允许用户自主出版故事,然后...
-
IBM CEO致合作伙伴:让我们“一起在AI上赚很多钱”
IBM首席执行官Arvind Krishna在接受CRN采访时预测称,今年IBM解决方案提供商将努力建立客户对AI的信任并扩展早期用例。 他说:“这是行业中一个超级激动人心的时刻。我们迎来了生成式AI的新浪潮,这将为我们的客户创造商业价值,让他们有信心...
-
逻辑推理大翻车!GPT-4、Gemini被曝重大缺陷,LLM严重降智
近期,谷歌DeepMind和斯坦福的研究人员发现大型语言模型在处理逻辑推理任务时,前提信息的呈现顺序对其表现具有决定性影响。 在逻辑推理和数学问题中,前提按照逻辑自然顺序排列时,模型表现更佳。对于大型语言模型,改变前提叙述顺序会导致性能大幅下降,尤其是在添...
-
人工智能和数据中心:为什么人工智能如此需要资源
到2023年底,对生成式人工智能将需要多少能源的任何预测都是不准确的。例如,头条新闻倾向于猜测“人工智能需要5倍、10倍、30倍的电力”和“足够运行10万户家庭的电力”等。与此同时,数据中心新闻等专业出版物的报道称,每机架的功率密度将上升到50kW或1...
-
AI崛起加剧数据中心能源消耗,谷歌新技术或帮助减排
2月26日消息,科技巨头正竞相加紧努力拆除被称为“碳定时炸弹”的隐患,随着人工智能(AI)技术的兴起,它们在全球建立的数据中心的能源消耗也急剧上升,进而导致的碳排放问题日渐严重。 因此,谷歌引领的一项创新技术逐步受到重视:该技术通过软件在全球太阳能和风...
-
掌握商业人工智能:使用 RAG 和 CRAG 构建企业级人工智能平台
通过我们的指南了解如何为您的企业释放人工智能的力量。了解 RAG 和 CRAG 集成、矢量嵌入、LLM 和提示工程。非常适合负责任地拥抱人工智能的企业。 为企业打造AI-Ready平台 企业在引入生成式人工智能时,会遇到许多需要战略管理的业务风险。这...
-
AIGC专题:生成式人工智能在能源和材料领域中的新机遇
今天分享的是AIGC系列深度研究报告:《AIGC专题:生成式人工智能在能源和材料领域中的新机遇》。 (报告出品方:McKinsey & Company) 报告共计:11页 来源:人工智能学派 利用人工智能的力量 Gen Al在加速增长和降...
-
LLaMA 2 - 你所需要的一切资源
摘录 关于 LLaMA 2 的全部资源,如何去测试、训练并部署它。 LLaMA 2 是一个由 Meta 开发的大型语言模型,是 LLaMA 1 的继任者。LLaMA 2 可通过 AWS、Hugging Face 等提供商获取,...
-
数学建模比赛中,使用大语言模型如chatgpt、文心一言该如何写Prompt(提示)?
在大型语言模型中,"prompt"(中文常译为“提示”或“引导”)是指提供给模型的输入文本,用于指示或引导模型产生特定的输出。它的作用主要是告诉模型用户想要得到什么样的信息或完成什么样的任务。 例如,在使用大型语言模型进行文本生成时,你可以输入一个问题、...
-
AIGC从入门到入坑01(初学者适用版)
AIGC从入门到入坑系列文章 AIGC系列第一章--简述 AIGC从入门到入坑系列文章 前言 学习路径 AI时间线 人工智能简史 AI绘画简史 AI名词解释 小白从0-1必看5篇资料 初学者进阶必读8篇资料 总结 前...
-
借助知识图谱和Llama-Index实现基于大模型的RAG
幻觉是在处理大型语言模型(LLMs)时常见的问题。LLMs生成流畅连贯的文本,但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源,如提供事实信息的数据库或知识图谱。 矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数...