-
图模型也要大？清华朱文武团队有这样一些观点
在大模型时代，图机器学习面临什么样的机遇和挑战？是否存在，并该如何发展图的大模型？针对这一问题，清华大学朱文武教授团队首次提出图大模型（Large Graph Model）概念，系统总结并梳理了图大模型相关的概念、挑战和应用；进一步围绕动态性和可解释性，...
-
Meta AI研究负责人倡导开源许可制度变革
Meta公司最近发布的大型语言模型Llama2备受争议，因其并未完全满足开源倡议的要求。尽管Llama2相对较为开放和免费，但在开源软件领域，一些人仍对该公司的开放性持有异议。 具体来说，Meta公司的许可协议使Llama2对许多人免费，但它仍然是有限的，...
-
ChatGPT、Llama-2等大模型，能推算出你的隐私数据！
ChatGPT等大语言模型的推理能力有多强大?通过你发过的帖子或部分隐私数据，就能推算出你的住址、年龄、性别、职业、收入等隐私数据。 瑞士联邦理工学院通过搜集并手工标注了包含520个Reddit（知名论坛）用户的个人资料真实数据集PersonalReddi...
-
ChatGPT再进化！全工具All in One，网友：多少创业项目死于今天
一夜之间ChatGPT悄悄大更新，一众创业项目要被创飞了！ 现在，它不仅支持上传PDF等各种你想分析的文件。 还能在一个对话里，自动切换使用各种工具，Dall·E、浏览器、数据分析等能一条龙使用了。 这一更新，让不少人惊呼：许多创业项目死于今天。...
-
ChatGPT再进化，全工具All in One，网友：多少创业项目死于今天
一夜之间ChatGPT悄悄大更新，一众创业项目要被创飞了! 现在，它不仅支持上传PDF等各种你想分析的文件。 还能在一个对话里，自动切换使用各种工具，Dall·E、浏览器、数据分析等能一条龙使用了。 这一更新，让不少人惊呼:许多创业项目死于今天。 英伟...
-
北大团队：诱导大模型“幻觉”只需一串乱码！大小羊驼全中招
北大团队最新研究发现： 随机token都能诱发大模型出现幻觉！ 比如喂给大模型（Vicuna-7B）一段“乱码”，它就莫名其妙弄错了历史常识。 或者是简单修改提示词，大模型也会掉入陷阱。 Baichuan2-7B、InternLM-7B、ChatGL...
-
最好7B模型再易主！打败700亿LLaMA2，苹果电脑就能跑
花500刀“调教”的70亿参数模型，打败700亿参数的Llama 2！ 且笔记本就能轻松跑，效果媲美ChatGPT。 重点：免费、不要钱。 HuggingFace H4团队打造的开源模型Zephyr-7B，鲨疯了。 其底层模型是前段时间爆火、由有着“欧...
-
马克·扎克伯格的 Meta 发布 Llama2 以针对 Sam Altman 及 OpenAI 展开竞争
自 5 月份在白宫举行的顶级 AI CEO 聚会上，Sam Altman 与 Satya Nadella 和 Sundar Pichai 并排而坐以来，马克·扎克伯格的缺席成为了不容忽视的事实。 在 Alphabet、微软和 OpenAI 的参与下，扎...
-
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
大型语言模型 (LLMs 在各种自然语言任务中展现出了卓越的性能，但是由于训练和推理大参数量模型需要大量的计算资源，导致高昂的成本，将大语言模型应用在专业领域中仍存在诸多现实问题。因此，北理团队先从轻量级别模型入手，最大程度发挥数据和模型的优势，立足更...
-
RLHF与AlphaGo核心技术强强联合，UW/Meta让文本生成能力再上新台阶
在一项最新的研究中，来自 UW 和 Meta 的研究者提出了一种新的解码算法，将 AlphaGo 采用的蒙特卡洛树搜索算法（Monte-Carlo Tree Search, MCTS）应用到经过近端策略优化（Proximal Policy Optimiz...
-
ChatGPT企业版，基本凉了！
撰稿 | 言征 出品 | 51CTO技术栈（微信号：blog51cto） OpenAI 财报发布了，年化营收达到了13亿美元，平均每月营收超1亿美元，但或许创始人 Sam Altman，高兴不起来。 因为，大部分收入的信心还是用户端。据现在客户的反馈看，...
-
到2025年，AI技术将引领全球达2000亿美元投资热潮
在全球范围内，人工智能（AI）正迎来数十亿美元的投资热潮，各大科技巨头如Meta、Microsoft、Amazon等公司积极参与其中。根据高盛的估计，到2025年，全球将有多达2000亿美元的资金流向AI领域，预计将彻底改变商业和社会的面貌。 然而，这场A...
-
骁龙8 Gen3正式发布：8K240手游成真！AI无处不在性能飙升98％
快科技夏威夷高通骁龙技术峰会2023现场报道： 一年一度，它又来了！但是今年，它来得更早一些！ 北京时间10月24日，高通正式发布了新一代旗舰移动平台骁龙8 Gen3”(第三代骁龙8 ，安卓旗舰手机一年一度的新平台登场。 在激烈的残酷竞争下，在AI时代浪潮...
-
4k窗口长度就能读长文，陈丹琦高徒联手Meta推出大模型记忆力增强新方法
只有4k窗口长度的大模型，也能阅读大段文本了！ 普林斯顿的华人博士生的一项最新成果，成功“突破”了大模型窗口长度的限制。 不仅能回答各种问题，而且整个实现的过程全靠prompt就能完成，不需要任何的额外训练。 研究团队创建了一种名为MemWalker的...
-
你的GPU能跑Llama 2等大模型吗？用这个开源项目上手测一测
在算力为王的时代，你的 GPU 可以顺畅的运行大模型（LLM）吗？ 对于这一问题，很多人都难以给出确切的回答，不知该如何计算 GPU 内存。因为查看 GPU 可以处理哪些 LLM 并不像查看模型大小那么容易，在推理期间（KV 缓存）模型会占用大量内存，例...
-
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树
到底什么才是LLM长上下文模型的终极解决方案？ 最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。 论文地址：https://arxiv.org/abs/2310.05029...
-
HiLM-D：自动驾驶多模态大语言模型玩出花了
本文经自动驾驶之心公众号授权转载，转载请联系出处。 笔者个人的一些思考 不得不说，最近大模型在学术界火起来了，基于图文匹配的CLIP预训练模型成为近年来在多模态研究领域的经典之作。除此之外，大语言模型的蓬勃发展也进一步为多模态带来了性能提升。自动驾驶领...
-
高通发布骁龙8 Gen 3 专注于生成式AI功能
根据mspoweruser.com获得的内部文件泄漏信息显示，高通计划发布其最新的旗舰移动平台，骁龙8Gen3，专为生成式人工智能而设计。 图源备注：图片由AI生成，图片授权服务商Midjourney 根据文件，这款新芯片可以运行拥有超过100亿参数的A...
-
一文读懂全新深度学习库Rust Burn
一、什么是Rust Burn？ Rust Burn是一个全新的深度学习框架，完全使用Rust编程语言编写。创建这个新框架而不是使用现有框架（如PyTorch或TensorFlow）的动机是为了构建一个适应多种用户需求的通用框架，包括研究人员、机器学习工程...
-
百川VS智谱，谁是中国的OpenAI？
6月初，外媒曾发出了“谁是中国的OpenAI”的拷问，经历了大模型创业潮之后，大浪淘沙，最终留下的不过寥寥数人。 清华大学几个十字路口外的赛尔大厦，是明星创业者王小川的百川智能，搜狐网络大厦是学院派出身的智谱AI。二者在经历了市场的检验后，成为了最有希望的...
-
斯坦福大学发布 AI 基础模型“透明度指标”，Llama 2 以 54% 居首但“不及格”
10 月 20 日消息，斯坦福大学日前发布了 AI 基础模型“透明度指标”，其中显示指标最高的是 Meta 的 Lama 2，但相关“透明度”也只有 54%，因此研究人员认为，市面上几乎所有 AI 模型，都“缺乏透明度”。 据悉，这一研究是由 HAI...
-
一段话让模型自曝「系统提示词」！ChatGPT、Bing无一幸免
ChatGPT语音对话，发布即惊艳全网—— 凭借表达自然流畅，嘎嘎乱杀一众AI对话产品。 而现在，其背后秘诀——系统提示词居然被人扒了出来！ 原来对话过程中，ChatGPT要遵循下面这么多规则： 使用自然、对话性强、清晰易懂的语言，比如短句、简单词...
-
LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数
只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！ 还是在只有70亿参数的LLaMA 2上。 要知道，即使是当前最火的Claude 2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不...
-
参数少近一半，性能逼近谷歌Minerva，又一个数学大模型开源了
如今，在各种文本混合数据上训练出来的语言模型会显示出非常通用的语言理解和生成能力，可以作为基础模型适应各种应用。开放式对话或指令跟踪等应用要求在整个自然文本分布中实现均衡的性能，因此更倾向于通用模型。 不过如果想要在某一领域（如医学、金融或科学）内最大限...
-
“大模型+”应用落地时，大模型微调如何兼顾效果、成本和可控性？
10月17日，老牌科技巨头百度“文心大模型4.0”的发布，让原本暗潮汹涌的百模大战再次白热化。伴随着越来越多基础大模型迭代速度的日益加快，“大模型+”的应用拐点正在到来。纵观全球市场，预计到2030年，AIGC市场规模将超过万亿人民币，巨大的市场潜力，吸...
-
斯坦福公开十大主流模型透明度！Llama 2位列第一，GPT-4透明差，LeCun炮轰：盈利完全理解
GPT-4、Llama等基础模型（FM）相继诞生，已成为当前生成式AI的引擎。 尽管这些FM的社会影响力不断增大，但透明度反而下降。 GPT-4官宣后，OpenAI公布的技术报告中，并未提及关键信息。包括谷歌PaLM，以及其他闭源模型也是如此。 每个人...