-
比Transformer更好，无Attention、MLPs的BERT、GPT反而更强了
从 BERT、GPT 和 Flan-T5 等语言模型到 SAM 和 Stable Diffusion 等图像模型，Transformer 正以锐不可当之势席卷这个世界，但人们也不禁会问：Transformer 是唯一选择吗？ 斯坦福大学和纽约州立大学布法...
-
AI智能超越人类终解开！李飞飞高徒新作破圈，5万个合成数据碾压人类示例，备咖啡动作超丝滑
AI巨佬Geoffrey Hinton称，「科技公司们正在未来18个月内，要使用比现在GPT-4多100倍的算力训练新模型」。 更大参数的模型，对算力需求巨大的同时，对数据也提出了更高的要求。 但是，更多的高质量数据该从何来？ 英伟达高级科学家Jim F...
-
最好7B模型再易主！打败700亿LLaMA2，苹果电脑就能跑
花500刀“调教”的70亿参数模型，打败700亿参数的Llama 2！ 且笔记本就能轻松跑，效果媲美ChatGPT。 重点：免费、不要钱。 HuggingFace H4团队打造的开源模型Zephyr-7B，鲨疯了。 其底层模型是前段时间爆火、由有着“欧...
-
正面硬刚OpenAI！智谱AI推出第三代基座模型，功能对标GPT-4V，代码解释器随便玩
国产大模型估值最高创企，为何是智谱AI? 仅用4个月时间，这家公司就甩出最新成绩证明了自己—— 自研大模型ChatGLM3，不止是底层架构，就连模型功能都进行了全方位大升级。 性能上，最直观的表现就是“疯狂屠榜”，所有50个大模型公开性能测评数据集中，拿下...
-
小模型如何比肩大模型，北理工发布明德大模型MindLLM，小模型潜力巨大
大型语言模型 (LLMs 在各种自然语言任务中展现出了卓越的性能，但是由于训练和推理大参数量模型需要大量的计算资源，导致高昂的成本，将大语言模型应用在专业领域中仍存在诸多现实问题。因此，北理团队先从轻量级别模型入手，最大程度发挥数据和模型的优势，立足更...
-
谷歌20亿美元砸向Anthropic：大模型军备竞赛升级
据华尔街日报、路透社等媒体报道，Alphabet 旗下谷歌公司发言人本周五表示，该公司已同意向人工智能公司 Anthropic 投资至多 20 亿美元（约合 146 亿人民币）。 该发言人表示，该公司已向这个 OpenAI 的重要竞争对手预先投资 5...
-
港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。 图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图...
-
与OpenAI竞争？Jina AI推出开源8K文本嵌入模型
10月27日消息，外媒报道称，人工智能公司Jina AI日前宣布推出其第二代文本嵌入模型“Jina-embeddings-v2”。这个开源模型支持8K(8192个token 的上下文长度，使其在大规模文本嵌入基准(MTEB 排行榜和功能方面与OpenA...
-
智谱AI推出第三代基座大模型 上线新一代「智谱清言」
智谱AI宣布于2023中国计算机大会（CNCC）上，推出了全自研的第三代基座大模型 ChatGLM3及相关系列产品。 据介绍，今年以来，这是智谱AI第三次对ChatGLM基座模型进行了深度优化，拥有了更强大的功能。智谱AI采用了独创的多阶段增强预训练方法，...
-
RLHF与AlphaGo核心技术强强联合，UW/Meta让文本生成能力再上新台阶
在一项最新的研究中，来自 UW 和 Meta 的研究者提出了一种新的解码算法，将 AlphaGo 采用的蒙特卡洛树搜索算法（Monte-Carlo Tree Search, MCTS）应用到经过近端策略优化（Proximal Policy Optimiz...
-
腾讯混元大模型升级：新增“文生图”，代码能力大幅提升
10月26日，腾讯宣布，腾讯混元大模型迎来全新升级，并正式对外开放“文生图”功能，展示了其在图像自动生成领域的领先能力。升级后的腾讯混元中文能力整体超过GPT3.5，代码能力大幅提升20%，达到业界领先水平。 作为实用级的通用大模型，腾讯混元大模型的应用...
-
Stability AI发布两款日语语言模型
Stability AI Japan最近发布了两款令人瞩目的日语语言模型，分别命名为“Japanese Stable LM3B-4E1T”和“Japanese Stable LM Gamma7B”。 前者具有大约30亿参数，而后者则拥有高达70亿参数的庞大...
-
最高20倍！压缩ChatGPT等模型文本提示，极大节省AI算力
在长文本场景中，ChatGPT等大语言模型经常面临更高算力成本、更长的延迟以及更差的性能。为了解决这三大难题，微软开源了LongLLMLingua。 据悉，LongLLMLingua的核心技术原理是将“文本提示”实现最高20倍的极限压缩，同时又可以准确评估...
-
骁龙8 Gen3正式发布：8K240手游成真！AI无处不在性能飙升98％
快科技夏威夷高通骁龙技术峰会2023现场报道： 一年一度，它又来了！但是今年，它来得更早一些！ 北京时间10月24日，高通正式发布了新一代旗舰移动平台骁龙8 Gen3”(第三代骁龙8 ，安卓旗舰手机一年一度的新平台登场。 在激烈的残酷竞争下，在AI时代浪潮...
-
让大模型看图比打字管用！NeurIPS 2023新研究提出多模态查询方法，准确率提升7.8%
大模型“识图”能力都这么强了，为啥还老找错东西？ 例如，把长得不太像的蝙蝠和拍子搞混，又或是认不出一些数据集中的稀有鱼类…… 这是因为，我们让大模型“找东西”时，往往输入的是文本。 如果描述有歧义或太偏门，像是“bat”（蝙蝠还是拍子？）或“魔鳉”（Cy...
-
首个多视角自动驾驶场景视频生成世界模型 | DrivingDiffusion: BEV数据和仿真新思路
笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度上的长尾场景：如障碍物数据中近距离的车辆以及切车过程中...
-
4k窗口长度就能读长文，陈丹琦高徒联手Meta推出大模型记忆力增强新方法
只有4k窗口长度的大模型，也能阅读大段文本了！ 普林斯顿的华人博士生的一项最新成果，成功“突破”了大模型窗口长度的限制。 不仅能回答各种问题，而且整个实现的过程全靠prompt就能完成，不需要任何的额外训练。 研究团队创建了一种名为MemWalker的...
-
Meta普林斯顿提出LLM上下文终极解决方案！让模型化身自主智能体，自行读取上下文节点树
到底什么才是LLM长上下文模型的终极解决方案？ 最近由普林斯顿大学和Meta AI的研究者提出了一种解决方案，将LLM视为一个交互式智能体，让它决定如何通过迭代提示来读取文本。 论文地址：https://arxiv.org/abs/2310.05029...
-
百川VS智谱，谁是中国的OpenAI？
6月初，外媒曾发出了“谁是中国的OpenAI”的拷问，经历了大模型创业潮之后，大浪淘沙，最终留下的不过寥寥数人。 清华大学几个十字路口外的赛尔大厦，是明星创业者王小川的百川智能，搜狐网络大厦是学院派出身的智谱AI。二者在经历了市场的检验后，成为了最有希望的...
-
LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数
只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！ 还是在只有70亿参数的LLaMA 2上。 要知道，即使是当前最火的Claude 2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不...
-
参数少近一半，性能逼近谷歌Minerva，又一个数学大模型开源了
如今，在各种文本混合数据上训练出来的语言模型会显示出非常通用的语言理解和生成能力，可以作为基础模型适应各种应用。开放式对话或指令跟踪等应用要求在整个自然文本分布中实现均衡的性能，因此更倾向于通用模型。 不过如果想要在某一领域（如医学、金融或科学）内最大限...