当前位置：AIGC资讯 > 注意力机制 第8页
-
全球最强长文本大模型，一次可读35万汉字：Baichuan2-192K上线
国内大模型创业公司，正在技术前沿创造新的记录。 10 月 30 日，百川智能正式发布 Baichuan2-192K 长窗口大模型，将大语言模型（LLM）上下文窗口的长度一举提升到了 192K token。 这相当于让大模型一次处理约 35 万个汉字，长度...
-
港大等发布GraphGPT：1/50微调参数，准确率提升10倍！无需超长token，LLM也能读懂图结构
图神经网络（Graph Neural Networks）已经成为分析和学习图结构数据的强大框架，推动了社交网络分析、推荐系统和生物网络分析等多个领域的进步。 图神经网络的主要优势在于它们能够捕获图数据中固有的结构信息和依赖关系。利用消息传递和聚合机制，图...
-
GraphAlign：通过图匹配增强多模态3D目标检测的准确特征对齐
本文经自动驾驶之心公众号授权转载，转载请联系出处。 原标题：GraphAlign: Enhancing Accurate Feature Alignment by Graph matching for Multi-Modal 3D Object Det...
-
首个多视角自动驾驶场景视频生成世界模型 | DrivingDiffusion: BEV数据和仿真新思路
笔者的一些个人思考 在自动驾驶领域，随着BEV-based子任务/端到端方案的发展，高质量的多视图训练数据和相应的仿真场景构建愈发重要。针对当下任务的痛点，“高质量”可以解耦成三个方面： 不同维度上的长尾场景：如障碍物数据中近距离的车辆以及切车过程中...
-
LLaMA2上下文长度暴涨至100万tokens，只需调整1个超参数
只需微调一下，大模型支持上下文大小就能从1.6万tokens延长至100万？！ 还是在只有70亿参数的LLaMA 2上。 要知道，即使是当前最火的Claude 2和GPT-4，支持上下文长度也不过10万和3.2万，超出这个范围大模型就会开始胡言乱语、记不...