-
只需单卡RTX 3090，低比特量化训练就能实现LLaMA-3 8B全参微调
自 2010 年起，AI 技术历经多个重大发展阶段，深度学习的崛起和 AlphaGo 的标志性胜利显著推动了技术前进。尤其是 2022 年底推出的 ChatGPT，彰显了大语言模型（LLM）的能力达到了前所未有的水平。自此，生成式 AI 大模型迅速进入高...
-
Shortened LLaMA：针对大语言模型的简单深度剪枝法
? CSDN 叶庭云：https://yetingyun.blog.csdn.net/ 论文标题 & 发表会议：Shortened LLaMA: A Simple Depth Pruning for Large Language Model...
-
Llama模型下载
最近llama模型下载的方式又又变了，所以今天简单更新一篇文章，关于下载的，首先上官网，不管在哪里下载你都要去官网登记一下信息：https://llama.meta.com/llama2 然后会出现下面的信息登记网页： 我这里因为待业所以or...
-
阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！
本文原文来自DataLearnerAI官方网站：阿里开源截止目前为止参数规模最大的Qwen1.5-110B模型：MMLU评测接近Llama-3-70B，略超Mixtral-8×22B！ | 数据学习者官方网站(Datalearner https://www...
-
如何本地运行Llama 2大语言模型并实现无公网IP远程访问
文章目录 1. 拉取相关的Docker镜像 2. 运行Ollama 镜像 3. 运行Chatbot Ollama镜像 4. 本地访问 5. 群晖安装Cpolar 6. 配置公网地址 7. 公网访问 8. 固定公网地址 随着ChatGPT...
-
知识分享系列五：大模型与AIGC
大模型（LLM，Large Language Mode）是指通过在海量数据上依托强大算力资源进行训练后能完成大量不同下游任务的深度学习模型。大模型主要用于进行自然语言相关任务，给模型一些文本输入，它能返回相应的输出，完成的具体任务包括生成、分类、总结、改写...
-
AIGC提示(prompt)飞升方法：走向专家之路
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
李飞飞：大模型不具备知觉，参数再多也不行
大模型已经具备知觉? AI教母李飞飞的最新回答旗帜鲜明:No。 她和斯坦福逻辑学家、哲学家John Etchemendy刚刚发表一篇合著文章，标题很直接: 文章中还写道: 这与图灵奖得主Yann LeCun的最新观点不谋而合。LeCun的言论还要更...
-
使用LM Studio与Anything LLM基于Llama-3高效构建本地知识库系统
本文详细介绍了如何使用LM Studio和Anything LLM工具来构建和部署本地知识库。文中首先解释了安装和配置大模型的步骤，随后展示了如何将模型部署为后台服务，并通过API进行调用。此外，文章还涉及了如何使用这些工具快速构建知识库应用，包括知识库的...
-
马斯克预测AI世界：人类无需再为生计奔波 工作将变成爱好
快科技5月24日消息，近日，埃隆马斯克在巴黎的欧洲科技创新展览会上分享了他对未来人工智能世界的预测。 他认为，随着AI技术的快速发展，未来社会将能够按需提供所有商品和服务。 在这样的环境下，人们将不再为了生计而工作，而是根据个人兴趣和爱好选择职业，更多地去...
-
生成式AI赋能零售银行产业：发掘潜力空间，规避业务陷阱
银行业领导者，对于生成式AI（GenAI）重塑客户体验和优化运营的潜力感到兴奋。麦肯锡的一项调查发现，生成式AI每年可增加2000亿至3400亿美元价值，推动收入增长2.8%至4.7%。零售银行业务成为银行业的第二大盈利部门，创造了540亿美元的新价值...
-
LLaMA Factory多卡微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
详解苹果和微软的AI集成策略
当OpenAI在其春季更新会议上宣布推出macOS的ChatGPT桌面应用时，人们不禁疑惑为什么它没有先从Windows开始，毕竟，微软是OpenAI的主要投资者，理应最早获得新ChatGPT功能的访问权限。 现在我们知道原因了，在Build会议上宣布...
-
利用大语言模型增强网络抓取：一种现代化的方法
想了解更多AIGC的内容，请访问： 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文将探讨大语言模型(LLMs 与网络抓取的集成，以及如何利用LLMs高效地将复杂的HTML转换为结构化的JSON。 作为一名数据工程...
-
LLaMA Factory单机微调的实战教程
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
AI大模型探索之路-训练篇25：ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章? AI大模型探索之路-训练篇1：大语言模型微调基础认知AI大模型探索之路-训练篇2：大语言模型预训练基础认知AI大模型探索之路-训练篇3：大语言模型全景解读AI大模型探索之路-训练篇4：大语言模型训练数据集概览AI大模型探索之路-训练篇5：大...
-
Meta大佬亲授LLaMA 3的奥秘
大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
AI搜索AI浏览器表现亮眼，三六零入选AIGC先锋榜
近日，AICon全球人工智能开发与应用大会暨大模型应用生态展在北京开幕。今年InfoQ再次面向AIGC赛道推出中国技术力量2024之AIGC先锋榜，360集团凭借其优秀创新实践案例上榜“AIGC最 佳实践案例 TOP20”。 “中国技术力量2024之AI...
-
Meta首席科学家：大模型永远达不到人类智力
快科技5月23日消息，据媒体报道，Meta的首席人工智能科学家、深度学习领域的先驱杨立昆（Yann LeCun）近日对ChatGPT等生成式AI产品背后的大语言模型的能力提出了质疑。 他表示，大模型永远无法实现像人类一样的推理和规划能力。 杨立昆明确指出，...
-
拯救被「掰弯」的GPT-4！西交微软北大联合提出IN2训练治疗LLM「中间迷失」
【新智元导读】近日，西交微软北大联合提出信息密集型训练大法，使用纯数据驱动的方式，矫正LLM训练过程产生的偏见，在一定程度上治疗了大语言模型丢失中间信息的问题。 辛辛苦苦给大语言模型输入了一大堆提示，它却只记住了开头和结尾? 这个现象叫做LLM的中间迷失（...
-
大模型进入免费时代！百度文心大模型宣布两大主力模型免费用
快科技5月21日消息，今日，百度智能云宣布文心大模型的两款主力模型ENIRE Speed、ENIRE Lite全面免费，即刻生效。 这两款大模型今年3月发布，均支持8K和128k上下文长度。 据了解，ERNIE Lite是百度自研的轻量级大语言模型，兼顾优...
-
拒绝AI生成代码！开源操作系统陆续举起“禁令”，Debian尚无行动
整理丨诺亚 出品 | 51CTO技术栈（微信号：blog51cto） 当下，AI的崛起已成大势。但是，当AI的触角伸向开源操作系统时，一些社区陆续亮起了“红灯”。 先是Linux发行版Gentoo 在四月中旬发布了一项理事会政策，禁止使用AI工具生成...
-
百度宣布文心大模型ERNIE Speed、ERNIE Lite全面免费
刚刚，百度智能云宣布，文心大模型两大主力模型ERNIE Speed、ERNIE Lite全面免费，立即生效。 据悉，ERNlE Speed是百度2024年最新发布的自研高性能大语言模型，通用能力优异，适合作为基座模型进行精调，更好地处理特定场景问题。 而...
-
携手亚马逊云科技，北京灵奥科技助力企业无缝结合大模型与数据
随着生成式AI时代不断发展，越来越多的企业开始关注、应用甚至训练大模型，想要以此创造更大的业务价值。这一想法固然没错，大模型的出现必能为企业带来创新和突破。不过，基础模型依赖于大规模高质量数据集，想要借助生成式AI带来企业差异化优势的关键是企业的专有数据...
-
150B token从头训练，普林斯顿Meta发布完全可微MoE架构Lory
不同于大多数模型使用字母缩略起名，论文作者在脚注中解释道，Lory是一种羽毛有彩虹颜色的鹦鹉，和「软MoE」的精神非常相似。 论文的作者团队也可以称之为「明星阵容」。 论文地址：https://arxiv.org/abs/2405.03133 主要作者...
-
时隔一年Falcon回归！110亿参数5.5万亿token，性能超越Llama 3
这几天，全世界的目光仿佛都被OpenAI发布的GPT-4o所吸引，与此同时，OpenAI的挑战者们也在同步创造历史。 就在5月14日，阿布扎比先进技术研究委员会（ATRC）下属的技术创新研究所（TII），发布了新一代的Falcon 2模型。 Falco...
-
GPT-4o成为全领域SOTA！基准测试远超Gemini和Claude，多模态功能远超GPT-4
OpenAI在发布会上官宣GPT-4o之后，各路大神也开始了对这个新模型的测评，结果就是，GPT-4o在多项基准测试上都展现了SOTA的实力。 别家发布会都在画饼，OpanAI却总能开出一种「欲扬先抑」的效果，惊喜全在发布会之后。 基准测试结果 首先...
-
李彦宏：百度11%的搜索结果都由AI生成
快科技5月17日消息，百度创始人、董事长兼首席执行官李彦宏在2024年第一季度财报电话会议上透露，目前百度搜索结果中已有11%由AI生成。 李彦宏认为，尽管百度搜索的AI重构工作仍处于早期阶段，但搜索服务最有可能成为AI时代的杀手级应用”。 百度在AI领...
-
小米大语言模型MiLM正式通过大模型备案：将应用于汽车、手机、智能家居等产品
快科技5月16日消息，小米官方宣布，小米大语言模型MiLM正式通过大模型备案。 据了解，通过备案后，小米大模型将逐步应用于小米公司的汽车、手机、智能家居等产品中，通过端云结合，既带来单个设备的智能提升，也实现场景内和场景间多设备的协同，为人车家全生态战略赋...
-
WOT大会日程上线：我们找来数十位大模型实践企业现身说法
这两天的技术圈里，估计大家都在摩拳擦掌等待体验OpenAI的GPT-4o（o为Omni缩写，意为“全能”）有多“全能”吧。 我们无意给市场泼冷水，只是要提醒大家，想要让大模型真正落地，市场的热，并不意味着应用实践的成熟。尤其在企业级场景中，为什么大模型落...
-
小米AI大模型MiLM通过备案 将应用于手机、汽车产品中
5月16日，小米公司宣布，小米大语言模型MiLM正式通过大模型备案，小米大模型将逐步应用于小米汽车、手机、智能家居等产品中。 5月15日，北京市生成式人工智能服务新增已备案信息正式公布。此次19家企业新增备案，包括了北京小米科技有限责任公司“小米”、腾讯...
-
「大模型」之所短，「知识图谱」之所长
最近一年以来，大语言模型技术突飞猛进，被广泛地认为开启了人工智能研究的新阶段。大语言模型时代的到来，给知识图谱技术也带来了新的机遇与挑战。我们在 5 月份的时候曾经发布过知识图谱与 AIGC 大模型的知识地图，其中包括了文本生成、图像生成等技术。本次分享...
-
HPE Aruba Networking的前瞻视角：构建AI赋能的安全融合网络
数字化时代，网络不仅是连接世界的纽带，更是推动商业和社会进步的关键力量。随着移动设备、物联网(IoT 和云服务的爆炸性增长，用户对网络的依赖达到了前所未有的水平。一个能够随时随地提供安全、高效接入的网络环境，无论对个人还是企业，都已成为刚需。然而，这一需...
-
为什么腾讯认为DiT架构是未来的主流？做了哪些改进？
OpenAI迭代ChatGPT的过程，发现随着参数量的提升，基于Transformer 架构的大语言模型出现了涌现现象。因此，在文生图领域，很可能参数量更大的模型，也会更“聪明”。 而此前文生图领域大火的Unet 模型容易陷入性能瓶颈与可扩展性的问题，且...
-
刚刚，Ilya官宣离职OpenAI，“下一个项目意义重大”
刚刚，久未露面的Ilya Sutskever突然发声！ 官宣离开OpenAI，已经有了下一个计划，但目前还不能透露细节。 近十年后，我决定离开OpenAI。 公司的发展轨迹堪称奇迹，我相信，在Sam Altman、Greg Brockman、Mira...
-
OPPO 下一代大数据 AI 一体架构实践
一、技术架构 OPPO 大数据场景丰富，拥有海外的 AWS 功能云，国内自建机房，机器规模超过万台，在印度则是使用混合云模式。 首先来介绍一下 AWS 上功能云 EMR 的实践。 1. 云原生计算架构 OPPO 早期全部采用 EMR，其存在以下一些问题...
-
大神Karpathy强推，分词领域必读：自动钓鱼让大模型“发疯”的token，来自Transformer作者创业公司
关于大模型分词（tokenization），大神Karpathy刚刚推荐了一篇必读新论文。 主题是：自动检测大模型中那些会导致“故障”的token。 图片 简单来说，由于大模型tokenizer的创建和模型训练是分开的，可能导致某些token在训练中很少...
-
小心！最新AI看一眼照片就定位你在哪里，精确到经纬度
有点恐怖。 现在，AI只需随意一张照片，就能知道你在哪里，而且是可以精确到经纬度的那种！ 例如下面这张随便到不能再随便的自拍，你能猜到小姐姐在哪里吗？ 这事交给现在的AI来处理，它只需要“看”一眼，就能把照片里的“底裤都给扒出来”： 美国，加利福尼亚...
-
Flash Attention稳定吗？Meta、哈佛发现其模型权重偏差呈现数量级波动
Meta FAIR 联合哈佛优化大规模机器学习时产生的数据偏差，提供了新的研究框架。 众所周知，大语言模型的训练常常需要数月的时间，使用数百乃至上千个 GPU。以 LLaMA2 70B 模型为例，其训练总共需要 1,720,320 GPU hours。由...
-
Paper Digest | 基于原型学习的实体图谱预训练跨域推荐框架
可以看到，通过映射得到对应item相关的entity后，基于图谱推理流程，我们可以得到许多和映射得到的entity相关的高阶信息，如苹果这个公司有手机产品，而手机这类产品相关的公司有三星等，从而可以潜在的拉近和其他相关实体（如三星生产的手机等）间的关系。...
-
奥特曼"剧透"OpenAI发布会：不是GPT-5，也不是搜索引擎 媒体爆料：是语音助手
5月11日消息，美国时间周五，人工智能初创公司OpenAI CEO萨姆·奥特曼（Sam Altman）在社交媒体X上发布了一条推文，调侃称将在本周一揭晓的“新产品”“感觉像魔法一样”。 【图注】 萨姆·奥特曼： 不是GPT-5，也不是搜索引擎，但我...
-
人工智能正在摧毁互联网内容生态系统
苹果公司的新iPadPro的广告展示了一台巨型工业液压机如何将人类文化艺术的标志性器具(乐器、书籍、绘画材料等 无情碾压成粉末。该广告一经播出引发了全球文化界的广泛声讨。 美国电影制片人贾斯汀·贝特曼在X上写道：“为什么苹果要做一则碾压艺术的广告?科技...
-
原作者带队，LSTM真杀回来了！
20 世纪 90 年代，长短时记忆（LSTM）方法引入了恒定误差选择轮盘和门控的核心思想。三十多年来，LSTM 经受住了时间的考验，并为众多深度学习的成功案例做出了贡献。然而，以可并行自注意力为核心 Transformer 横空出世之后，LSTM 自身所...
-
谷歌CEO皮查伊最新专访：AI浪潮尚处早期 已准备好打持久战
快科技5月9日消息，据国外媒体报道，近日谷歌CEO桑达尔皮查伊接受了《The Circuit With Emily Chang》主持人的独家专访。 皮查伊在访谈中指出，自2016年起，人工智能就已成为谷歌的核心焦点，尽管谷歌在聊天机器人领域的起步较晚，但他...
-
跟这些头部厂商交流后，终于知道AIGC、大模型持续火爆的原因 | WOT技术大会
2024年，是AIGC出现的第三年，也是其应用落地的元年！站在2024年的当下，有人会产生这样的疑问：为什么AIGC、大模型持续火爆？ 一个新兴概念之所以持续火爆，无外乎两个原因：往上看，技术本身还有着无穷无尽的发展潜力，远未触顶，国外的OpenAI、...
-
AlphaGo核心算法增强，7B模型数学能力直逼GPT-4，阿里大模型新研究火了
把AlphaGo的核心算法用在大模型上，“高考”成绩直接提升了20多分。 在MATH数据集上，甚至让7B模型得分超过了GPT-4。 一项来自阿里的新研究引发关注： 研究人员用蒙特卡洛树搜索（MCTS）给大语言模型来了把性能增强，无需人工标注解题步骤，也能...
-
理论+实践，带你了解分布式训练
本文分享自华为云社区《大模型LLM之分布式训练》，作者： 码上开花_Lancer。 随着语言模型参数量和所需训练数据量的急速增长，单个机器上有限的资源已无法满足大语言模型训练的要求。需要设计分布式训练（Distributed Training）系统来解决...
-
LLM全搞定！OmniDrive：集3D感知、推理规划于一体（英伟达最新）
本文经自动驾驶之心公众号授权转载，转载请联系出处。 写在前面&笔者的个人理解 这篇论文致力于解决当前多模态大语言模型 (MLLMs 在自动驾驶应用中存在的关键挑战，尤其是将MLLMs从2D理解扩展到3D空间的问题。由于自动驾驶车辆 (AVs ...
-
港大开源图基础大模型OpenGraph 增强图学习泛化能力
香港大学数据智能实验室主任黄超团队开发了一款名为 OpenGraph 的图基础大模型，专注于在多种图数据集上进行零样本预测。该模型通过学习通用的图结构模式，仅通过前向传播即可对全新数据进行预测，有效缓解了图学习领域的数据饥荒问题。 关键特点: 强泛化能...
-
港大开源图基础大模型OpenGraph: 强泛化能力，前向传播预测全新数据
图学习领域的数据饥荒问题，又有能缓解的新花活了！ OpenGraph，一个基于图的基础模型，专门用于在多种图数据集上进行零样本预测。 背后是港大数据智能实验室的主任Chao Huang团队，他们还针对图模型提出了提示调整技术，以提高模型对新任务的适应性。...