-
LLamaFactory:当下最容易上手的大模型微调工具
近日,国内的一款微调框架发布了自己的论文《LLAMAFACTORY: Unified Efficient Fine-Tuning of 100+ Language Models》,对他们的框架做了系统性的总结。该框架自推出后迅速出圈,现已斩获15.6k的s...
-
stable-diffusion-webui报OSError: Can‘t load tokenizer for ‘openai/clip-vit-large-patch14‘的正确解决方法
这个是个普遍问题,例如:Windows平台安装stable-diffusion-webui-1.7.0解决少工具包clip-vit-large-patch14 - 知乎 Stable Diffusion WebUI linux部署问题_oserror:...
-
llama3 微调教程之 llama factory 的 安装部署与模型微调过程,模型量化和gguf转换。
本文记录了从环境部署到微调模型、效果测试的全过程,以及遇到几个常见问题的解决办法,亲测可用(The installed version of bitsandbytes was compiled without GPU support. NotImpleme...
-
一篇文章详细介绍Stable Diffusion模型原理及实现过程(附常用模型网站、下载方式)
目录 前言 何为Stable Diffusion模型? Stable Diffusion工作原理: Stable Diffusion模型的应用场景 Stable Diffusion免费使用网站 stability.ai: 本地部...
-
逆向爬虫技术的进阶应用与实战技巧
前言 在互联网的海洋中,数据是无价的财富。爬虫技术作为获取这些数据的重要手段,一直备受关注。然而,随着网站反爬虫机制的日益完善,简单的爬虫程序已经很难满足我们的需求。因此,掌握爬虫逆向技术,突破反爬虫机制,成为了爬虫开发者必须面对的挑战。...
-
如何使用代理ip服务高效采集最新AIGC前沿信息
目录 前言 一、代理ip介绍以及面临的挑战 二、获取AIGC前沿信息缺口 1、最新AIGC前沿信息来源 2、确定关键字 3、可能涉及到的字段 三、使用代理ip抓取数据 1、选择代理ip服务 2、如何使用BrightData代理ip抓取数据...
-
利用大语言模型增强网络抓取:一种现代化的方法
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文将探讨大语言模型(LLMs 与网络抓取的集成,以及如何利用LLMs高效地将复杂的HTML转换为结构化的JSON。 作为一名数据工程...
-
LlamaFactory 进行大模型 llama3 微调,轻松上手体验学习
节前,我们星球组织了一场算法岗技术&面试讨论会,邀请了一些互联网大厂朋友、参加社招和校招面试的同学,针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。 汇总合集:《大模型面试宝典...
-
LLaMA Factory单机微调的实战教程
大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机...
-
AIGC-controlnet代码详细解读
hugging face 社区diffusers官方代码:stable_diffusion/controlnetcontrolnet.ipynb 原始代码的解读可以看看这个博主的:万字长文解读Stable Diffusion的核心插件—ControlNet...
-
AI大模型探索之路-训练篇25:ChatGLM3微调实战-基于LLaMA-Factory微调改造企业级知识库
系列篇章💥 AI大模型探索之路-训练篇1:大语言模型微调基础认知AI大模型探索之路-训练篇2:大语言模型预训练基础认知AI大模型探索之路-训练篇3:大语言模型全景解读AI大模型探索之路-训练篇4:大语言模型训练数据集概览AI大模型探索之路-训练篇5:大...
-
解析数论大牛获邵逸夫奖,陶哲轩:他的课好难
2024邵逸夫数学科学奖出炉,颁给了解析数论大牛彼得·萨纳克(Peter Sarnak)。 陶哲轩第一时间送上祝贺,并透露研究生期间曾上过他的课,但“难到吓人”: 我在读研究生时从萨纳克那里学习了解析数论,当时我觉得这个学科令人生畏,便转而专注研究调和...
-
大模型烧钱战“卷”出白菜价,李开复、王小川为何拒绝入局?
撰稿丨今日晴 出品 | 51CTO技术栈(微信号:blog51cto) 暗流涌动的大模型圈,几乎毫无征兆地开启了价格战。 近一周时间,字节跳动、阿里巴巴、百度、腾讯等多家厂商纷纷调整旗下大模型产品的定价策略,宣布面向企业市场的API价格下调,动辄下调90...
-
使用自己的数据集训练DETR模型
众所周知,Transformer已经席卷深度学习领域。Transformer架构最初在NLP领域取得了突破性成果,尤其是在机器翻译和语言模型中,其自注意力机制允许模型处理序列数据的全局依赖性。随之,研究者开始探索如何将这种架构应用于计算机视觉任务,特别是...
-
除了RAG,还有这五种方法消除大模型幻觉
出品 | 51CTO技术栈(微信号:blog51cto) 众所周知,LLM会产生幻觉——即生成不正确、误导性或无意义的信息。 有意思的是,一些人,如OpenAI的CEO Sam Altman,将AI的幻觉视为创造力,而另一些人则认为幻觉可能有助于做出新...
-
七个很酷的GenAI & LLM技术性面试问题
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 译者 | 晶颜 审校 | 重楼 不同于互联网上随处可见的传统问题库,这些问题需要跳出常规思维。 大语言模型(LLM 在数据科学、生成式...
-
基于LangChain自查询检索器的RAG系统开发实战
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 最近,我在浏览Max.com网站时想找一部电影看。通常,这个过程包括浏览系统呈现给我的各种列表,阅读一些相关描述,然后挑选一些看起来有...
-
微软Copilot+PC之后还有大招!牵手GPT-4o后能力简直王炸!奥特曼也来build现场了!
编辑|伊风 出品 | 51CTO技术栈(微信号:blog51cto) 昨天,微软震撼发布的Copilot+PC,被大赞终于是真正的AI PC了! 今天,在AI领域里拳打谷歌,脚踢苹果的微软又在build大会中狠狠地秀了一把肌肉。宣布要将Windows打造...
-
拒绝AI生成代码!开源操作系统陆续举起“禁令”,Debian尚无行动
整理丨诺亚 出品 | 51CTO技术栈(微信号:blog51cto) 当下,AI的崛起已成大势。但是,当AI的触角伸向开源操作系统时,一些社区陆续亮起了“红灯”。 先是Linux发行版Gentoo 在四月中旬发布了一项理事会政策,禁止使用AI工具生成...
-
曝斯嘉丽曾拒绝为ChatGPT配音:GPT-4o语音上线前夕,这款最像“Her”的语音却下架了!
编辑 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) OpenAI的离职潮还风波未平。另一边,ChatGPT语音模式中的“Sky”突然被宣布下架。 OpenAI在推文中说:我们听到有人质疑我们如何选择 ChatGPT 中的声音,尤其是...
-
通过检索增强生成(RAG) 增强LLM的实战演练
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 拥有正确的数据来支持用例对于在任何业务中成功采用大型语言模型(LLM 都是至关重要的。虽然大多数现成的LLM在完成一般任务上表现出色,...
-
AI日报:viva发布类Sora视频生成模型;Open AI 宫斗第二季详解;索尼禁止未授权使用其音乐“炼丹”:Coze上线Web SDK
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解:https://top.aibase.com/ 1、viva发布类Sora视频生成...
-
生成式AI是否正在让私有云“复兴”
编译丨诺亚 出品 | 51CTO技术栈(微信号:blog51cto) 在又一轮技术革命来袭之际,不少企业正面临着一个战略性的抉择:是继续依赖公共云的便利,还是回归私有云的怀抱?随着AI技术的飞速发展,这一决策变得更加紧迫。 根据Forrester于2...
-
免费AI插图库PictoGraphic 可搜索插图也可自行创建
PictoGraphic是一个提供免费AI生成插图库的平台,它拥有超过40000张图像和SVG文件。这个平台为设计师提供了一个直观易用的界面,让他们能够快速找到或创建符合自己需求的插图。 主要功能: 丰富的插图库:平台提供了超过40,000张不同风格和...
-
首个GPU高级语言,大规模并行就像写Python,已获8500 Star
经过近 10 年的不懈努力,对计算机科学核心的深入研究,人们终于实现了一个梦想:在 GPU 上运行高级语言。 上周末,一种名为 Bend 的编程语言在开源社区引发了热烈的讨论,GitHub 的 Star 量已经超过了 8500。 GitHub:http...
-
谷歌定义了新搜索,杀死了Perplexity?
编辑 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 谷歌大会刚过去,做AI搜索的创业公司,如Perplexity是不是要被干掉了? 回答这个问题之前,不妨先回顾下,谷歌是如何怎么重新思考并革新自己的。 1.ChatGPT和Perp...
-
腾讯 PCG 搜广推机器学习框架GPU 性能优化实践
一、为什么 GPU 推荐模型训练框架是刚需 1. PCG 算力集群缺点 最开始的时候,腾讯 PCG 所有的推荐模型训练都是使用 CPU。但随着业务的深入,以及深度学习模型的发展,PCG 算力集群在做下一代推荐模型时会遇到各种问题: 首先,系统网络带宽...
-
GPT-4o预告中的语音助手“Her”真的很惊艳,但问题是我们还有多久才能够真正上手?网友:PR鬼才奥特曼都坐不住了
编辑 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) OpenAI 发布会中的GPT-4o给所有人都看眼馋了! 谁不想第一时间体验下传说中的“Her”呢? 图片 在发布会上,GPT-4o展示了自己的“magic”:高超的语音理...
-
恒生电子首席科学家白硕:长文本和多模态是生成式AI落地金融的两大利器
嘉宾丨白硕 采访/撰稿丨张洁 编辑丨千山 出品 | 51CTO技术栈(微信号:blog51cto) 在千行百业中,金融业一贯是新技术的早期采用者。无论是在数字化水平,还是在关于产业AI化的探索上,都走在了前列。因此,金融业也被视为生成式AI应用落地的潜力...
-
路径规划概述:基于采样、搜索、优化全搞定!
本文经自动驾驶之心公众号授权转载,转载请联系出处。 1 决策控制与运动规划概述 目前决策控制方法可以分为三类:sequential planning、behavior-aware planning、和end-to-end planning。 seq...
-
数据库为啥要融合+AI化?甲骨文Oracle 23ai给出了回答
2017年,一篇名为《Attention is All You Need》的论文提出了一种新的神经网络架构: Transformer。七年后,Transformer成为了生成式AI的核心,正引领着今天的技术浪潮。 在甲骨文公司副总裁及中国区董事总经理吴...
-
OpenAI“宫斗”番外!首席科学家Ilya官宣离职,参与驱逐奥特曼“宫斗”后沉寂5月首发声!前研究主管Jakub将接棒该职位
编辑 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) 谷歌I/O大会的主题演讲刚刚结束四个小时。正当人们把目光从GPT-4o中恋恋不舍地移开,转到Gemini上时。OpenAI又跑来“搞事”了! 自之前“宫斗”后就行踪成谜的首席科学家...
-
一些 Llama3 微调工具以及如何在 Ollama 中运行
Llama3是Meta提供的一个开源大模型,包含8B和 70B两种参数规模,涵盖预训练和指令调优的变体。这个开源模型推出已经有一段时间,并且在许多标准测试中展示了其卓越的性能。特别是Llama3 8B,其具备小尺寸和高质量的输出使其成为边缘设备或者移动设...
-
与机器对话:揭示提示工程的十个秘密
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 提示的力量十分神奇,我们只需抛出几个近似人类语言的单词,就能得到一个格式和结构都良好的答案。没有什么话题是晦涩难懂的,没有什么事实是触...
-
“全家桶”战士归来,谷歌自我革命!
编辑 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 5月与6月,旧金山硅谷各大新贵旧王正在激烈角逐,主战场无疑则是AI。 就在昨天凌晨GPT-4o发布的24小时后,Google I/O大会也交卷了。 有意思的是,谷歌掌舵人皮查伊,好...
-
Agents需要一个代码解释器
作者 | Vasek Mlejnsky 编译 | 言征 出品 | 51CTO技术栈(微信号:blog51cto) 构建人工智能代理很难。你将与幻觉作斗争,让agents智商不掉线,并引导他们使用正确的工具。 不过,方法也不难,其中一种就是赋予代理代码执行...
-
DenserRadar:基于密集LiDAR点云的4D毫米波雷达点云检测器
本文经自动驾驶之心公众号授权转载,转载请联系出处。 原标题:DenserRadar: A 4D millimeter-wave radar point cloud detector based on dense LiDAR point clouds 论...
-
Llama-3的竞争对手来了——可运行在iPhone上的小体量高性能LLM模型Phi-3
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 熟悉我的文章的读者可能还记得我以前报道《课本就是你所需要的一切》(https://medium.com/@mgunton7/th...
-
OpenAI模型终于更新!强大视听能力的GPT-4o将面向所有用户,其前身正是神秘的gpt2!
编辑 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) 春季终于如约而至!GPT系列的模型终于等到了久违的更新——GPT-4o浮出水面。 而且此前颇具神秘气息的“im-also-a-good-gpt2-chatbot”,正是其测试版...
-
Altman首提GPT-7设想:每个人都可以访问其计算资源!
出品 | 51CTO技术栈(微信号:blog51cto) Sam Altman最近提出了“通用基础计算”,即每个人都可以访问GPT-7的一部分计算资源。 奥特曼在最近一期的All in播客中说:“我想知道未来看起来是否更像通用基本计算,而不是通用基本收...
-
GPT-4o深夜炸场!AI实时视频通话丝滑如人类,Plus功能免费可用,奥特曼:《她》来了
不开玩笑,电影《她》真的来了。 OpenAI最新旗舰大模型GPT-4o,不仅免费可用,能力更是横跨听、看、说,丝滑流畅毫无延迟,就像在打一个视频电话。 现场直播的效果更是炸裂: 它能感受到你的呼吸节奏,也能用比以前更丰富的语气实时回复,甚至可以做到随时打...
-
只需百行代码,让H100提速30%,斯坦福开源全新AI加速框架
AI 的快速发展,伴随而来的是大计算量。这就自然而然的引出了一个问题:如何减少 AI 对计算的需求,并提高现有 AI 计算效率。 为了回答这一问题,来自斯坦福的研究者在博客《GPUs Go Brrr》中给出了答案。 图片 博客地址:https://haz...
-
生成式AI模型大PK——GPT-4、Claude 2.1和Claude 3.0 Opus
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 简介 当前,RAG(检索增强生成 系统的新评估似乎每天都在发布,其中许多都集中在有关框架的检索阶段。然而,生成方面——模型如何合成和表...
-
实测ChatGPT的Go能力!资深老鸟干货分享:使用ChatGPT学习Go语言容易得多
编译 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) 编者按:资深开发者詹姆斯·拉米雷兹长文分享,讲述了他使用ChatGPT学习Go语言,导航Kolide API并构建复杂的Steampipe插件的经验。在这个过程中,他深化了对AI辅...
-
AI手机,活成产业“摇钱树”
早几年出现的折叠屏没能拯救颓势的手机市场,直接证据就是去年全球出货量依旧拉胯,同比下滑3.2%至11.7亿部,为近十年来最低。 好在Q4出现了些许回暖,全球和中国市场分别有8.5%和1.2%的同比增幅,尤其是后者,在连续同比下降10个季度后首次转正。 很难...
-
谷歌CEO采访再谈AI未来,遭女记者犀利“拷问”:为何错失GPT风口,被微软反超?AI是否冲击了谷歌商业模式?
整理 | 伊风 出品 | 51CTO技术栈(微信号:blog51cto) Google & Alphabet(谷歌母公司) CEO Sundar Pichai(下称皮查伊) 的最新采访出炉! 提问精彩非常,几个问题丝滑地勾勒出:谷歌帝国的现状与...
-
最详细人脑3D地图登Science!GPT-4参数只相当于人类0.2%
芝麻粒大小的人脑组织,突触规模就相当于一个GPT-4! 谷歌与哈佛联手,对局部人脑进行了纳米级建模,论文已登Science。 这是迄今为止最大、最详细的人脑复制品,首次展示出了大脑中的突触连接网络。 凭借超高分辨率,这个名为H01的重建,已经揭示了一些...
-
音乐人值得尝试的十大文本转音乐AI平台
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 从生成旋律到创作整首曲子,这些文本转音乐AI平台让我们得以一窥音乐创作的未来。 新时代的应用程序如雨后春笋般涌现,音乐领域的Sora时...
-
OpenAI“大模型宪法”出炉,公开征集建议!网友:大模型不性感了!
编辑 | 云昭 出品 | 51CTO技术栈(微信号:blog51cto) 本周的OpenAI, 似乎并未辜负其名称中的“开放”字样。 近日,OpenAI虽然没有开源任何新模型,但该公司非常之“清流”,一改铜臭的商业味道。 1.OpenAI加入开放性...
-
如何借助假设文档嵌入改进语义搜索?
想了解更多AIGC的内容,请访问: 51CTO AI.x社区 https://www.51cto.com/aigc/ 本文介绍了如何使用简单的大语言模型(LLM 调用来显著改善语义搜索结果的质量。 找到合适的AI模型来构建工作流程很困难。由于不同平台上...