-
AI测试｜Windows下跑起大模型（Llama）操作笔记
2024软件测试面试刷题，这个小程序（永久刷题），靠它快速找到工作了！（刷题APP的天花板）_软件测试刷题小程序-CSDN博客文章浏览阅读2.5k次，点赞85次，收藏11次。你知不知道有这么一个软件测试面试的刷题小程序。里面包含了面试常问的软件测试基础题，...
-
LLaMA-Factory 基于docker的大模型多卡分布式微调
LLaMA-Factory是一个相当优秀的微调工具。这里提供一个dockerfile和一个train脚本，用于多卡微调，供大家参考。 Dockerfile FROM nvidia/cuda:12.1.0-cudnn8-devel-ubuntu22.0...
-
OpenAI ChatGPT-4开发笔记2024-08：windows本地环境下载Llama 2
Step 1: Ask for permission on Meta’s website To be able to download the model, you first need to agree to some terms and condi...
-
小扎宣布进军AGI！Meta正在训练Llama 3，目标是60万块H100！模型仍会开源
今日，扎克伯格在Instagram上通过一则视频官宣，Meta要进军AGI了！ 扎克伯格认定Meta的长期愿景是构建通用智能，将其负责任地开源，使其广泛可用并造福全人类，扎克伯格还透露了以下几点信息： 1、将两大 AI 研究团队 FAIR 和...
-
Llama 3官网体验入口 媲美OpenAI GPT-4 AI模型免费使用下载地址
Llama 3是Meta开发的下一代开源语言模型，旨在与OpenAI的GPT- 4 相媲美。这款产品计划于 7 月发布，将更加响应用户，并对复杂话题提供上下文而不是简单阻止问题。Llama3 的参数数量可能超过 1400 亿，是Llama2 的两倍。目前尚...
-
十分钟读完 Meta提出Llama 2模型的经典论文：Llama 2: Open Foundation and Fine-Tuned Chat Models
超越GPT-3：Meta AI发布新一代开源人工智能对话大模型Llama 2 引言：介绍 Llama 2 的发布背景和其在对话用例中的优化。 随着人工智能技术的飞速发展，大型语言模型（LLMs）已经成为了人类智能助手的代表，它们在需要专业知识的复杂推理...
-
可视化FAISS矢量空间并调整RAG参数提高结果精度
随着开源大型语言模型的性能不断提高，编写和分析代码、推荐、文本摘要和问答(QA 对的性能都有了很大的提高。但是当涉及到QA时，LLM通常会在未训练数据的相关的问题上有所欠缺，很多内部文件都保存在公司内部，以确保合规性、商业秘密或隐私。当查询这些文件时，会...
-
能力与可信度可以兼得？GPT-4、Gemini等多模态大模型评测报告来了
2023 年我们正见证着多模态大模型的跨越式发展，多模态大语言模型（MLLM）已经在文本、代码、图像、视频等多模态内容处理方面表现出了空前的能力，成为技术新浪潮。以 Llama 2，Mixtral 为代表的大语言模型（LLM），以 GPT-4、Gemi...
-
如何在 MacBook Pro 上安装 LLama.cpp + LLM Model 运行环境
如何在 MacBook Pro 上安装 LLama.cpp + LLM Model 运行环境 1. 问题与需求 近段时间想学习一下大语言模型的本地化部署与应用。首先遇到的就是部署硬件环境的问题。我自己的笔记本是一台 MacBook Pro M3，没...
-
10｜AI连接外部资料库，让Llama Index带你阅读一本书
有不少人在使用 OpenAI 提供的 GPT 系列模型的时候，都反馈效果并不好。这些反馈中有一大类问题，是回答不了一些简单的问题。比如当我们用中文问 AI 一些事实性的问题，AI 很容易胡编乱造。而当你问它最近发生的新闻事件的时候，它就干脆告诉你它不知道...
-
科技公司担忧，澳大利亚新标准或削弱AI保护在线安全能力
澳大利亚近期发布的新在线安全标准引起了科技公司的担忧，特别是微软、Meta和Stability AI等。这些标准旨在规范生成式人工智能（generative AI）等技术，以防止其被滥用，但科技公司担心这可能对其AI系统的保护在线安全的能力产生负面影响。...
-
LLaMa 3或将推迟到7月发布，剑指GPT-4，从Gemini吸取教训
过去的图像生成模型常被人们诟病人物主要以「白人」为主，而谷歌 Gemini 正在因为它的矫枉过正而深陷翻车风波。它「过度谨慎」的文生图结果会与历史事实出现极大偏差，让用户们瞠目结舌。谷歌表示，该模型变得比开发者预期的更加谨慎。这不仅体现在生成图片的问题上...
-
陈丹琦团队新作：Llama-2上下文扩展至128k，10倍吞吐量仅需1/6内存
陈丹琦团队刚刚发布了一种新的LLM上下文窗口扩展方法： 它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。 除此之外，它还能大大降低训练成本：...
-
用GGUF和Llama .cpp量化Llama模型
用GGUF和Llama .cpp量化Llama模型 什么是GGML 如何用GGML量化llm 使用GGML进行量化 NF4 vs. GGML vs. GPTQ 结论 由于大型语言模型（LLMS）的庞大规模，量化已成为有效运行它们的必要...
-
今日AI：Ideogram 1.0图像生成模型发布；Midjoureny下周推人物一致性；包小柏用AI“复活”女儿；Stable Diffusion可以直接生成透明PNG图片了
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 Midjouren...
-
英伟达最强通用大模型Nemotron-4登场！15B击败62B，目标单张A100/H100可跑
最近，英伟达团队推出了全新的模型Nemotron-4，150亿参数，在8T token上完成了训练。 值得一提的是，Nemotron-4在英语、多语言和编码任务方面令人印象深刻。 论文地址：https://arxiv.org/abs/2402.1681...
-
微软6页论文爆火：三进制LLM，真香！
这就是由微软和中国中科院大学在最新一项研究中所提出的结论—— 所有的LLM，都将是1.58 bit的。 具体而言，这项研究提出的方法叫做BitNet b1.58，可以说是从大语言模型“根儿”上的参数下手。 将传统以16位浮点数（如FP16或BF16）形...
-
随着AI控制你的智能手机，Appt时代的结束可能已经指日可待
在2024年世界移动通信大会上，不可能不提及AI，其中有一件事已经变得明确：AI肯定会占据我们的智能手机。 在巴塞罗那举行的科技活动上，几家公司和芯片制造商来演示了GenAI工具可以进入我们口袋的方式。 当然，你的手机已经可以访问ChatGPT或谷歌的...
-
Llama中文大模型-模型部署
选择学习路径 快速上手-使用Anaconda 第 0 步：前提条件 确保安装了 Python 3.10 以上版本。 第 1 步：准备环境 如需设置环境，安装所需要的软件包，运行下面的命令。 git clone https:/...
-
windows 下跑起大模型（llama）操作笔记
原贴地址：https://testerhome.com/topics/39091 前言 国内访问 chatgpt 太麻烦了，还是本地自己搭一个比较快，也方便后续修改微调啥的。 之前 llama 刚出来的时候在 mac 上试了下，也在 windows...
-
知名AI研究者深挖谷歌Gemma：参数不止70亿，设计原则很独特
就在几天前，开源大模型领域迎来了重磅新玩家：谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 谷歌发布了包含两种权重规模的模型：Gemma 2B 和 Gemma...
-
揭秘「 B 站最火的 RAG 应用」是如何炼成的
近日，bilibili 知名科技 UP 主“Ele 实验室”发布了一个视频，标题为“当我开发出史料检索 RAG 应用，正史怪又该如何应对？” 。 视频连续三天被平台打上“热门”标签，并迅速登上科技板块全区排行榜前列。截至目前，视频的观看量近 70 万，评...
-
每日AI：Pika推出Lip Sync功能；阿里推对口型视频生成工具EMO；DomoAI推fusion style功能；GitHub上线Copilot Enterprise通用版本
欢迎来到【每日AI】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。 新鲜AI产品点击了解：https://top.aibase.com/ ???AI应用 Pika推出Lip...
-
千卡利用率超98%，详解JuiceFS在权威AI测试中的实现策略
2023 年 9 月，AI 领域的权威基准评测 MLPerf 推出了 Storage Benchmark。该基准测试通过模拟机器学习 I/O 负载的方法，在不需要 GPU 的情况下就能进行大规模的性能压测，用以评估存储系统的在 AI 模型训练场景的适用性。...
-
谷歌开源大模型Gemma带来了什么，原来“中国制造”的机会早已到来
谷歌罕见open的AI，给开源大模型到底带来了什么？ Gemma从发布到现在已经时过四日，谷歌久违的这次开源，可谓是给全球科技圈投下了一枚重磅炸弹。 在最初发布之际，不论是从谷歌官方还是Jeff Dean的发文来看，都强调的是Gemma 7B已经全面超越...
-
LLaMA v1/2模型结构总览
LLaMA v1/2模型结构总览 孟繁续 目录 收起 结构 Group Query Attention(V2 only RMSNorm SwiGLU RoPE llama2 出来了，并且开源可商用，这下开源社区又要变天了。快速...
-
MobiLlama官网体验入口 手机端小型AI语言模型免费下载地址
MobiLlama是一个为资源受限设备设计的小型语言模型（SLM），旨在提供准确且轻量级的解决方案，满足设备上的处理需求、能效、低内存占用和响应效率。MobiLlama从更大的模型出发，通过精心设计的参数共享方案来降低预训练和部署成本。 点击前往Mobi...
-
【Llama2 windows部署详细教程】第二节：llama.cpp成功在windows上编译的秘诀
Llama2 开源大模型推出之后，因需要昂贵的算力资源，很多小伙伴们也只能看看。好在llama.cpp推出之后，可对模型进行量化，量化之后模型体积显著变小，以便能在windows CPU环境中运行，为了避免小伙伴们少走弯路，下面将详细介绍llama.cpp...
-
端侧最强，Meta田渊栋等人卷10亿以下参数小模型，LeCun：小技巧启动
「在移动设备上运行 LLM？可能需要 Meta 的一些技巧。」刚刚，图灵奖得主 Yann LeCun 在个人社交平台表示。 他所宣传的这项研究来自 Meta 最新论文《 MobileLLM: Optimizing Sub-billion Paramet...
-
【llm 微调code-llama 训练自己的数据集 一个小案例】
这也是一个通用的方案，使用peft微调LLM。 准备自己的数据集 根据情况改就行了，jsonl格式，三个字段：context, answer, question import pandas as pd import random import...
-
Mistral AI新模型对标GPT-4，不开源且与微软合作，网友：忘了初心
生成式 AI 领域，又有重量级产品出现。 周一晚间，Mistral AI 正式发布了「旗舰级」大模型 Mistral Large。与此前的一系列模型不同，这次 Mistral AI 发布的版本性能更强，体量更大，直接对标 OpenAI 的 GPT-4。而...
-
下一个OpenAI来了？Mistral超大杯模型直逼GPT-4，93年创始人6人公司被微软认领
下一个OpenAI来了？ 开源社区的另一个中心Mistral AI，刚刚发布了最强力的旗舰模型Mistral Large，性能直接对标GPT-4！（但可惜的是没有开源） Mistral Large具备卓越的逻辑推理能力，能够处理包括文本理解、转换以及代...
-
谷歌10M上下文窗口正在杀死RAG？被Sora夺走风头的Gemini被低估了？
要说最近最郁闷的公司，谷歌肯定算得上一个：自家的 Gemini 1.5 刚刚发布，就被 OpenAI 的 Sora 抢尽了风头，堪称 AI 界的「汪峰」。 具体来说，谷歌这次推出的是用于早期测试的 Gemini 1.5 的第一个版本 ——Gemini 1...
-
跨越千年医学对话：用AI技术解锁中医古籍知识，构建能够精准问答的智能语言模型，成就专业级古籍解读助手（LLAMA）
跨越千年医学对话：用AI技术解锁中医古籍知识，构建能够精准问答的智能语言模型，成就专业级古籍解读助手（LLAMA） 介绍：首先在 Ziya-LLaMA-13B-V1基线模型的基础上加入中医教材、中医各类网站数据等语料库，训练出一个具有中医知识理解力的预...
-
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
一、引言 Llama 2是Meta在LLaMA基础上升级的一系列从 7B到 70B 参数的大语言模型。Llama2 在各个榜单上精度全面超过 LLaMA1，Llama 2 作为开源界表现最好的模型之一，目前被广泛使用。 为了更深入地理解Llama 2的...
-
高质量论文中文翻译：Lag-Llama: 朝向基础模型的概率时间序列预测 Lag-Llama: Towards Foundation Models for Probabilistic Time S
Lag-Llama: 朝向基础模型的概率时间序列预测Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting 文章目录 摘要 介绍 我们的贡献...
-
全球最强开源大模型一夜易主！谷歌Gemma 7B碾压Llama 2 13B，今夜重燃开源之战
一声炸雷深夜炸响，谷歌居然也开源LLM了？！ 这次，重磅开源的Gemma有2B和7B两种规模，并且采用了与Gemini相同的研究和技术构建。 有了Gemini同源技术的加持，Gemma不仅在相同的规模下实现SOTA的性能。 而且更令人...
-
Llama中文大模型
关于Llama中文大模型 欢迎来到Llama中文大模型：已经基于大规模中文数据，从预训练开始对Llama2模型进行中文能力的持续迭代升级。 Llama中文大模型 ：https://github.com/LlamaFamily/Llama-Chine...
-
【AI】Chinese-LLaMA-Alpaca-2 1.3B 7B 13B llama.cpp 量化方法选择及推理结果测试 x86_64 RTX 2060 6G 生成程序源码测试
1.3B Q4_0 (很快，没用 llm_load_print_meta: model type = ?B llm_load_print_meta: model ftype = Q4_0 llm_load_print_meta:...
-
选择最适合数据的嵌入模型：OpenAI 和开源多语言嵌入的对比测试
OpenAI最近发布了他们的新一代嵌入模型embedding v3，他们将其描述为性能最好的嵌入模型，具有更高的多语言性能。这些模型分为两类:较小的称为text- embeddings -3-small，较大且功能更强大的称为text- embeddin...
-
AIGC 实战：如何使用 Docker 在 Ollama 上离线运行大模型（LLM）
Ollama简介 Ollama 是一个开源平台，用于管理和运行各种大型语言模型 (LLM ，例如 Llama 2、Mistral 和 Tinyllama。它提供命令行界面 (CLI 用于安装、模型管理和交互。您可以使用 Ollama 根据您的需求下载...
-
GPT-4正接管人类数据专家！先验知识让LLM大胆预测，准确率堪比传统方式
在数据科学中，AI研究员经常面临处理不完整数据集的挑战。 然而，许多已有的算法根本无法处理「不完整」的数据序列。 传统上，数据科学家会求助于专家，利用他们的专业知识来填补空白，然而这一过程既耗时，却又不实用。 如果AI可以接管专家的角色，又会如何呢？ 近...
-
LLaMA 2 - 你所需要的一切资源
摘录 关于 LLaMA 2 的全部资源，如何去测试、训练并部署它。 LLaMA 2 是一个由 Meta 开发的大型语言模型，是 LLaMA 1 的继任者。LLaMA 2 可通过 AWS、Hugging Face 等提供商获取，...
-
Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference
1 Architecture 如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIM chip 的存储至少要4GB。 AiM单个bank为32MB，单个die 512MB，至少需要8个die的芯片。 8个die...
-
AI网站生成器10web计划将AI建站引入WordPress
位于亚美尼亚科技公司10web正致力于将人工智能应用于WordPress网站建设，通过整合Llama2、GPT-4和Stable Diffusion等生成AI模型，力图提高WordPress网站建设的易用性。相较于Wix和Squarespace等闭源解决方...
-
借助知识图谱和Llama-Index实现基于大模型的RAG
幻觉是在处理大型语言模型（LLMs）时常见的问题。LLMs生成流畅连贯的文本，但经常产生不准确或不一致的信息。防止LLMs中出现幻觉的一种方法是使用外部知识源，如提供事实信息的数据库或知识图谱。 矢量数据库和知识图谱使用不同的方法来存储和表示数据。矢量数...
-
Llama 2论文详解
摘要 Llama 2是一组经过预训练和微调的大语言模型，参数规模从70亿到700亿不等，其中，Llama 2-Chat是针对对话用例进行优化的微调模型。在大多数基准测试中优于开源chat模型，在人类评估中表现出色，特别是在有用性和安全性方面。因此，Lla...
-
开源大模型王座易主！谷歌Gemma杀入场，笔记本可跑，可商用
刚刚，谷歌杀入开源大模型。 开源领域大模型，迎来了重磅新玩家。 谷歌推出了全新的开源模型系列「Gemma」。相比 Gemini，Gemma 更加轻量，同时保持免费可用，模型权重也一并开源了，且允许商用。 Gemma 官方页面：https://ai.goo...
-
模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向
在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。 现在，2024 年的第一个月已经过去...
-
谷歌最新开源的 Gemma 模型，秒杀 Llma-2！
Gemma 是什么 Gemma 是一个轻量级、最先进的开放式模型系列，采用了与创建 Gemini 模型相同的研究和技术。Gemma 由 Google DeepMind 和 Google 的其他团队共同开发，其灵感来源于双子座，名字反映了拉丁语 gemm...