-
llama模型，nano
目录 llama模型 Llama模型性能评测 nano模型是什么 Gemini Nano模型 参数量 MMLU、GPQA、HumanEval 1. MMLU（Massive Multi-task Language Understanding）...
-
山东大学项目实训（十六）:基于LLaMA-Factory的微调模型评估和测试
在LLaMA-Factory的Evaluate & Predict界面进行评测 原始模型评测 微调后模型评测 可以看到，微调之后的模型在各个指标上有了显著提升 在完成大型语言模型（如 ChatGLM）的微调后，对模型进行全面评估...
-
LLM 评估汇总：真的吊打 LLaMA-3，媲美 GPT-4 吗？
一、背景 在过去的一年多里，国内在大模型领域的发展异常迅速，涌现出上百个大模型，许多模型已经迭代了多个版本，并且各种指标不断刷新。与此同时，我们也经常在国内的一些文章中看到声称“吊打 LLaMA 3”或“媲美 GPT-4”的说法。那么，国内的大模型真的已...
-
一文读懂 Arthur Bench LLM 评估框架
Hello folks，我是 Luga，今天我们来聊一下人工智能(AI 生态领域相关的技术 - LLM 评估 。 众所周知，LLM 评估是人工智能领域的一个重要议题。随着 LLM 在各个场景中的广泛应用,评估它们的能力和局限性变得越来越重要。作为一款新兴...
-
CoT提出者Jason Wei：大模型评估基准的「七宗罪」
在 CV 领域，研究者一直把李飞飞等人创建的 ImageNet 奉为模型在下游视觉任务中能力的试金石。 在大模型时代，我们该如何评估 LLM 性能？现阶段，研究者已经提出了诸如 MMLU、GSM8K 等一些评估基准，不断有 LLM 在其上刷新得分。 但这...
-
AI辅写疑似度多少正常：一篇解析AI写作助手疑似度评估的文章
大家好，小发猫降重今天来聊聊AI辅写疑似度多少正常：一篇解析AI写作助手疑似度评估的文章，希望能给大家提供一点参考。 以下是针对论文重复率高的情况，提供一些修改建议和技巧，可以借助此类工具： AI辅写疑似度多少正常：一篇解析AI写作助手疑似度评估的...
-
史上首个100%开源大模型重磅登场！破纪录公开代码/权重/数据集/训练全过程，AMD都能训
多年来，语言模型一直是自然语言处理（NLP）技术的核心，考虑到模型背后的巨大商业价值，最大最先进的模型的技术细节都是不公开的。 现在，真·完全开源的大模型来了！ 来自艾伦人工智能研究所、华盛顿大学、耶鲁大学、纽约大学和卡内基梅隆大学的研究人员，联合发表了...
-
为什么在教育中使用人工智能
作为教师的助手和学生的向导，教育中的人工智能可以改变整个教育行业。其允许老师和学生在需要的时候提取有用的信息，还有其他一些好处。 一般而言，一个教室里学生和老师的比例相对较高，有时，一个老师管理和给予所有学生同样的关注是很困难的。在教育中，AI可以充当...
-
哈佛大学基于GPT开发AI辅助教学工具CS50.ai
在 ChatGPT 刚出来的时候，很多大学就禁止使用 ChatGPT、GitHub Copilot 等 AI 辅助工具，防止学生作弊。而哈佛大学意识到，如果不利用 AI 的强大潜力来丰富学生的学习过程，那将错失一个宝贵机遇，这是非常可惜的。因此，他们积极地...
-
AI如何走向负责？英国标准协会给出了答案
人工智能(AI 是当今世界最具革命性和影响力的技术之一，它已经渗透到了各个领域和行业，为人类的生活和工作带来了巨大的便利和价值。但是AI的发展和应用也伴随着各种挑战和风险，如何确保AI的安全、可信和可持续，如何平衡AI的创新和伦理，如何保护AI的利益相关...
-
微软推大模型整合性工具库PromptBench
微软最近推出了一个专门用于评估大语言模型的整合性工具库，名为PromptBench。该工具库提供了一系列工具，包括创建不同类型的提示、进行数据集和模型加载、执行对抗性提示攻击等，以支持研究人员从不同方面对LLMs进行评估和分析。 项目地址:https:/...
-
IT领域最被低估的六项技术，再加上一项尚未消亡的技术
译者 | 晶颜 审校 | 重楼 2023年，生成式人工智能——更具体地说是ChatGPT——吸引了业界的广泛关注，深得董事会、首席执行官和其他高管的一致赞赏（也不乏害怕情绪）。当然，他们的热情是有道理的，多项研究发现，人工智能正在带来强大的价值和投资回报...
-
南开&山大&北理工团队开发trRosettaRNA：利用Transformer网络自动预测RNA 3D结构
RNA 3D 结构预测是一个长期存在的挑战。 受最近蛋白质结构预测领域突破的启发，南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA，这是一种基于深度学习的自动化 RNA 3D 结构预测方法。 trRosettaRNA 流程包括...
-
「GPT-4只是在压缩数据」，马毅团队造出白盒Transformer，可解释的大模型要来了吗？
RNA3D 结构预测是一个长期存在的挑战。 受最近蛋白质结构预测领域突破的启发，南开大学、山东大学以及北京理工大学的研究团队开发了 trRosettaRNA，这是一种基于深度学习的自动化 RNA3D 结构预测方法。 trRosettaRNA 流程包括两个主...
-
Cranium筹集2500万美元 为企业AI提供安全和合规性解决方案
Cranium是一家总部位于新泽西的初创公司，专注于提供企业AI监控、安全和合规性解决方案。最近，该公司宣布成功筹集2500万美元的资金，这一轮融资由Telstra Ventures领投，KPMG LLP和SYN Ventures参与，使Cranium的总...