?日报&周刊合集 | ?生产力工具与行业应用大全 | ? 点赞关注评论拜托啦!
? 国产大模型进入生态构建阶段,纷纷出炉开发者激励计划
https://www.moonshot.cn
2月5日,月之暗面 Moonshot AI 开放平台正式启动公开测试。
目前,Moonshot AI 开放平台提供 moonshot-v1-8k / 32k / 128k三个基础。开发者注册后都将获得价值 15 元的体验包,相当于 125 万 tokens (8k模型) 或 62.5 万 tokens (32k模型) 用量的价值。
尤其值得注意的是,平台 API 与 OpenAI 兼容,方便开发者进行平滑迁移 ⋙ 了解详情
https://api.minimax.chat/cooperation-partners
2月14日,MiniMax 发布「大法师计划」招募开发者,并宣布为全球大模型初创公司和开发者免费提供 2000 亿 tokens ⋙ 申请入口
智谱 AI 近期也推出智能体创作者激励计划,提供最高50万元 tokens 支持额度,以及多项流量/宣传/投资支持,鼓励创作者积极创作 ⋙ 保持关注
? Reddit 与某公司达成数据授权协议:终于搭上了AI的东风!收拾收拾,准备第三轮 IPO
https://arstechnica.com/information-technology/2024/02/your-reddit-posts-may-train-ai-models-following-new-60-million-agreement
补充一份背景:Reddit 是一个新闻聚合和讨论的论坛,有「美版贴吧」之称:按照主题划分不同的讨论版块,用户可以就共同感兴趣的话题进行讨论
2021年12月,Reddit 首次申请上市。2022年1月,Reddit邀请摩根士丹利与高盛银行协助上市事宜,但因为市场环境变化且美股 IPO 迅速冻结,Reddit 上市这件事也就没了下文。
日前有消息显示,Reddit 将与一家未透露名称的「大型AI公司」达成一项数据授权协议:允许后者访问其用户生成的内容,并且对方可基于Reddit海量用户生成的内容开发训练自己的AI大模型,且每年续签。
在许多业内人士看来,处在第三次 IPO 当口的 Reddit,这无疑是把用户「卖」了个好价钱 ⋙ 这篇详细介绍了 Reddit 的发展历程
不过,2023年 Reddit 频繁与AI扯上关系,是因为大模型浪潮兴起后 Reddit 的一系列舆论风浪。
大模型公司为了获取足够多的训练语料,可以说是无所不用其极,Reddit 这样集中且优质的信息平台自然也成为数据爬取的集中目标。
没有享受到大模型发展红利却独自承担服务器成本的 Reddit,开始与各大AI公司接洽数据购买事宜,还在2023年4月份更改了API,转向第三方应用程序收费模式,来节约成本和提高谈判筹码。
但是,这一变更被解读为「变相“杀死”第三方客户端」的一石二鸟之计。受此影响的用户和开发者在6月份组织了一场声势浩大的抗议,许多论坛管理员决定关闭讨论分区,或将讨论分区转为私密状态,这次大范围抗议活动甚至造成了整个 Reddit 平台暂时瘫痪。一时之间,双方势同水火 ⋙ 感兴趣可以阅读这篇了解详情
? 秘塔AI搜索脱颖而出,更细腻的使用体验,更完备的搜索来源
https://metaso.cn/
秘塔AI搜索是一款AI搜索增强应用,输入搜索关键词后可以直接生成完整答案并给出参考来源,使用方法与我们熟知的 perplexity、天工AI搜索等非常接近。
但是!秘塔AI搜索在使用体验设计方面有非常多的巧思:搜索与生成过程中的进度条、要点大纲&要点思维导图、事件表格等的设计呈现让人眼前一亮!
更重要的是,秘塔AI搜索提供的信息参考来源的数量一般20个起步,比其他工具的5-10个要多很多,并且可以覆盖非常新的消息~ 整体使用体验不错!
秘塔AI搜索隶属于上海秘塔网络科技有限公司,其比较知名的产品包括秘塔写作猫、秘塔翻译等
AI增强搜索工具清单 (收藏)
Perplexity https://www.perplexity.ai
Arc https://arc.net
Lepton Search https://search.lepton.run
天工AI搜索 https://search.tiangong.cn
秘塔AI搜索 https://metaso.cn
简单搜索 https://secr.baidu.com
devv (国内版) https://devvcn.com
devv (海外版) https://devv.ai
? 拾象专访月之暗面杨植麟:lossless long context is everything
https://m.okjike.com/originalPosts/65d37e623b9c66cae440ecdd
补充一份背景:36氪和晚点陆续报道了月之暗面新一轮融资的消息,二者数据略有差异,不过B轮融资应该确有其事,恭喜 ???
拾象科技 ( 海外独角兽) 年前发布了对「月之暗面创始人创始人杨植麟」的专访总结。杨植麟的公开发言和采访次数不多,但每次都保持了相当的水准。
三个月前,极客公园创始人张鹏与杨植麟的 这次对话 聊到了创业历程、技术、战略、组织、产品和人才等等,信息密度也非常高,强烈推荐阅读 ( ̄︶ ̄*))
拾象科技 ( 海外独角兽) 这次的对谈主题比较聚焦,主要就是技术发展和组织人才,最核心围绕的观点就是「Lossless long context is everything」,也就是他说的「如果你有 10 亿的 context length,今天看到的问题都不是问题」。
日报整理了几个核心要点,依旧非常推荐你拿出20分钟左右的时间 [⋙ 阅读全文]https://mp.weixin.qq.com/s/UMY0qZsCGh87KnW4wjfvoA)
AI的核心是scaling law (规模法则)。今天能看到最好的模型是 10 的 25 到 26 次方 FLOPs 这种规模。这个数量级接下来肯定还会持续增长,所以算力是个必要条件,因为机器学习或者 AI 研究了七八十年,唯一 work 的东西其实是 scaling Law,就是放大这几种生产要素(如算力、数据等)。
月之暗面与OpenAI的差异化路径在于技术愿景和技术空间的不同。很多领域并不是 OpenAI 的核心竞争力 (比如图片生成),而 AGI 目前的技术空间还足够大,有充分的差异化机会。
除了技术层面,价值观上我们有一点和 OpenAI 不同:我们希望在下一个时代,能成为一家结合 OpenAI 技术理想主义和字节所展现的商业化哲学观的公司
通往 AGI 的话,long-context 会是一个很重要的点。所有问题都是 long-context 的问题 —— 历史上所有的架构演进本质上都是在提升有效的 context length。如果你有 10 亿的 context length,今天看到的问题都不是问题。
26 年的时候也许模型用于推理的计算量会远远大于训练本身,可能花 10 倍的成本去推理,推理完之后花一倍的成本来训练。会出现新的范式,推理即训练,而且这个推理不是为任何用户服务的,只为自己本身的合成数据服务。
AI-Native 产品最终的核心价值是个性化交互,这是以前技术实现得不好的,所以这个问题其实是关于个性化的 —— 怎么让用户使用你的产品多了之后,获得高度个性化的互动体验。
以前做产品是通过了解用户的需求设计功能,新时代需要在制造的过程中完成设计。ChatGPT 就是通过制造完成设计,并没有先设计出来一堆场景再找对应的算法。
未来的入口至少有两个,一个是有用的,一个是好玩的。信息入口可能不存在了,智能的入口以后大概率会覆盖搜索引擎这类信息入口。AGI 的入口应该直接帮用户完成任务,而不是帮他们获取信息。
? AIGC教育行业全景报告:AI助教和家教成真,学习机迎来新机遇
ShowMeAI知识星球资源编码:R228
教育是 AIGC 最有前景的落地领域之一,这已经是业内达成的普遍共识了。时间来到2024年,国内教育领域 AIGC 发展到什么程度了?有哪些不错的大模型和应用?教育发展会衍生出哪些新趋势?
量子位这份报告完整地整理了 AIGC+教育 产业生态布局、头部公司业务的发展现状、TOP品牌的产品销量,以及未来发展趋势预测、头部厂商拆解 (包括松鼠Ai、网易有道、科大讯飞、学而思、幻霄科技)。
可以说,看完这份报告,对于国内 AIGC 教育领域的发展现状,能做到了然于胸啦~ 以下是报告核心页面,感兴趣可以前往星球下载完整版。
? GitHub Star 飙升的 LLM 学习路线图:知识要点 + 学习资料 + 实战引导
https://github.com/mlabonne/llm-course
这是一份大语言模型的学习路线图,分成了「LLM Fundamentals (大模型基础知识)」「The LLM Scientist (大模型科学家)」「The LLM Engineer (大模型工程师)」三个板块。
在每个板块中,作者还给出了详细的知识分类、学习要点和参考资料。是一份非常不错的学习路线图 ヾ(•ω•`)o
以下是对路线图中提到的要点进行了整理,感兴趣可以 Follow 一下原项目哦!
LLM基础知识
数学基础:线性代数、微积分、概率与统计
Python编程:Python基础、数据科学库、数据预处理、机器学习库
神经网络:基础、训练与优化、过拟合、实现 MLP
自然语言处理 (NLP):文本预处理、特征提取技术、词嵌入、循环神经网络 (RNNs)
LLM科学家
LLM架构:高级别视图、标记化、注意力机制、文本生成
构建指令数据集:Alpaca-like数据集、高级技术、数据过滤、提示模板
预训练模型:数据管道、因果语言建模、扩展定律、高性能计算
监督式微调 (SFT):全微调、LoRA、QLoRA、Axolotl、DeepSpeed
强化学习从人类反馈 (RLHF):偏好数据集、Proximal Policy Optimization (PPO)、Direct Preference Optimization (DPO)
评估:传统指标、通用基准、任务特定基准、人类评估
量化:基础技术、GGUF和llama.cpp、GPTQ和EXL2、AWQ
新趋势:位置嵌入、模型合并、专家混合 (MoE)、多模态模型
LLM工程师
运行LLM:LLM API、开源LLM、提示工程、结构化输出
构建向量存储:文档摄取、文档分割、嵌入模型、向量数据库
检索增强生成 (RAG):协调器、检索器、记忆、评估
高级RAG:查询构建、代理和工具、后处理
推理优化:Flash Attention、键值缓存、推测性解码
部署LLM:本地部署、演示部署、服务器部署、边缘部署
保护LLM:提示黑客攻击、后门攻击、防御措施
感谢贡献一手资讯、资料与使用体验的 ShowMeAI 社区同学们!
◉ 点击 ?日报&周刊合集,订阅话题 #ShowMeAI日报,一览AI领域发展前沿,抓住最新发展机会!
◉ 点击 ?生产力工具与行业应用大全,一起在信息浪潮里扑腾起来吧!