AI是否真的会取代你的工作,或者是掌握AI技能的人将会取代你?随着2023年AI技术的爆炸式增长,许多人开始质疑,如果不掌握如ChatGPT、Midjourney或Stable Diffusion等AI工具,是否就意味着被时代淘汰?进一步地,如何自主训练AI大模型、开发自己的AI产品?这些疑惑在许多人心中盘旋。今天,我们将一起探索这些问题的答案。
想要成为一名AIGC(人工智能生成内容)大模型工程师,究竟需要哪些系统性的知识和技能呢?毕竟,这是一个跨学科的领域,既包含了机器学习和自然语言处理,也涉及到软件工程等多个重要方面。接下来,让我们一步步揭开由浅入深的知识体系框架,是否准备好开始这段探索之旅了呢?
第一阶段A1
你可以构建提示词来解决具体应用问题,大模型应用阶段,使用闭源商业大模型例如:文心一言、星火大模型、ChatGPT
投入:各种AIGCSaaS软件的订阅,例如:GPT 4 20美元/月
知识储备: 大模型提示(prompt)工程、Stable Diffusion
应用场景举例:用ChatGPT做网文作者、用MJ或者SD来做图片生成和视频产出
但实际上这并不具有太大的知识壁垒,我们可以使用AI工具、提示词优化的方式解决某些问题,而这离成为一个大模型工程师还有一段距离。
第二阶段A2
你可以通过程序调用闭源大模型API,将针对应用撰写的提示词封装到已有的系统中,借助闭源大模型的能力,在现有软系统上实现功能扩展或构建新的应用
投入:API费用,例如gpt-3.5-turbo-1106 输入费用:$0.0010 / 1K tokens
知识储备: Python基础、大模型prompt应用及API、Plugins调用、大模型编程、大语言模型发展历程
应用场景举例:聊天机器人,利用闭源大模型API,如ChatGPT、文心一言等,来实现自然语言理解和生成的功能。基于用户输入的Prompt,机器人能够生成合适的回应。
岗位:提示词工程师
第三阶段A3
你能够针对大模型在已有提示词上的性能表现不足的问题,构建面向任务的指令训练语料,对大模型进行有监督的指令微调,提升大模型在应用上的性能。
投入:开源: 1-100块A100,例如 微软云Azure A100 80GB 单卡 30元/小时
显卡价格 A100 74000元/张
API费用,例如:gpt-3.5-turbo 训练费用:$0.0080 / 1K tokens
知识储备:大模型训练流程及主流模型对比、大模型开发工具、大模型Finetune技术、Finetune实践、思维链COT
应用场景举例:R语言数据处理辅助工具Rtutor,在2023年11月9号前RTutor的底层模型都是针对R语言编程能力微调过得Davinci model,RTutor利用经过微调的模型来辅助进行数据分析,能够解释数据分析结果,并提供数据可视化的建议。
岗位:AI应用工程师
第四阶段A4
你能够根据应用需求,借助langchian等大模型应用框架,通过集成领域或场景专业知识、调用智能体等,扩展大模型能力,构建专业的智能问答系统、知识检索系统或多智能体集成系统。
投入:1-100块A100(微调需求),显卡服务器租用例如微软云Azure A100 150000元/月、OpenAI Assistants API Retrival费用:$0.20 每GB
知识储备:大模型RAG LangChain、SK拆解、AutoGen原理以及实战
应用举例:以近屿智能的L5级别AI面试官,AI得贤招聘官的多轮对话能力为例:
以前,AI面试官是单向的,只能是AI面试官询问候选人问题,而候选人无法向AI面试官提问。而现在,L5级别的AI面试官已经具备多轮对话的能力。候选人可以随心所欲地向AI面试官提问,Al面试官也能够给予准确的回答,帮助候选人更好地了解雇主品牌和职位信息。这一改进增加了AI面试过程中的互动性和沟通效率。
岗位:AI大模型工程师
详细请戳图了解