仅初创公司的收入就超过 10 亿美元,随着 Gen AI 的早期成功迹象,每家有远见的科技公司都在竞相将 Gen AI 功能融入其产品、客户支持机器人和营销中。人工智能作为一种技能,正处于与 90 年代末互联网相似的交汇点,乃至完备相同。
1、AI的需求和培植者不断增加为了创造这一趋势,我查看了 YCombinator 的公司组合。对付那些不理解的人,YCombinator 是一家总部位于美国的著名创业加速器。他们支持了许多初创公司,这些初创公司现在已成为科技巨子,例如 Airbnb、Dropbox、Stripe 和 Reddit。
以下是我得到的结果,看看 2017 年至 2023 年利用 AI 进行构建的公司数量。自 2021 年以来,利用 AI 进行构建的公司数量显著增加,然后在 2022 年推出 ChatGPT 后激增。
这给了我们一些信心,在不久的将来会有越来越多的公司利用 AI 进行构建,从而导致对 AI 工程师的需求增加。
而且,对付任何程序员来说,这是开始构建和学习的最佳机遇。
NSDT工具推举: Three.js AI纹理开拓包 - YOLO合成数据天生器 - GLTF/GLB在线编辑 - 3D模型格式在线转换 - 可编程3D场景编辑器 - REVIT导出3D模型插件 - 3D模型语义搜索引擎 - AI模型在线查看 - Three.js虚拟轴心开拓包 - 3D模型在线减面 - STL模型在线切割
2、为什么是现在?!AI 开拓领域已经发展到足以快速启动开源 LLM、框架和现成的 API,社区也已经发展到足以得到所需的支持。
AI 初创公司、AI 加速器、开源存储库、SDK、软件包、云平台 — — 一个共同的主题 — — 以最快的速率构建、办理和交付。
曾经须要专门的研究团队和多年的密集事情,现在可以通过 API 文档和几天的专注努力来有效地管理。
那么,构建者(喜好构建产品的人)或工程师如何才能深入研究 AI 领域呢?
要回答这个问题,你该当首先理解该领域正在发生的统统。
3、AI 开拓层我将当今 AI 的紧张开拓领域分为 3 个不同的层。
AI 开拓层画布
运用程序开拓层这一层包括利用一些 AI 工程框架(如 Langchain、LlamaIndex、Autogen 等)在现成的 LLM API 之上开拓运用程序(接口),然后监控和评估您的运用程序。
这是最生动和最热门的层。这便是赢利的地方。用例越真实,代价就越大。要开拓这些 AI 运用程序,你须要节制一组分外的工程技能,我将在本文后面阐明。
模型开拓层再深入一层,我们在这里研究可以供应更优化模型的统统。利用各种工具对数据集进行工程设计、分布式演习、评估和基准测试以及推理做事。
这一层须要深度学习、分布式系统、数据集管理和工程方面的深厚专业知识。
根本举动步伐层支撑统统的是根本举动步伐层,包括硬件、云做事供应商和 GPU,这些大型模型在这些层上进行演习。
这一层须要打算(操作系统、网络、安全)、分布式系统以及 AI 模型开拓方面的深厚专业知识。
除此之外,还有另一层,用于研究人工智能风险和安全折衷,以防止泼皮人工智能。这是 OpenAI 今年早些时候推出的一项 1000 万美元的超级折衷补助金操持。
鉴于运用层最受关注,它导致对一种知道如何在人工智能之上构建的分外工程师的需求不断增加。虽然这些工程师没有标准术语,但大多数公司都称他们为AI工程师。
在我写这篇文章的时候,Chip Huyen 揭橥了一篇900 种最受欢迎的开源AI工具的文章,这进一步证明了我对AI工程师需求不断增长的不雅观察和创造:
有了现成的模型,任何人都可以在它们之上开拓运用程序。这一层在过去两年中行动最多,并且仍在快速发展。这一层也被称为AI工程。——Chip Huyen
4、AI工程师的定义那么,我们如何定义 AI 工程师的角色?他们须要成为 AI 或深度学习方面的专家吗?
AI 工程师是专门利用 AI 技能开拓全面的、与形式无关的运用程序的专业程序员。
“与形式无关”是指运用程序类型的多样性,从大略的谈天界面到繁芜的全栈运用程序、Chrome 扩展程序、Python 包或 SDK。
与深入研究算法根本的 AI 研究职员不同,AI 工程师专注于运用现有的 AI 模型来创建以用户为中央的产品。
但问题又来了,我不须要成为 AI 专家才能成为 AI 工程师吗?
简短的回答是“不须要”。
这个角色不须要对 AI 事理有详尽的专业知识,例如理解 Transformer 模型的内部事情事理,就像学习拍浮不须要深入研究浮力的物理学一样。
虽然对深度学习和机器学习的深入理解可以带来上风,供应独特的上风,但目前的行业需求更方向于实际运用而非理论研究。
那么,我们如何区分AI工程师和AI研究员呢?
5、AI 工程师 vs AI 研究员下图将工程技能(例如利用 API)与 AI 研究技能(例如设计模型架构或理解转换器的事情事理)进行了比拟。
AI 工程师善于创建 AI 驱动的运用程序,专注于最大化模型功能并优化大型措辞模型 (LLM) 的事情流程。
AI 工程师 vs AI 研究员
我还认为与机器学习原生(ML-native)人才比较,工程原生(engineering-native)人才将在这个角色中大放异彩。
你一定想知道,如果 AI 研究员是善于工程且在 AI 方面拥有深厚专业知识的人,那么为什么公司不雇用他们而不是 AI 工程师呢?
简而言之,稀缺性会导致本钱增加。
6、下一个重大技能角色—AI 工程师?以下是一些关于这个生态系统如何通过“模型即做事”快速发展的有趣见地:
需求和供应动态:所有顶尖的 LLM 研究职员都已被 Google、OpenAI、Microsoft 和 Meta 等巨子选中,而 LLM 研究职员的稀缺表明对 AI 工程师的需求急迫。这类专业职员是尖端研究与实际运用之间的桥梁,确保 AI 技能的更广泛可及性和履行。快速原型设计和敏捷性:与须要大量研究我们是否须要 ML 来办理问题的传统 ML 方法不同,AI 工程师可以利用现成的模型 API 快速原型化和迭代 AI 产品。创新变得更随意马虎、更快:根本模型在各种任务中表现出非凡的适应性,只需最少的投入,这对付利用这些功能创建超出研究职员最初设想范围的创新办理方案的 AI 工程师来说非常宝贵。推理优化以应对打算约束:对 GPU 的需求不断增长以及专用打算集群的形成凸显了在这些约束内优化模型性能和创新的 AI 工程师的主要性。虽然推举系统、敲诈检测和非常检测等传统 ML 问题将连续改进,但我们有一系列全新的 AI 运用程序须要知足。
HuggingFace 联合创始人 Clem Delangue 表示:
AI 是构建所有技能的新范式
因此,我们须要越来越多的 AI 工程师!
看看红衫成本的这张天生式 AI 市场图,运用层充满了险些每个领域的用例和公司:
图片来自红衫博客 — Generative AI’s Act Two
7、结束语总而言之,我们有:
行业领袖和AI领域的资深专家,如 Andrej Karpathy、Chip Huyen 和 Clem 等。YCombinator 等大型孵化器、风险投资公司和投资者一贯在投资AI公司,他们在人工智能领域投入了很永劫光,证明这是构建所有技能的下一个大范式。AI研究和工程之间的差距须要弥合,这将由AI工程师推动。AI驱动的运用程序生态系统正在快速发展——新的和改进的开拓职员工具、随时可用的 API、库和云平台每周都会推出。最主要的是,我们有一个不断壮大的社区来供应所需的支持。因此,现在是开始利用AI进行构建、节制这些技能并为下一个重大技能角色做好准备的时候了。
原文链接:AI工程师:重磅新角色 - BimAnt