当前位置 : 首页 - IT新闻 - 正文

2024年云中AI工程的三大关键趋势


发布时间:2024年07月17日

在过去的 20 年,创新为我们造就了众多转折点,于这些转折点处,全新的职业类别得以应运而生。回想一下,2006 年亚马逊网络服务推出后,云端架构师与开发者的职位便顺势出现;伴随 iPhone 和 Android 的兴起,移动开发者成为了崭新的职业角色;当我们积累了充足的数据和计算能力,足以让神经网络运行时,机器学习工程师这一职业就此产生;而后,上述三种趋势相互交汇融合,数据科学家的职业开始引人注目。

这些新职业的诞生均是对新兴技术的直接回应,它们不但改变了工作的方式,还塑造了全新的行业标准与需求。每一轮的技术革命都会催生一批新的专家角色,他们凭借最新的技术去解决繁杂的问题,有力地推动了社会和经济的发展。

沿着这样的演变轨迹,我们当下或许已经抵达了另一个转折点:AI 工程师的兴起。在过去几年,AI 工程师日益流行,他们处在运用大型语言模型及其相关工具来构建生成式 AI 聊天机器人、Agent 以及其他能力的前沿位置。

随着基础模型和 AI 工程的逐渐成熟,一些趋势开始显露。我们与 SADA 公司的 Google Cloud 供应商、人工智能和机器学习副首席技术官 Simon Margolis 进行交流,以了解他们对于当前 AI 工程领域的观察以及后续可能出现的状况。

“这取决于你在生成式AI总体采用曲线上的位置,”Margolis说。“有些人还在试水,而有些人则在ChatGPT风靡全球之前就已经在做生成式AI工作了。你在这条发展路径上的位置,实际上深深影响着你所关注的核心趋势。”

总体而言,Margolis在2024年中期为AI工程师指出了三大关键趋势:

1)无代码构建AI Agent:即使不具备编程背景或专业技能,如今也能轻松创建AI Agent,技术的门槛正被逐渐抹平。

2)传统AI与生成式AI的融合:不再是单一领域的探索,而是将机器学习与生成式AI等不同AI“模态”巧妙结合,创造出更加强大且灵活的应用场景。

3)AI自我迭代:利用生成式AI助力生成式AI Agent的构建,这一循环增强的过程,使得AI的进化更为高效与智能。

1.无需代码构建AI Agent

两大生成式AI平台——Google Cloud和OpenAI——都致力于让AI工程师能够更轻松地构建AI Agent,而无需过多纠结于基础模型或向量数据库本身。两者都引入了用于构建Agent的工具,Google Cloud的Vertex AI中的Agent Builder,以及OpenAI的GPT系列。

"对于早期的尝鲜者而言,最显著的趋势之一便是无需深厚技术功底就能打造生成式Agent," Margolis提到。"以往,你得精通Transformer和RAG等技术细节,但现在,这种需求大大降低了。”

他强调,虽然仍有极客在手造Agent,但Agent Builder和GPTs已成为主流工具,广泛应用于实践。

简化技术要求,让构建Agent变得触手可及,这不仅激发了创新,还赋予了一线业务人员自行搭建Agent的能力,减少了对专业开发者的依赖。

Margolis解释说:“简单来讲,你从各种来源——可能是私有数据库、互联网或是两者的结合——提取信息,然后利用这些数据指导AI工具或生成式助手的工作。”这与过去一两年流行的LangChain模式相似,即通过不断迭代提升输出质量,直至达到预期效果。不同的是,如今这个过程变得更加直观易懂。

借助Agent Builder和GPTs这类工具,即便是非专业人士也能轻松上手,仅凭日常语言或直观操作界面就能完成任务,使解决方案的实施变得更加直接有效。

2.融合传统AI与生成式AI

结合不同AI“模态”的想法可能对AI工程师来说更具实际兴趣。值得注意的是,当Margolis谈论模态时,他指的是我们可能认为的“传统”机器学习与新型基础模型和生成式AI之间的区别。这不同于生成式AI内部的模态概念,在那里输入和输出取决于媒介,如文本、音频、视频或翻译。

当Margolis提及“模态”时,他实际上是在区分传统机器学习领域与新兴的基础模型及生成式AI技术之间的工作方式和特性。换句话说,“模态”指的是不同类型的AI处理方式或技术路径。对于AI工程师而言,如何有效地结合这些不同的“模态”以创造更强大、多功能的AI系统是一项挑战和机遇。

“以往人们要么在生成式AI领域工作,要么在围绕推断和预测的传统机器学习世界里工作,但现在我们开始看到这两个领域的融合。”

Margolis强调,生成式AI的运用不必依赖于专门的AI代理或聊天机器人构建。他举例说明,在医疗保健领域,AI能以生成文本的方式整理和展现由医护人员录入的患者信息。随后,集成有推理功能的AI工具会在同一系统内分析这些信息,识别潜在的高风险病例。

回顾过去,Margolis解释道:“若要开发类似医疗案例的应用,我得求助于懂模型搭建的ML专家同事,他们可能得用JAX或TensorFlow帮我打造预测模型,还得亲自操作GPU硬件,整个过程牵涉繁重的ML工程和数据科学任务。”而今,借助生成式AI,他可以直接将所需数据输入到预训练模型中进行处理,这一转变要求截然不同的专业技能。

为了缩小传统机器学习与生成式AI间的鸿沟,诸如Google Cloud的Vertex AI平台之类的工具应运而生,SADA作为其优选合作伙伴,正致力于此。Margolis指出:“现在,工程师可以利用Vertex轻松创建AutoML模型。虽然这不是完全无代码的体验,但大大减少了编码需求。无需从头构建模型,无需编写TensorFlow或JAX代码,也无需管理GPU或底层系统架构。”

这样的进步意味着工程师们可以更加专注于应用层面的创新,而非被底层技术细节所束缚。

3.利用生成式AI来构建更多的生成式AI

尽管我们离计算机自我组装并自动编程的时代尚远,但AI工程界的一项引人注目的进展是,生成式AI正在助力构建更多同类型的AI实体、机器人以及应用程序。这是一个循环促进的过程,正如Margolis所说,它开启了广泛的参与机会。

“这确实是一个突破性的模式,让更多人有机会投身其中,”Margolis评论道。

他将此现象与云计算领域近十至十五年来的重要转折相提并论,尤其是2010年左右,开发者首次能够在云中便捷地部署虚拟机;再到2014年前后,移动应用的开发门槛显著降低,使得更多人得以加入。

“这就像我们在公有云时代所见证的‘啊哈’时刻,”Margolis回忆道,“当每个初学计算机科学或系统设计的学生,大约在2010年左右,都能独立搭建服务器和数据库时,那真是让人振奋。对于想要涉足AI领域的新人,一年半前还面临着一座难以逾越的高山。那时,你需要投入大量的时间和精力才能将你的构想变为现实。而现在,我们已处于一个创意即实践的阶段,有时,你甚至能在一顿午餐的时间内就完成一项初步作品。”

“如今,入行的障碍已被大幅削减,这对于所有人来说都是一大利好。”这意味着,生成式AI技术的探索和应用正变得越来越普及,为创新和实际应用开辟了更广阔的空间。

本文转载自https://www.51cto.com/article/792658.html

作者丨Dan Rowinski

编译丨诺亚

出品 | 51CTO技术栈(微信号:blog51cto)

想了解更多AIGC的内容,请访问:

51CTO AI.x社区

https://www.51cto.com/aigc/

参考链接:https://thenewstack.io/3-key-trends-for-ai-engineering-in-the-cloud-in-2024/