随着人工智能技术的飞速发展,大模型正日益渗透到各行各业,对AI工程师的需求也与日俱增。本文将以一位SMU MITB人工智能方向学生在AsiaPac Technologies(一家新加坡ICT解决方案提供商)担任AI工程师实习生的经历为蓝本,深入探讨实习期间的挑战、收获以及对未来的展望。这段从2025年1月到6月的实习经历,不仅让笔者亲身体验了大模型在实际应用中的潜力,也为其未来的职业生涯奠定了坚实的基础。

实习准备:简历、面试与机遇

在竞争激烈的实习市场中,对于国际学生而言,找到理想的AI工程师实习机会并非易事。成功的关键在于充分准备、积极申请,以及抓住每一个机会。

首先,精心打磨一份引人注目的简历至关重要。简历不仅仅是过往经历的罗列,更是一份战略文件,需要突出学术成就、相关项目经验以及可迁移技能。可以向SMU的职业导师寻求反馈,不断优化简历。更重要的是,要仔细研究职位描述,提炼出关键词、所需技能(包括硬技能和软技能)以及岗位职责,并将这些信息巧妙地融入简历中,以便通过申请人追踪系统(ATS)的筛选,进入面试环节。

其次,充分准备面试。面试过程通常较为漫长,需要沉着应对。面试官通常会先介绍自己、所在部门以及工作内容,然后轮到求职者进行自我介绍。自我介绍的目的是让面试官快速了解求职者的背景,因此需要在1分30秒到2分钟内,清晰、简洁地总结自己的优势和经历。面试官还会针对过往的工作经验和学习经历提出问题,例如在Deloitte担任技术顾问的职责、参与的项目、掌握的技术技能以及客户沟通经验。同时,也会考察与硕士课程相关的知识,例如课程结束后所能掌握的技能、课程项目的实施过程以及使用的工具和算法。

最后,对企业及其项目背景进行充分了解。面试官通常会询问求职者如何为公司做出贡献。这个问题旨在考察求职者是否了解公司过往的项目、当前面临的业务挑战以及未来的发展方向,特别是关于生成式AI的项目。AsiaPac Technologies曾在面试前三周举办过一场职业讲座,详细介绍了上述内容。作者积极参加了这次讲座,因此能够从容应对面试官的提问,并清晰地阐述了如何利用自身技能解决公司的业务挑战,并推动未来项目的发展。自信的态度和拥抱错误的意愿至关重要,保持冷静沉着也有助于获得面试官的青睐。

云计算基石:理解与应用

进入AsiaPac Technologies后,实习生首先需要掌握云计算的基础概念,包括服务模式(IaaS、PaaS、SaaS)和主要云服务提供商。

云计算服务模型分别代表了不同的抽象层次和责任划分。IaaS(基础设施即服务)提供计算、存储和网络等基础设施资源,用户需要自行管理操作系统、中间件、应用等。PaaS(平台即服务)在IaaS的基础上提供开发和部署平台,用户无需关心底层基础设施的管理。SaaS(软件即服务)则提供完整的应用程序,用户只需通过网络访问即可。例如,AsiaPac Technologies需要根据不同的业务需求,选择合适的云服务模型。对于需要高度定制化的应用,IaaS可能是更好的选择;而对于需要快速开发和部署的应用,PaaS可能更具优势。

同时,需要了解如何选择合适的云解决方案、进行基础设施管理、实施安全最佳实践(例如身份和访问管理(IAM)和加密)以及利用基础设施即代码(IaC)工具(例如Terraform和CloudFormation)进行自动化部署。作者需要参与设计会议,熟悉架构图的关键特征以及AWS和Azure的基本架构图,加深了对云计算架构的理解。

此外,还需要深入研究云数据架构,包括数据湖、数据仓库和ETL管道,以及AI/ML集成,从而利用AWS SageMaker、Bedrock和Azure ML等工具实现基于云的机器学习解决方案。例如,一个金融服务公司使用AWS Sagemaker来构建一个预测模型,用于预测客户违约的概率,从而减少坏账的风险。

技术栈:Python、SQL、前端与云平台

作为一名AI工程师实习生,需要掌握一系列技术技能,包括Python编程、SQL数据库操作以及前端开发技术(HTML、CSS、JavaScript)。

Python是AI工程师必备的编程语言,广泛应用于数据处理、机器学习模型开发和部署。SQL用于后端开发、数据提取和数据预处理。前端技术用于构建用户界面,实现与用户的交互。掌握这些技能,能够独立完成数据分析、模型训练和应用部署等任务。

此外,还需要熟悉常用的云平台和工具,例如AWS的EC2、Buckets、Bedrock和Sagemaker,以及Azure的Blob Storage、AI Search、DataBricks、Cosmos DB和Azure OpenAI。虽然提前熟悉这些工具会有所帮助,但在工作中学习通常也很直接且易于掌握。例如,Amazon EC2(Elastic Compute Cloud)提供可调整大小的计算容量,允许开发者控制计算资源和按需付费。

项目实践:三大AI应用

在实习期间,作者参与并完成了三个具有挑战性的AI项目,涵盖了数字人、智能客服和成本预测等领域。

1. 数字人Avatar:RAG驱动的智能交互

第一个项目是数字人Avatar,类似于基于RAG(Retrieval-Augmented Generation,检索增强生成)的FAQ助手,但其前端不是聊天机器人,而是一个模拟人类外观和行为的虚拟人。NVIDIA已经实现了类似的应用,AsiaPac希望能够基于自身数据进行复现。

为了实现这一目标,作者首先需要研究NVIDIA的文档,了解其实现方式。由于本地环境的RAM、存储空间以及GPU不足,作者在AWS EC2上创建了一个虚拟系统。选用了g4dn.2xlarge实例,该实例提供16GB T4 GPU、8个vCPU和32GB存储空间,并将存储空间扩展至500GB。

接下来,需要训练Avatar来回答公司相关问题。为此,作者在AWS Bedrock知识库上对Anthropic Claude 3.5 Sonnet 大模型执行了RAG。RAG是一种将检索和生成相结合的技术,可以利用外部知识库来增强大模型的生成能力。具体来说,RAG首先根据用户输入的问题,从知识库中检索相关的文档片段,然后将这些文档片段与问题一起输入大模型,生成最终的答案。这种方法可以有效地提高答案的准确性和相关性。

2. LinkedIn Sales Navigator Chatbot:提升销售效率的智能助手

第二个项目是LinkedIn Sales Navigator Chatbot。LinkedIn Sales Navigator是一款高级销售工具,旨在帮助销售人员寻找潜在客户并建立联系。然而,该工具价格昂贵,并非所有销售团队成员都能获得访问权限,这限制了销售团队的整体效率。此外,Sales Navigator主要通过InMail进行联系,一旦InMail被忽略或额度用完,就难以进行后续跟进。

为了解决这些问题,作者构建了一个具有与LinkedIn Sales Navigator类似功能的聊天机器人。首先,将所有LinkedIn记录存储在Azure Cosmos DB中。然后,使用一个大模型,该模型可以将自然文本转换为SQL查询语句,从而根据用户输入命令查询Cosmos DB中的数据。

为了生成销售邮件模板,作者从用户输入中提取姓名,并在Cosmos DB中匹配该姓名,提取用户的兴趣、活动和工作经验。然后,在Azure中创建一个知识库,将RAG文档上传到Azure Blob Storage,并使用该Blob Storage创建向量索引,供Azure OpenAI使用。

3. 建筑成本预测与推断:数据驱动的成本控制

第三个项目是建筑成本预测与推断,这是一个客户定制的机器学习项目。客户面临着获取准确、一致的成本数据的挑战,导致预算超支和规划不力。由于数据分散在200多个来源中,手动提取数据既耗时又容易出错。此外,缺乏预测分析限制了数据驱动的决策和成本预测能力。

为了建立POC(Proof of Concept,概念验证),作者从Singstat提取了材料成本月度数据。作者没有采用RNN、LSTM和GRU等深度学习模型,而是探索了ARIMA和Statsforecast模型(例如AutoCES、AutoETS和AutoTBATS)以及回归模型。在数据预处理方面,作者采用了移动平均滤波器(窗口大小为3)对目标变量进行平滑处理、对数变换和标准标量化。

在模型训练和预测方面,使用2015年到2024年6月的历史数据训练模型,并预测2024年7月到2024年12月的数据。非深度学习模型(例如指数平滑、回归模型和各种Statsforecast模型)的MAPE(平均绝对百分比误差)值较低(0.5%到2%),MSE(均方误差)值较低(3.07e-06到3.87e-04),因此决定将这些模型进行集成,以获得更低的MAPE和MSE值。最终,成功地为所有材料(水泥、钢材、花岗岩、沙子和混合混凝土)成本模型实现了这一目标。

对于预测推断,作者考虑了利率、汇率和燃料价格等因素,以解释预测趋势。对于汇率,作者进行了一些特征工程,创建了新的特征,例如平均货币波动率、整体货币RSI(相对强弱指标)、货币背离和货币趋势得分。使用Azure OpenAI gpt-4o进行推断,在提示模板中提供日期、材料的预测值以及解释趋势的底层特征。大模型能够识别关键要点,并总结出导致预测趋势的主要因素。客户对预测和推断结果感到非常满意。

关键收获与成果

这次AI工程师实习经历,不仅让笔者掌握了实际的数据工程技能,也意识到了标准化文档在专业环境中的重要性。更重要的是,学会了如何有效地将技术分析转化为可操作的商业洞察,掌握了将技术严谨性与实际相关性相结合的艺术。

通过参与这些项目,作者深刻体会到生成式AI和机器学习正在快速发展。在AsiaPac Technologies,清晰地看到了公司在创新和探索新方法以支持客户业务需求方面所做的努力。这不仅是一次获得工作经验的机会,更是一次个人成长的良机。在实习期间,作者不仅掌握了各种工具的使用,还通过实践项目提高了编码能力,并通过合作建立了更牢固的同事关系。

展望未来:拥抱挑战,持续学习

随着大模型技术的不断发展,AI工程师面临着前所未有的机遇和挑战。一方面,大模型为各行各业带来了巨大的变革潜力,为AI工程师提供了广阔的舞台。另一方面,大模型也对AI工程师提出了更高的要求,需要不断学习和掌握新的技术和方法。

未来,AsiaPac Technologies的实习生将继续努力学习,不断提升自身技能,以应对大模型时代的挑战,为AI技术的发展贡献自己的力量。

最后,希望这篇文章能够鼓励未来的实习生:不要过度担心找到实习机会。在AsiaPac Technologies的经历非常棒,强烈推荐给其他人。只要做好充分的准备,保持自信的态度,就一定能够做得很好。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注