在人工智能(AI)浪潮席卷全球的今天,AI工程师的角色日益重要。本文将以一位在 AsiaPac Technologies 实习的 AI 工程师 Ayush 的经历为蓝本,深入探讨在实际工作中如何运用大模型技术,以及实习生如何快速成长。Ayush 在 AsiaPac Technologies(一家新加坡 ICT 解决方案提供商,专注于托管基础设施、云服务和企业计算)的实习经历,为我们提供了一个观察大模型技术在企业级应用中落地的绝佳视角。他的实习涵盖了从云计算概念到实际项目开发的各个方面,尤其是在生成式人工智能(GenAI)领域的实践,充分展示了 AI 工程师在大模型时代的创新能力和面临的挑战。

实习机会的探索与准备

寻找理想的实习机会对于国际学生来说并非易事。Ayush 的经验强调了积极主动的重要性,包括利用 LinkedIn、Jobstreet、Indeed 等公共网站,以及学校内部网站 OnTrac 寻找实习机会。同时,参加学校组织的职业展会和公司宣讲会也是非常有效的途径。实习的本质在于学习,因此广泛投递简历,增加机会是关键。

撰写一份引人注目的简历是成功获得实习机会的第一步。简历不仅是过往经历的罗列,更应突出学术成就、相关项目和可迁移技能。Ayush 建议将简历提交给学校的职业导师进行评估,并根据职位描述中的关键词、所需技能(包括硬技能和软技能)以及职责要求,对简历进行针对性修改,以确保能够通过申请人追踪系统(ATS)的筛选,进入面试环节。

面试的策略与技巧

Ayush 的面试经历持续约一个小时,首先是面试官的自我介绍,随后是他个人的介绍。在自我介绍环节,应简洁明了地概括简历内容,时间控制在1-2分钟。随后的提问环节涉及过往工作经验、硕士课程以及项目经历。

面试官着重考察了 Ayush 在德勤担任技术顾问期间的角色与职责、参与的项目、掌握的技术技能以及客户沟通经验。此外,还详细询问了他在硕士课程中的学习成果、项目实施过程以及所使用的工具和算法。

关键在于面试官提问如何为公司做出贡献,这旨在评估候选人对公司业务的了解程度,以及对公司在 GenAI 领域的战略方向的理解。Ayush 能够顺利回答这个问题,得益于他之前参加了 AsiaPac Technologies 举办的职业宣讲会,了解了公司在 GenAI 领域的具体项目、面临的业务挑战以及未来的发展方向。因此,充分准备,了解公司背景,能够有效提升面试成功率。

云计算基础与工具平台

在实习期间,Ayush 深入学习了云计算概念,包括服务模型(IaaS、PaaS、SaaS)和主要云服务提供商。他参与了为不同业务需求选择合适解决方案、基础设施管理、安全最佳实践(IAM、加密)以及使用基础设施即代码(Terraform、CloudFormation)实现自动化的过程。

此外,他还探索了云数据架构,包括数据湖、数据仓库和 ETL 管道,以及 AI/ML 集成,从而能够使用 AWS SageMaker、Bedrock 和 Azure ML 等工具构建基于云的机器学习解决方案。他参与了架构设计会议,熟悉 AWS 和 Azure 的基本架构图。

该职位所需的关键技术技能包括 Python 编程、SQL(用于后端开发、数据提取和数据预处理)以及 HTML、CSS、JavaScript(用于前端开发)。涉及的工具和平台包括 AWS 服务(如 EC2、Buckets、Bedrock 和 Sagemaker)和 Azure 服务(如 Blob Storage、AI Search、DataBricks、Cosmos DB 和 Azure OpenAI)。尽管提前熟悉这些工具很有帮助,但在工作中学习通常是直接且可管理的。

项目实践:大模型技术的创新应用

在实习期间,Ayush 参与了三个具体的项目,充分体现了其在 大模型 技术领域的应用能力:

  1. 数字人 Avatar: 该项目类似于基于 RAG(检索增强生成)的 FAQ 助手,但前端不是聊天机器人,而是模拟人类的虚拟人,包括外貌和行为。NVIDIA 已经为类似用例实施了这种数字人 Avatar,AsiaPac 希望 Ayush 在他们自己的公司数据上复制它。

    为了理解数字人 Avatar,Ayush 深入研究了 NVIDIA 的文档,了解其实现方式。由于本地环境缺乏足够的 RAM 和存储,以及 GPU,他不得不使用 AWS EC2 创建一个虚拟系统。他使用了 g4dn.2xlarge 实例,该实例提供 16GB T4 GPU、8 个 vCPU 和 32 GB 存储,并通过 AWS Elastic Storage 将存储增加到 500 GB。

    下一步是训练 Avatar 回答公司相关问题。为此,他需要对 AWS Bedrock 知识库上的 LLM 模型:Anthropic Claude 3.5 Sonnet 执行 RAG。 这个项目展示了 RAG 技术在企业内部知识库问答场景中的应用潜力,为企业提供更智能、更人性化的客户服务。

    案例分析:数字人 Avatar 这一项目充分展示了生成式 AI 在人机交互领域的创新应用。通过 RAG 技术,Avatar 可以高效地检索和整合公司知识库中的信息,并以自然、流畅的语言回答用户提出的问题。这种技术的应用不仅提高了客户服务的效率,也提升了用户体验。

    数据支持:根据 McKinsey 的研究,生成式 AI 技术有望在客户运营领域创造高达 4000 亿美元的价值,其中人机交互是重要的应用场景之一。

  2. LinkedIn Sales Navigator 聊天机器人: LinkedIn Sales Navigator 是一款由 LinkedIn 提供的优质销售工具,专门用于帮助销售专业人员寻找和建立与潜在客户的关系。然而,它的价格昂贵,并非所有销售团队成员都能访问。

    为了解决这个问题,Ayush 提出了构建一个具有与 LinkedIn Sales Navigator 相同功能的聊天机器人的想法。他将所有 LinkedIn 记录存储在 Azure Cosmos DB 中。存储记录后,他使用 LLM 将自然文本转换为 SQL 查询生成器,该生成器根据用户输入命令生成 SQL 查询,然后可以使用该 SQL 查询从 Cosmos DB 中查询数据。

    为了生成销售电子邮件模板,他从用户提示中提取用户想要发送电子邮件的姓名,并在 Cosmos DB 中匹配该姓名,以提取兴趣、活动和工作经验,然后在 Azure 中创建一个知识库,方法是将 RAG 文档上传到 Azure Blob 中,然后使用该 Blob 存储创建一个矢量索引,Azure OpenAI 可以利用该索引。

    案例分析:LinkedIn Sales Navigator 聊天机器人项目展示了大模型技术在销售领域的应用潜力。通过构建一个能够模拟 LinkedIn Sales Navigator 功能的聊天机器人,企业可以降低销售成本,提高销售效率,并为销售团队成员提供更便捷的工具。

    数据支持:据 Gartner 预测,到 2025 年,AI 技术将在销售领域创造超过 1.1 万亿美元的价值,其中智能销售助手是重要的应用方向之一。

  3. 建筑成本预测和推理: 这是一个基于客户的机器学习项目,客户面临无法访问准确和一致的成本数据的问题,导致预算超支和规划不周。由于数据分布在 200 多个来源中,手动提取既耗时又容易出错。此外,缺乏预测分析限制了数据驱动的决策和成本预测。

    为了为我们的客户建立 POC,Ayush 从 Singstat 提取了材料成本月度数据,没有使用 RNN、LSTM、GRU 等深度学习模型来解决预测问题,而是探索了 ARIMA 等非 DL 模型、AutoCES 等 Statsforecast 模型、AutoETS、AutoTBATS 等和回归模型。

    对于数据预处理,Ayush 使用窗口大小 = 3 的移动平均滤波器平滑目标变量,执行对数变换和标准标量。对于模型训练和预测,我们使用 2015 年至 2024 年 6 月的历史数据训练我们的模型,并从 2024 年 7 月至 2024 年 12 月进行预测。

    非深度学习模型,如指数平滑、回归模型和各种 Statsforecast 模型,为 Ayush 提供了较低的 MAPE(0.5% 至 2%)和 MSE(3.07e-06 至 3.87e-04)值,因此他决定将它们集成在一起,以实现更低的 MAPE 和 MSE 值,最终,他实现了所有材料(水泥、钢铁、花岗岩、沙子、混合混凝土)成本模型的这一目标。

    对于预测推理,他考虑了利率、外汇和燃料价格等因素来解释预测趋势。对于外汇,他围绕进行了一些特征工程,并创建了新的特征,如平均货币波动率、整体货币 RSI、货币背离和货币趋势得分。

    他使用 Azure OpenAI gpt-4o 进行推理部分,在提示模板中,我给出了日期、材料的预测值以及将解释趋势的底层特征。LLM 能够识别关键要点并总结导致预测趋势的主要关键因素。他向客户展示了他的结果,他们对预测和推理非常满意。这个项目展示了机器学习和大模型技术在成本预测领域的应用潜力,为企业提供更准确、更可靠的成本预测服务。

    案例分析:建筑成本预测和推理项目展示了机器学习和大模型技术在传统行业的应用价值。通过整合多种数据源,并利用先进的预测模型,企业可以更准确地预测建筑成本,从而提高项目预算的准确性和控制能力。

    数据支持:根据 PwC 的研究,AI 技术有望在建筑行业创造超过 1.6 万亿美元的价值,其中成本优化是重要的应用领域之一。

实习的收获与反思

Ayush 的实习经历让他深刻体会到 GenAI 和机器学习是快速发展的领域,AsiaPac Technologies 也在不断创新,探索支持客户业务需求的新方法。除了获得工作经验外,实习也是个人成长的绝佳机会。通过实习,可以增强技能,通过实践项目提高编码能力,并通过协作建立更牢固的同事关系。

除了获得实际的数据工程技能和了解专业环境中的标准化文档外,Ayush 还学会了有效地将技术分析转化为可操作的业务见解,掌握了将技术严谨性与实际相关性相结合的艺术。

大模型时代AI工程师的机遇与挑战

Ayush 在 AsiaPac Technologies 的实习经历,为我们展示了 大模型 时代 AI 工程师所面临的机遇与挑战。随着 大模型 技术的不断发展,AI 工程师需要不断学习新的知识和技能,才能胜任日益复杂的工作。

机遇

  • 更强大的工具大模型 技术为 AI 工程师提供了更强大的工具,可以更高效地解决各种问题。
  • 更广阔的应用领域大模型 技术正在渗透到各个行业,为 AI 工程师提供了更广阔的应用领域。
  • 更高的价值大模型 技术正在创造巨大的价值,AI 工程师也将因此获得更高的价值。

挑战

  • 快速的技术迭代大模型 技术发展迅速,AI 工程师需要不断学习新的知识和技能。
  • 复杂的技术栈大模型 技术涉及到复杂的技术栈,AI 工程师需要具备扎实的技术基础。
  • 伦理和安全问题大模型 技术也带来了一些伦理和安全问题,AI 工程师需要关注这些问题。

总结与展望

作为文章的结尾,我想鼓励未来的实习生:不要对找到实习机会感到压力过大。Ayush 在 AsiaPac Technologies 的经历非常棒,我全心全意地推荐给其他人。有了充分的准备和自信的态度,你一定会做得很好。

大模型 时代,AI 工程师面临着前所未有的机遇和挑战。通过积极学习、勇于实践,AI 工程师可以在 大模型 时代创造更大的价值。

感谢大家的阅读,祝下一批实习生好运。

核心关键词总结

  • 大模型
  • AI工程师
  • AsiaPac Technologies
  • 实习
  • 云计算
  • GenAI
  • RAG
  • Azure
  • AWS

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注