每年,全球范围内都会发生数百万起食品召回和污染事件,直接威胁着公众健康。如果能够利用人工智能(AI)技术,在这些潜在的食品安全隐患到达消费者餐桌之前就将其识别出来,将会极大地改善食品安全状况。本文将深入探讨如何利用大模型技术和自然语言处理(NLP),对食品相关事件报告进行自动分析,从而更有效地检测潜在的食品安全风险。这正是Politecnico di Torino 和 JAKALA 的研究团队在 SemEval 2025 食品危害检测挑战赛中提出的新颖方法的核心思想,旨在利用 AI赋能食品安全。
食品安全挑战:文本数据中的隐患挖掘
世界各地的政府机构和安全机构每年都会发布成千上万份食品召回报告。这些报告的格式和风格各不相同,通常包含复杂的语言和非结构化文本。人工从这些海量文本数据中提取有用的信息既耗时又容易出错。
这项挑战的核心在于如何自动分析这些报告,并准确地标记:
- 食品类型(例如,“牛奶”、“冷冻披萨”、“贝类”)
- 危害类型(例如,“李斯特菌”、“异物”、“未申报的过敏原”)
任务的难度远超想象。例如,某些食品有许多亚型,并且危害与每种亚型的关系也可能不同。在生鸡肉中检测到细菌比在罐头食品中检测到细菌更为紧急。现有的AI系统经常混淆这些概念,或者遗漏关键的联系,因此必须开发更智能的方法。 例如,2023年美国爆发的一起沙门氏菌感染事件,最初就因为信息分散在各个州和地方的报告中,导致响应速度缓慢。如果能够利用AI快速整合和分析这些信息,就能更快地识别出潜在的风险源头,从而避免更大规模的感染。
多头分类:更精准的AI模型构建
为了解决上述挑战,研究团队引入了一种三部分解决方案。该方法的核心是为每个子任务(ST1和ST2)训练一个分类模型,每个模型都配备两个分类头:一个用于对产品标签进行分类,另一个用于对食品危害进行分类。然后,对ST2详细标签的概率施加约束,使其依赖于ST1更通用的类别概率。
- 多头分类:与训练单个AI模型一次性预测食品类型和危害不同,该团队使用了一个具有两个头的模型。一个头专门用于识别食品类型,另一个头专注于识别危害。这种分离有助于模型变得更加准确和专业。 举例来说,模型的一个“头”可能专门识别“乳制品”类别,而另一个“头”则专注于识别“细菌污染”。这种分工使得模型能够更有效地学习和区分不同类型的食品和危害,从而提高整体的分类准确性。 想象一下,如果一个厨师既要做所有菜,又要负责切菜,效率肯定不高。但如果把任务拆分,一个厨师专门负责切菜,另一个厨师负责烹饪,效率自然会提高。多头分类的原理与此类似,通过将任务分解为更小的、更专业的子任务,可以提高模型的整体性能。
- 顺序分类:这种方法类似于逐步缩小搜索范围。首先,系统预测广泛的类别(例如,“乳制品”或“肉类”)。然后,在此基础上,它将预测细化为更具体的类型(例如,“软奶酪”或“碎牛肉”)。这有助于模型避免猜测不相关的标签。 这种顺序分类的方法能够有效地减少搜索空间,提高分类的准确性。例如,如果系统首先识别出“乳制品”这一广泛类别,那么在后续的步骤中,它就可以将搜索范围缩小到与乳制品相关的具体类型,例如“牛奶”、“奶酪”、“酸奶”等。这可以避免模型将“乳制品”与“海鲜”等不相关的类别混淆,从而提高分类的准确性和效率。 这种方法类似于使用搜索引擎进行信息检索。你首先输入一个广泛的关键词,例如“运动鞋”。然后,你可以通过添加更多的关键词来缩小搜索范围,例如“运动鞋 男 跑步”。通过这种方式,你可以逐步地找到你真正需要的信息。
- 文本标准化:食品报告的编写方式差异很大。该团队使用大语言模型(LLM)从原始报告中提取结构化摘要。这种经过清理的版本使模型更容易处理信息。 类似于将不同方言翻译成通用语言,LLM可以将不同格式和风格的食品报告转化为统一的、结构化的文本。这消除了文本差异带来的干扰,使得模型能够更有效地学习和识别食品安全风险。 例如,一些报告可能使用缩写或行业术语,而另一些报告则可能使用更通俗的语言。LLM可以将这些不同的表达方式转化为标准的、易于理解的文本,从而提高模型的鲁棒性和泛化能力。
研究成果:性能显著提升
研究团队的方法显著提高了性能:
- 与基本模型相比,分类准确率提高了 30-40%。
- 所提出的模型在国际 SemEval-2025 食品危害检测竞赛中排名前 15。
将任务分解为多个头,并使用结构化摘要,有助于避免混淆并提高预测一致性。 这一结果表明,该团队提出的方法在AI赋能食品安全方面具有显著的优势。通过多头分类、顺序分类和文本标准化等技术,模型能够更准确、更有效地识别食品安全风险,从而为监管机构和企业提供更可靠的决策支持。
食品安全意义:公共健康的优先保障
食品安全不仅仅是一个技术问题,更是一个公共健康的首要问题。借助 AI 驱动的工具,这些工具能够比以往更好地读取和理解食品召回报告,监管机构和公司可以更快地采取行动,以防止危险产品到达消费者手中。
虽然该系统仍在完善中,但它朝着实际应用迈出了一大步,例如:
- 食品召回的自动警报系统
- 新出现的食源性疾病趋势的早期检测
- 跨国食品供应链中的更快响应
例如,如果系统检测到某种特定食品中某种特定危害的报告数量在短时间内急剧增加,它可以自动向监管机构和企业发出警报,以便他们及时采取行动。 这可以有效地防止食源性疾病的爆发,并保护消费者的健康。
未来展望:知识融合与方法优化
研究团队目前专注于通过整合更多外部知识(如科学研究或专家分类)来增强模型。整合这些外部信息旨在使模型更强大,并适应各种食品安全情况。此外,他们还计划研究用于构建分类过程的替代方法,目标是在清晰性和有效性之间找到最佳平衡点。
例如,他们可以将食品安全领域的专家知识融入模型中,例如不同类型食品的常见危害、不同危害的传播途径等。这可以提高模型的专业性和准确性。 此外,他们还可以研究使用不同的机器学习算法或深度学习模型来构建分类模型,例如使用图神经网络来建模食品、危害和报告之间的关系。 这一项目展示了将 AI 与有组织的措施和真实世界数据相结合如何显著改善食品安全。 通过不断地改进和优化模型,我们可以期待在不久的将来看到更多 AI赋能食品安全的实际应用,从而为消费者提供更安全、更健康的食品。
总而言之,这项研究通过将 AI、大模型技术和自然语言处理(NLP)相结合,为食品安全领域带来了革命性的变革。它不仅提高了食品安全风险的检测效率和准确性,而且为监管机构和企业提供了更强大的决策支持工具。随着技术的不断进步和应用的不断拓展,我们有理由相信,AI赋能食品安全将会在未来发挥越来越重要的作用,为全球的食品安全保障做出更大的贡献。