BentoML提供了用于大规模打包、部署和服务机器学习模型的工具。Apache Spark是一个用于大规模数据处理的开源集群计算框架。本演讲将重点介绍BentoML如何通过与Apache Spark集成来统一实时和批处理推理工作负载。

BentoML凭借其无缝的开放标准，通过简单的Python代码将在线AI应用程序构建为分布式服务，因此在用户群中迅速流行起来。在这方面，我们提出了BentoML与Spark的新颖集成，它允许用户在Spark集群中使用最初为实时推理设计的Bento服务进行离线批量推理，而无需更改任何代码。此功能由' run_in_spark ' API启用，该API在批处理推理期间自动在所有Spark工作节点上传播模型和推理逻辑。

这种集成为团队在相同的标准下管理他们的实时和批处理推理逻辑提供了最佳解决方案，通过版本控制提供了便利，并确保了一致的库依赖关系。因此，这消除了对实时和批处理推理之间推理逻辑随时间变化的分歧的担忧。统一的方法确保了模型应用的一致性，促进了高效的人工智能服务开发和部署。

与会者将学习如何: •包模型与BentoML •将BentoServices部署到生产环境 •从Spark调用BentoServices进行大规模的批量推理 •利用相同的模型进行实时和批量预测

Speakers:

波江: BentoML, 产品工程师, BentoML的产品工程师，之前是豆瓣的产品工程师。致力于人工智能应用产业化平台。