BentoML 是 AI 應(yīng)用程序開發(fā)人員的平臺，提供工具和基礎(chǔ)架構(gòu)來簡化整個 AI 產(chǎn)品開發(fā)生命周期。BentoML 使創(chuàng)建準(zhǔn)備好部署和擴(kuò)展的機(jī)器學(xué)習(xí)服務(wù)變得容易。

數(shù)據(jù)科學(xué)家和 ML 工程師可以使用 BentoML：

• 加速并標(biāo)準(zhǔn)化將 ML 模型投入生產(chǎn)的過程

• 構(gòu)建可擴(kuò)展的高性能預(yù)測服務(wù)

• 在生產(chǎn)中持續(xù)部署、監(jiān)控和運(yùn)行預(yù)測服務(wù)

BentoML 原生支持所有流行的 ML 框架，包括 Pytorch、Tensorflow、JAX、XGBoost、HuggingFace、MLFlow，以及最新的預(yù)構(gòu)建開源 LLM（大型語言模型）和生成式 AI 模型。

BentoML 可擴(kuò)展你使用 Python 構(gòu)建的 AI 工作負(fù)載。多模型圖推理、并行模型推理和自適應(yīng)批處理，以及許多高級 AI 功能，都包含在易于使用的 Python 原語中。

BentoML 是一個統(tǒng)一的 online、offline 和 streaming 框架；使用一個統(tǒng)一接口進(jìn)行開發(fā)，該接口可以作為 REST API endpoin 或 gRPC service 輕松推出，集成到批處理工作負(fù)載的數(shù)據(jù)管道中，或使用流式架構(gòu)進(jìn)行實時處理。

BentoML 是用于創(chuàng)建 AI 應(yīng)用程序的開放標(biāo)準(zhǔn)，它帶來了一致性，使開發(fā)人員能夠在所有 AI 產(chǎn)品團(tuán)隊中變得更加敏捷、創(chuàng)新和高效。

Highlights

Unified?Model Serving API

適用于 Tensorflow、PyTorch、XGBoost、Scikit-Learn、ONNX 等的框架無關(guān)的模型打包

為預(yù)處理 / 后處理和業(yè)務(wù)邏輯編寫自定義 Python 代碼以及模型推理

為在線（REST API 或 gRPC）、離線批處理和流式推理應(yīng)用相同的代碼

用于構(gòu)建多模型推理管道或圖形的簡單抽象

無摩擦過渡到生產(chǎn)的標(biāo)準(zhǔn)化流程

將 Bento?構(gòu)建為 ML 服務(wù)的標(biāo)準(zhǔn)可部署工件

自動生成具有所需依賴項的?docker 鏡像

使用 GPU 進(jìn)行推理的簡單 CUDA 設(shè)置

與 MLOps 生態(tài)系統(tǒng)的豐富集成，包括 Kubeflow、Airflow、MLFlow、Triton

具有強(qiáng)大的性能優(yōu)化的可擴(kuò)展性

自適應(yīng)批處理根據(jù)服務(wù)器端最佳性能動態(tài)分組推理請求

Runner?抽象將模型推理與你的自定義代碼分開進(jìn)行?scales

通過自動配置最大化你的 GPU?和多核 CPU 利用率

以 DevOps 友好的方式部署到任何地方

通過以下方式簡化生產(chǎn)部署工作流程：

• BentoML Cloud：部署便當(dāng)?shù)淖羁旆绞剑唵吻掖笠?guī)模

• Yatai：在 Kubernetes 上大規(guī)模部署模型

• bentoctl：在 AWS SageMaker、Lambda、ECE、GCP、Azure、Heroku 等平臺上快速部署模型！

使用 Spark 或 Dask 運(yùn)行離線批量推理作業(yè)

對 Prometheus 指標(biāo)和 OpenTelemetry 的內(nèi)置支持

用于高級 CI/CD 工作流程的靈活 API

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級服務(wù)市場：https://www.ijiandao.com/