聲明：該文章由作者（劉笑歌）發(fā)表，轉(zhuǎn)載此文章須經(jīng)作者同意并請(qǐng)附上出處(0XUCN)及本頁(yè)鏈接。。

BentoML 是 AI 應(yīng)用程序開發(fā)人員的平臺(tái)，提供工具和基礎(chǔ)架構(gòu)來(lái)簡(jiǎn)化整個(gè) AI 產(chǎn)品開發(fā)生命周期。BentoML 使創(chuàng)建準(zhǔn)備好部署和擴(kuò)展的機(jī)器學(xué)習(xí)服務(wù)變得容易。

數(shù)據(jù)科學(xué)家和 ML 工程師可以使用 BentoML：

• 加速并標(biāo)準(zhǔn)化將 ML 模型投入生產(chǎn)的過(guò)程

• 構(gòu)建可擴(kuò)展的高性能預(yù)測(cè)服務(wù)

• 在生產(chǎn)中持續(xù)部署、監(jiān)控和運(yùn)行預(yù)測(cè)服務(wù)

BentoML 原生支持所有流行的 ML 框架，包括 Pytorch、Tensorflow、JAX、XGBoost、HuggingFace、MLFlow，以及最新的預(yù)構(gòu)建開源 LLM（大型語(yǔ)言模型）和生成式 AI 模型。

BentoML 可擴(kuò)展你使用 Python 構(gòu)建的 AI 工作負(fù)載。多模型圖推理、并行模型推理和自適應(yīng)批處理，以及許多高級(jí) AI 功能，都包含在易于使用的 Python 原語(yǔ)中。

BentoML 是一個(gè)統(tǒng)一的 online、offline 和 streaming 框架；使用一個(gè)統(tǒng)一接口進(jìn)行開發(fā)，該接口可以作為 REST API endpoin 或 gRPC service 輕松推出，集成到批處理工作負(fù)載的數(shù)據(jù)管道中，或使用流式架構(gòu)進(jìn)行實(shí)時(shí)處理。

BentoML 是用于創(chuàng)建 AI 應(yīng)用程序的開放標(biāo)準(zhǔn)，它帶來(lái)了一致性，使開發(fā)人員能夠在所有 AI 產(chǎn)品團(tuán)隊(duì)中變得更加敏捷、創(chuàng)新和高效。

Highlights

Unified?Model Serving API

適用于 Tensorflow、PyTorch、XGBoost、Scikit-Learn、ONNX 等的框架無(wú)關(guān)的模型打包

為預(yù)處理 / 后處理和業(yè)務(wù)邏輯編寫自定義 Python 代碼以及模型推理

為在線（REST API 或 gRPC）、離線批處理和流式推理應(yīng)用相同的代碼

用于構(gòu)建多模型推理管道或圖形的簡(jiǎn)單抽象

無(wú)摩擦過(guò)渡到生產(chǎn)的標(biāo)準(zhǔn)化流程

將 Bento?構(gòu)建為 ML 服務(wù)的標(biāo)準(zhǔn)可部署工件

自動(dòng)生成具有所需依賴項(xiàng)的?docker 鏡像

使用 GPU 進(jìn)行推理的簡(jiǎn)單 CUDA 設(shè)置

與 MLOps 生態(tài)系統(tǒng)的豐富集成，包括 Kubeflow、Airflow、MLFlow、Triton

具有強(qiáng)大的性能優(yōu)化的可擴(kuò)展性

自適應(yīng)批處理根據(jù)服務(wù)器端最佳性能動(dòng)態(tài)分組推理請(qǐng)求

Runner?抽象將模型推理與你的自定義代碼分開進(jìn)行?scales

通過(guò)自動(dòng)配置最大化你的 GPU?和多核 CPU 利用率

以 DevOps 友好的方式部署到任何地方

通過(guò)以下方式簡(jiǎn)化生產(chǎn)部署工作流程：

• BentoML Cloud：部署便當(dāng)?shù)淖羁旆绞?，?jiǎn)單且大規(guī)模

• Yatai：在 Kubernetes 上大規(guī)模部署模型

• bentoctl：在 AWS SageMaker、Lambda、ECE、GCP、Azure、Heroku 等平臺(tái)上快速部署模型！

使用 Spark 或 Dask 運(yùn)行離線批量推理作業(yè)

對(duì) Prometheus 指標(biāo)和 OpenTelemetry 的內(nèi)置支持

用于高級(jí) CI/CD 工作流程的靈活 API

[超站]友情鏈接：

四季很好，只要有你，文娛排行榜：https://www.yaopaiming.com/
關(guān)注數(shù)據(jù)與安全，洞悉企業(yè)級(jí)服務(wù)市場(chǎng)：https://www.ijiandao.com/