HPE Machine Learning Inference Software Performance 4年間E-RTU

HPE Machine Learning Inference Softwareでは、直感的なグラフィカルインターフェイスを使用してモデルを展開し、負荷に基づいて展開をスケーリングできます。
モデルのリアルタイムモニタリングによりパフォーマンスをカスタマイズし、展開に関する予測および統計情報を追跡できます。
既存のKubernetesクラスター、プライベートクラウド、ハイブリッドクラウドのどの環境であっても、HPE Machine Learning Inference Softwareは継続的にモダナイズされるシステム全体でユーザーのニーズに合うように一貫性のあるツールを提供します。
業界標準のHelmチャートを使用してKubernetes互換プラットフォーム (OpenShift、Rancher、EKS、AKS、GKSなど) に展開されるため、整合性を保ちながらどのクラウドでも活用できます。

HPE Machine Learning Inference Softwareでは、継続的にモダナイズされるシステムに対するサポートを容易に追加できるアーキテクチャーにより、NVIDIA GPUに対する柔軟性に優れた最高クラスのサポートが提供されます。
NVIDIA AI Enterprise (NVAIE) ソフトウェアスイート、NVIDIA Inference Microservice (NIM) (Triton、TensorRT-LLMを利用)、および他のAI推論手法との統合により、パフォーマンスが向上します。

HPE Machine Learning Inference Softwareの機能は、クラウド、ハイブリッド、オンプレミスなど、ユーザーの好みの環境で実行でき、隔離された環境でも実行できるため、モデル、コード、データが保護されている状態を保つこともできます。
ロールベースのアクセス管理 (RBAC) を使用して、MLのリソースおよびアーティファクトをセキュアに共同作業および共有する権限が開発チームとMLOpsチームに与えられます。
モデルとのやり取りには高度な認証 (OIDC、OAuth 2.0など) を必要とするエンタープライズクラスのセキュリティ機能により、展開のエンドポイントが保護されます。

HPE Machine Learning Inference Softwareでは、大部分のフレームワークからのモデルの開発を可能にしたままで、特定の大規模言語モデル (LLM) に対する合理化された統合が、Hugging FaceおよびNVIDIA Inference Server (NIM) から直接提供されます。
幅広い事前学習済みモデルやカスタマーモデルに対応する、TensorFlow、PyTorch、scikit-learn、XGBoostなどの多様なフレームワークからのモデルを使用して柔軟性の向上を実現できます。