タグ:

AWSはNVIDIA Inference Xfer Library（NIXL）とElastic Fabric Adapter（EFA）の統合サポートを発表しました。この統合により、Amazon EC2上で分散型の大規模言語モデル推論を高速化できます。KVキャッシュのスループット向上、トークン間遅延の削減、メモリ利用の最適化が実現され、追加費用なく利用可能です。