タグ:

Amazon EKSがElastic Fabric Adapter(EFA)向けのDynamic Resource Allocation(DRA)をサポートしました。EFA DRAドライバーにより、AI、機械学習、HPC(High Performance Computing)ワークロード向けに高性能なノード間通信とRDAM(Remote Direct Memory Access)が簡素化されます。トポロジー対応アロケーションにより、ネットワークトラフィックが最寄りのネットワークインターフェースを通じて流れるようになります。

AWSはNVIDIA Inference Xfer Library（NIXL）とElastic Fabric Adapter（EFA）の統合サポートを発表しました。この統合により、Amazon EC2上で分散型の大規模言語モデル推論を高速化できます。KVキャッシュのスループット向上、トークン間遅延の削減、メモリ利用の最適化が実現され、追加費用なく利用可能です。