Anyscale, firma zajmująca się infrastrukturą sztucznej inteligencji, założona przez twórców otwartego frameworku Ray, ogłosiła współpracę z NVIDIA w celu poprawy wydajności i efektywności rozwoju dużych modeli językowych na platformie Anyscale przy użyciu Ray. Integracja obejmie oprogramowanie NVIDIA AI, takie jak NVIDIA TensorRT-LLM, NVIDIA Triton Inference Server i NVIDIA NeMo, które zostaną włączone do Ray, umożliwiając programistom bardziej efektywne tworzenie i wdrażanie aplikacji opartych na sztucznej inteligencji. Dzięki udostępnieniu zaawansowanego oprogramowania AI jako open source, integracja ta ma na celu demokratyzację dostępu i poszerzenie grona programistów, którzy mogą z tego skorzystać.
W ramach współpracy, oprogramowanie NVIDIA AI Enterprise zostanie również certyfikowane dla platformy Anyscale, zapewniając firmom, które wdrażają aplikacje oparte na AI, bezpieczne i stabilne rozwiązanie o wspieranej klasy dla przedsiębiorstw. Anyscale Endpoints rozszerzy również obsługę oprogramowania NVIDIA, oferując interfejsy programowania aplikacji łatwe w użyciu dla szerszego grona programistów aplikacji opartych na AI.
Robert Nishihara, CEO i współzałożyciel Anyscale, podkreślił znaczenie platform obliczeniowych, które umożliwiają szybką iterację i oszczędność kosztów w rozwoju dużych modeli językowych. Wyraził entuzjazm z powodu współpracy z NVIDIA, która przyniesie zwiększoną wydajność i efektywność do portfolio Anyscale, umożliwiając programistom tworzenie modeli językowych i aplikacji genetycznych opartych na AI z niespotykaną dotąd szybkością.
Manuvir Das, wiceprezes ds. obliczeń dla przedsiębiorstw w NVIDIA, podkreślił znaczenie kompleksowego stosu obliczeniowego z efektywną orkiestracją w cyklu życia AI dla programistów pracujących nad dużymi modelami językowymi. Integracja NVIDIA AI i Anyscale oferuje potężne połączenie wydajności, łatwości użycia i skalowalności.
Integracja NVIDIA TensorRT-LLM, NVIDIA Triton Inference Server i NVIDIA NeMo z Ray oferuje kilka korzyści dla użytkowników. TensorRT-LLM skaluje wnioskowanie, umożliwiając równoległe uruchamianie modeli na wielu GPU, co daje nawet 8-krotnie wyższą wydajność przy użyciu GPU NVIDIA H100 Tensor Core. Triton Inference Server oferuje standaryzowane wdrażanie i wykonanie modeli AI, maksymalizując wydajność i zmniejszając czas oczekiwania na wyniki. NeMo, chmurowy framework do tworzenia modeli AI, umożliwia programistom łatwe dostosowywanie i wdrażanie modeli, a Anyscale Endpoints umożliwia szybką i skalowalną integrację dużych modeli językowych w aplikacje.
Współpracując z NVIDIA, Anyscale ma na celu optymalizację rozwoju i wdrażania dużych modeli językowych, umożliwiając programistom tworzenie i wdrażanie zaawansowanych modeli AI w bardziej efektywny sposób.
