Firma Anyscale, twórca otwartoźródłowej biblioteki Ray, nawiązała współpracę z Nvidia w celu zintegrowania oprogramowania AI w platformie obliczeniowej Anyscale. Ta współpraca ma przynieść znaczne korzyści dla deweloperów GenAI pracujących z dużymi modelami językowymi (LLM).
Partnerstwo obejmuje komponenty zarówno otwartoźródłowe, jak i komercyjne. W przypadku otwartoźródłowych rozwiązań, firmy zintegrują kilka frameworków AI Nvidia, takich jak TensorRT-LLM, Triton Inference Server i NeMo, w Ray. Ta integracja umożliwia deweloperom GenAI korzystanie z tych bibliotek w ramach środowiska Ray. W szczególności, integracja TensorRT-LLM z Ray oferuje 8-krotny wzrost wydajności w porównaniu z poprzednią generacją, przy użyciu najnowszych kart graficznych Nvidia H100 Tensor Core GPU.
Ponadto, deweloperzy pracujący z Ray mogą teraz wdrażać obciążenia inferencyjne AI przy użyciu serwera Triton Inference od Nvidia. Ten serwer obsługuje różne procesory i scenariusze wdrożenia, w tym GPU i CPU w chmurze, na urządzeniach mobilnych i wbudowanych. Zapewnia również wsparcie dla popularnych frameworków, takich jak TensorFlow, PyTorch i OpenVINO, co daje deweloperom GenAI większą elastyczność i wydajność wdrażania.
Integracja między Ray a frameworkiem NeMo od Nvidia dla aplikacji GenAI to kolejny efekt tej współpracy. NeMo oferuje frameworki do szkolenia i inferencji ML, narzędzia do zarządzania danymi, a także modele wstępnie przeszkolone. Połączenie Ray i NeMo pozwala deweloperom GenAI wykorzystać korzyści obu produktów.
Ponadto, współpraca skupia się na integracji komercyjnej platformy Anyscale z pakietem oprogramowania AI Enterprise od Nvidia. Integracja ta ma na celu zapewnienie przedsiębiorcom deweloperom GenAI dodatkowych możliwości i narzędzi. W środowisku Nvidia AI Enterprise będzie obsługiwana usługa Anyscale Endpoints, nowo wprowadzona przez Anyscale. Anyscale Endpoints umożliwia deweloperom płynne integrowanie LLM w swoje aplikacje przy użyciu popularnych interfejsów API, eliminując tym samym konieczność tworzenia niestandardowych platform AI.
Partnerstwo między Anyscale a Nvidia zostało ogłoszone na szczycie Ray w San Francisco. Według Roberta Nishihary, CEO i współzałożyciela Anyscale, ta współpraca przynosi więcej „wydajności i efektywności” do portfolio Anyscale, umożliwia deweloperom szybką iterację i oszczędzanie kosztów pracy z LLM.
Źródła:
– Anycale Bolsters Ray, the Super-Scalable Framework Used to Train ChatGPT
– Anyscale Branches Beyond ML Training with Ray 2.0 and AI Runtime
– Anyscale Nabs $100M, Unleashes Parallel, Serverless Computing in the Cloud
