VMware y NVIDIA acaban de anunciar la ampliación de su alianza estratégica para preparar a los cientos de miles de empresas que utilizan la infraestructura de nube de VMware para la era de la IA generativa.
VMware Private AI Foundation with NVIDIA permitirá a las empresas personalizar modelos y ejecutar aplicaciones de IA generativa, incluidos chatbots inteligentes, asistentes, búsqueda y resumen. La plataforma será una solución totalmente integrada con software de IA generativa y computación acelerada de NVIDIA, construida sobre VMware Cloud Foundation y optimizada para la IA.
“La IA generativa y la multi-nube son la combinación perfecta”, dijo Raghu Raghuram, CEO de VMware. “Los datos de los clientes están en todas partes: en sus centros de datos, en el perímetro y en sus nubes. Junto con NVIDIA, capacitaremos a las empresas para ejecutar sus cargas de trabajo de IA generativa adyacentes a sus datos con confianza, al tiempo que abordamos sus preocupaciones corporativas de privacidad, seguridad y control de datos.”
Jensen Huang, fundador y CEO de NVIDIA, afirma: “Las empresas de todo el mundo se apresuran a integrar la IA generativa en sus negocios. “Nuestra colaboración ampliada con VMware ofrecerá a cientos de miles de clientes -a través de servicios financieros, atención médica, fabricación y más- el software y la computación de pila completa que necesitan para liberar el potencial de la IA generativa utilizando aplicaciones personalizadas construidas con sus propios datos.”
Computación completa para potenciar la IA generativa
Para obtener beneficios empresariales con mayor rapidez, las empresas tratan de agilizar el desarrollo, las pruebas y la implantación de aplicaciones de IA generativa. McKinsey estima que la IA generativa podría aportar hasta 4,4 billones de dólares anuales a la economía mundial.(1)
VMware Private AI Foundation con NVIDIA permitirá a las empresas aprovechar esta capacidad, personalizar grandes modelos lingüísticos, producir modelos más seguros y privados para su uso interno y ofrecer IA generativa como servicio a sus usuarios, así como ejecutar cargas de trabajo de inferencia a escala de forma más segura.
Se espera que la plataforma incluya herramientas de IA integradas que permitan a las empresas ejecutar modelos probados entrenados con sus datos privados de forma rentable. Basada en VMware Cloud Foundation y el softwaRE NVIDIA AI Enterprise la plataforma ofrecerá las siguientes ventajas:
- Privacidad – Permitirá a los clientes ejecutar fácilmente servicios de IA adyacentes a dondequiera que tengan datos con una arquitectura que preserve la privacidad de los datos y permita un acceso seguro.
- Capacidad de elección – las empresas tendrán una amplia gama de opciones para elegir dónde crear y ejecutar sus modelos (desde NVIDIA NeMo hasta Llama 2 y más allá), incluidas las principales configuraciones de hardware OEM y, en el futuro, en la nube pública y las ofertas de los proveedores de servicios.
- Rendimiento – la ejecución en la infraestructura acelerada de NVIDIA proporcionará un rendimiento igual e incluso superior al de la infraestructura básica en algunos casos de uso, como se ha demostrado en comparativas recientes del sector.
- Escalada del centro de datos – las optimizaciones de escalado de GPU en entornos virtualizados permitirán escalar las cargas de trabajo de IA en hasta 16 vGPU/GPU en una sola máquina virtual y en varios nodos para acelerar el ajuste y la implantación de modelos generativos de IA
- Menor coste – maximizará el uso de todos los recursos informáticos, GPU, DPU y CPU para reducir los costes generales y crear un entorno de recursos comunes que puedan compartirse de forma eficiente entre los equipos.
- Almacenamiento acelerado – la arquitectura de almacenamiento Express de VMware vSAN proporcionará almacenamiento NVMe de rendimiento optimizado y admite el almacenamiento GPUDirect optimizado NVMe y admite el almacenamiento GPUDirect sobre RDMA, lo que permite la transferencia directa de E/S desde el almacenamiento a las GPU sin intervención de la CPU.
- Redes aceleradas – la profunda integración entre vSphere y la tecnología NVIDIA NVSwitch permitirá aún más que los modelos multi-GPU se ejecuten sin cuellos de botella entre GPU.
- Despliegue rápido y tiempo de generación de valor – las imágenes de vSphere Deep Learning VM y el repositorio de imágenes permitirán una rápida capacidad de creación de prototipos al ofrecer una imagen de solución llave en mano estable que incluye frameworks y librerías de rendimiento optimizado preinstaladas.
La plataforma contará con NVIDIA NeMo, un marco integral nativo de la nube incluido en NVIDIA AI Enterprise -el sistema operativo de la plataforma de IA de NVIDIA- que permite a las empresas crear, personalizar e implantar modelos de IA generativa prácticamente en cualquier lugar. NeMo combina marcos de personalización, conjuntos de herramientas de protección, herramientas de curación de datos y modelos preentrenados para ofrecer a las empresas una forma fácil, rentable y rápida de adoptar la IA generativa.
Para implantar la IA generativa en producción, NeMo utiliza TensorRT for Large Language Models (TRT-LLM), que acelera y optimiza el rendimiento de inferencia en los últimos LLM en las GPU NVIDIA. Con NeMo, VMware Private AI Foundation con NVIDIA permitirá a las empresas extraer sus propios datos para crear y ejecutar modelos de IA generativa personalizados en la infraestructura de nube híbrida de VMware.
