El auge de la IA en China funciona con GPU Nvidia reacondicionadas, mientras los límites a la exportación se hacen sentir

Frente a los obstáculos normativos y las restricciones a la exportación, las empresas de IA de China utilizan cada vez más reacondicionados y aceleradores Nvidia usados. Cuando las exportaciones de H20 se reanudaron en julio, las nuevas normas chinas de seguridad de datos complicaron la adquisición de la limitada tarjeta Hopper de Nvidia. Como resultado, los compradores se decantaron por las antiguas tarjetas A100 y H100, que ahora los proveedores reconstruyen y venden para obtener clusters de inferencia asequibles y de alto rendimiento.

La inferencia requiere menos cálculo que el entrenamiento y no necesita una precisión total en coma flotante. Una A100 de 2020 ofrece hasta 80 gigabytes de HBM2e y unos 2 TBps de ancho de banda. Sigue ejecutando bien los chatbots y los motores de recomendación. El maduro software CUDA de Nvidia ayuda, dado el nivel de desarrollo de la pila. Para los equipos centrados en servir modelos, más que en entrenarlos, el silicio más antiguo es una inversión inteligente.

En comparación, el H100 aumenta el rendimiento, ofreciendo HBM3 y un rendimiento mucho mayor. El H20 cumple las normas de exportación, pero su rendimiento en IA es aproximadamente de tres a siete veces inferior al de un H100 completo, y más de treinta veces inferior en doble precisión. Dadas estas limitaciones, muchos compradores en China siguen optando por tarjetas H100 reutilizadas en lugar de nuevas unidades H20.

Los sistemas de inferencia pueden funcionar continuamente con un riesgo mínimo para la precisión, y las tarjetas más antiguas compatibles con CUDA son fáciles de implantar. Las tarjetas reacondicionadas siguen teniendo una gran demanda, a pesar de algunos problemas de fiabilidad. Los centros de datos pueden expandirse inmediatamente en lugar de esperar a recibir piezas homologadas.

Mientras tanto, Nvidia se enfrenta a una situación difícil: los cambios en las normas de concesión de licencias de EE.UU. provocaron una depreciación de 5.500 millones de dólares del inventario de H20 sin vender. Al mismo tiempo, la escasez de tarjetas oficiales significa que las GPU Nvidia más antiguas siguen alimentando el crecimiento de la IA en China a través de ventas no oficiales y reacondicionadas. Esta dinámica puede repercutir en los beneficios de Nvidia y alargar la adopción de nuevas tecnologías.

En el frente nacional, el gobierno chino está animando a los aceleradores nacionales de Huawei y Biren, pero cada H100 de segunda mano o A100 tuneada que se despliega en los centros de datos chinos reduce el mercado de los sistemas basados en Ascend y frena la inversión en pilas de fabricación nacional.

En conjunto, estas normas crean una economía de reciclaje. Los controles que limitan la computación avanzada y las políticas que promueven los chips locales mantienen el hardware Nvidia más antiguo útil durante más tiempo.