La apuesta da sus frutos: El desarrollador se hace con un hardware valorado en 80.000 dólares con 960 GB de memoria DDR5 y el superchip Nvidia GH200 por una décima parte del precio
Hace menos de una semana cubrimos una historia procedente de Reddit en la que un jugador conseguía hacerse con un potente y bien equipado PC para juegos valorado en unos 3.000 dólares nuevo por sólo 600 dólares. Curiosamente, sólo los 64 GB de memoria DDR5 del sistema valen 880 dólares en el momento de escribir estas líneas, cortesía de la actual escasez de suministro de DRAM que está provocando una aumento sin precedentes en los precios de la memoria.
hardware por valor de 80.000 dólares a 8.000 dólares: Un desarrollador de IA se lleva el premio gordo
Ahora, un desarrollador de IA, también a través de Reddit, se las ha arreglado para cazar una oferta que hace la boca agua: un servidor de IA usado con dos superchips Nvidia GH200 que se vende por sólo 8.000 dólares. Si se comprara nuevo, el sistema costaría alrededor de 80.000 dólares, probablemente incluso más, ya que el procesador Nvidia H100 vale por sí solo unos 40.000 dólares, como señala el autor de https://dnhkng.github.io/posts/hopper/. Ah, y además, el sistema incorpora la friolera de 960 GB de memoria LPDDR5X. Los detalles exactos del sistema se detallan a continuación, por cortesía del comprador, David Noel Ng:
- Doble Nvidia Grace-Hopper GH200 Superchip - cada uno con una CPU ARM de 72 núcleos con 480 GB de memoria LPDDR5X, GPU Hopper H100 con 96 GB de memoria HBM3
- NVlink C2C con 900 GB/s de ancho de banda
- fuente de alimentación de 3 kW
- Dos ranuras PCIe Gen4 M.2 22110/2280
- Cuatro FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
¿Superchip Nvidia GH200 a precio de ganga? Hay trampa
El vendedor, en otra respuesta, reveló que el sistema se vendía a precio de ganga debido a su mal estado https://www.reddit.com/r/LocalLLaMA/comments/1m65iga/frankenserver_for_sale_at_a_steep_discount_2x96gb/debido a que había sido convertido de refrigeración líquida a refrigeración por aire. Además, también mencionaron que no se podía montar en un rack de servidores típico, que suele ser un requisito previo.
Sin embargo, David no se dejó intimidar por estos inconvenientes y se dirigió personalmente al vendedor para que revisara el sistema. Por suerte, descubrió que el vendedor gozaba de buena reputación, y resulta que estaba situado a unas 2 horas de donde él vive.
Una vez llevado el sistema a casa, David preparó una aspiradora y unos cuantos litros de solución limpiadora antes de ponerse manos a la obra. Una vez limpiado el servidor, se instaló una nueva configuración de refrigeración por agua y se llevaron a cabo algunas reparaciones. Quizá la más complicada fue solucionar un sensor de temperatura defectuoso que provocaba repetidamente el fallo del servidor, pero al final todo se solucionó.
LLM masivos como en casa: los modelos de parámetros 235B funcionan sin problemas
David parece bastante satisfecho con su compra - y su posterior capacidad para ejecutar LLM masivos (235B) directamente en casa. Por supuesto, todo el proceso requirió una tonelada de trabajo, la mayor parte del cual está fuera del alcance de quienes son completamente nuevos en el hardware de nivel empresarial. Pero teniendo en cuenta que sólo los 960 GB de memoria DDR5 valen ahora más de lo que pagó por todo el sistema, fue sin duda un final feliz.
Para aquellos que quieran ejecutar modelos de IA más pequeños en casa sin tener que desembolsar 8.000 dólares y varias horas más de configuración, el GMKtec Evo-X2 impulsado por Strix Halo(actualmente 1.529,99 dólares en Amazon) podría ser una mejor opción.
Fuente(s)
David Noel Ng, Reddit, visto por Tom's Hardware
