Una nueva herramienta de código abierto dirigida a la serie NVIDIA GeForce RTX 30 ha captado la atención de los usuarios que siguen de cerca el rendimiento de las tarjetas gráficas en aplicaciones de inteligencia artificial. Se afirma que el módulo del kernel de Linux llamado Zagitta, compartido en GitHub, aumenta significativamente el rendimiento de cálculo FP16 y BF16 en algunas tarjetas basadas en la arquitectura Ampere.
Según la información transmitida, la herramienta funciona sin necesidad de flashear el vBIOS ni realizar ninguna operación física en la tarjeta. Se indica que el módulo, que interviene en los selectores de velocidad a nivel de hardware antes de que se active el controlador de NVIDIA, aumenta la velocidad de procesamiento de instrucciones FP/BF16 FMA en los chips gráficos GA102, GA103, GA104 y GA106.
Las pruebas compartidas en redes sociales y círculos de desarrolladores apuntan específicamente a la serie RTX 30. Según estos datos, se afirma que en el modelo RTX 3090 Ti, la potencia de procesamiento BF16 aumentó de 87,5 TFLOPS a 157,4 TFLOPS, y el rendimiento TF32 subió de 42,5 TFLOPS a 82,6 TFLOPS. También se informó que para la RTX 3080 de 10 GB, el rendimiento FP16/BF16 aumentó de aproximadamente 65 TFLOPS a un rango de 110-113 TFLOPS con el límite de potencia de fábrica de 320W.
MENOR LATENCIA EN PRUEBAS DE LLM
En los resultados compartidos, no solo destaca la potencia de procesamiento bruta, sino también los escenarios de modelos de lenguaje extensos (LLM). Se informó que el tiempo de precarga en consultas de contexto largo se aceleró aproximadamente entre un 33 y un 36 por ciento, y la latencia para obtener la primera respuesta disminuyó alrededor de un 25 por ciento. Por el contrario, se afirma que no hubo un cambio significativo en la fase de "decodificación", donde continúa la generación de texto.
Se señala que Zagitta se utiliza actualmente en Linux y principalmente en chips Ampere de la serie RTX 30. Aunque en algunas publicaciones se incluye la serie RTX 40 en el debate, las notas técnicas transmitidas indican que no hay soporte para la serie 40 y que, además, es necesario desactivar el Secure Boot. Por esta razón, la herramienta no debe considerarse una solución estándar y sin riesgos para usuarios comunes.
Este desarrollo también se ha reflejado en el mercado de tarjetas gráficas de segunda mano. Se indica que los usuarios que ejecutan modelos de inteligencia artificial o realizan ajustes finos de modelos se están dirigiendo especialmente a los modelos RTX 3090 y RTX 3090 Ti, que cuentan con 24 GB de VRAM. Se informa que los anuncios de RTX 3090, que anteriormente se veían en plataformas de segunda mano en el extranjero alrededor de los 1.000 dólares, han superado el umbral de los 2.000 dólares, y que para la RTX 3090 Ti se habla de niveles de entre 2.650 y 3.000 dólares.
Este panorama crea una opción de computación de menor costo para los desarrolladores de inteligencia artificial, pero significa una nueva presión de precios para los jugadores. Si la demanda será permanente o no, dependerá de la fiabilidad técnica de la herramienta, su situación frente a las actualizaciones de los controladores y el apetito de riesgo de los usuarios.
Fuente de la noticia: 12punto
