Síntesis editorial
IA soberana con hardware reciclado: 6 tokens por segundo y cero dólares
Tres fierros reciclados, cero dólares en hardware nuevo y un stack completo de IA local. La fórmula de servilleta para calcular tu rendimiento antes de comprar.
Esta síntesis se basa en la versión histórica publicada por Comunidad IA LATAM. La dirección individual del blog devuelve 404.
Qué plantea el artículo
Ricardo Darío Matas reutilizó tres equipos para alojar un modelo de lenguaje, una base vectorial y una interfaz compartida sin comprar hardware nuevo. En su prueba, Llama 3.1 de 8.000 millones de parámetros alcanzó seis tokens por segundo. Para estimar el rendimiento antes de invertir, relaciona el ancho de banda de la memoria con el tamaño del modelo.