Modelos abiertos en el portátil: qué funciona hoy
Qué modelos caben, cuánta memoria necesitan y de dónde sale la velocidad.
Los modelos de unos pocos miles de millones de parámetros ya funcionan en un portátil normal.1 La cuantización a cuatro bits reduce la memoria necesaria a aproximadamente una cuarta parte.2 La velocidad depende más del ancho de banda de la memoria que del procesador.2 3




