Modelli aperti sul portatile: cosa gira oggi
Quali modelli ci stanno, quanta memoria serve e da dove viene la velocità.
I modelli da pochi miliardi di parametri ormai girano su un portatile normale.1 La quantizzazione a quattro bit riduce la memoria necessaria a circa un quarto.2 La velocità dipende più dalla banda della memoria che dal processore.2 3




