Offene Modelle auf dem Laptop: Was heute läuft
Welche Modelle passen, wie viel Speicher sie brauchen und woher die Geschwindigkeit kommt.
Modelle mit einigen Milliarden Parametern laufen inzwischen auf einem gewöhnlichen Laptop.1 Eine Quantisierung auf vier Bit senkt den Speicherbedarf auf etwa ein Viertel.2 Die Geschwindigkeit hängt mehr von der Speicherbandbreite ab als vom Prozessor.2 3




