Medien & Phantastik > Multimedia - Software & Betriebsysteme

"I'm afraid I can't do that, Dave" - der LLM und KI Thread

<< < (6/11) > >>

Raven Nash:

--- Zitat von: Feuersänger am  7.05.2025 | 11:55 ---Wieviel Rechenleistung braucht man denn eigentlich für eine LLM-Antwort bei einer mittel-komplexen Frage? Wird man da mit einer lokalen Installation überhaupt glücklich? Und wieviel Festplatte braucht man?
--- Ende Zitat ---
Festplatte wenig, Grafikprozessor vieeeel. Meine Frau macht grade ihren Master in LLM-Zeugs und wird ab Sommer in dem Bereich arbeiten.
Die arbeiten im Studium alle auf externen (Google) Servern - selbst mit kleinen Modellen reicht da auch der High-End Gaming-PC nicht aus.

Der Energieverbrauch findet aber hauptsächlich mit Training der Modelle statt. Das sind gigantische Datensätze, die da verarbeitet werden müssen. Ich hab mitbekommen, wie die für ihre Projekte im Studium ständig Datensätze reduzieren mussten, damit das sogar für die kleinen Projekte machbar war.

Feuersänger:
Festplatte wenig? Das wundert mich jetzt. Ich dachte, wenn wir von 2-3stelligen "B"s sprechen, müssen diese auch lokal abrufbar sein.

Noch was zu "Thinking Models": das check ich auch nicht so ganz. Manchmal kommen die Antworten des LLM wie aus der Pistole geschossen und sind dabei oft sehr präzise. Sehr oft aber fängt es erst an mit einer lobenden Bestätigung wie "Sehr guter Punkt", oder wie jetzt gerade im anderen Fenster "Ja, das ist ein echter Zielkon"

und dann passiert minutenlang nichts, ehe sich dann die restliche Antwort aufbaut.

Shihan:

--- Zitat von: Feuersänger am  7.05.2025 | 12:12 ---Festplatte wenig? Das wundert mich jetzt. Ich dachte, wenn wir von 2-3stelligen "B"s sprechen, müssen diese auch lokal abrufbar sein.

--- Ende Zitat ---
Kenne jetzt nur Zahlen aus der Welt der Stable Diffusion. Da haben solche Modelle mit allen Beidaten nur ein paar zehn GB, alles unter 100GB.
Das ist in heutiger Zeit ja eher überschaubar viel.

Vermutlich sind die Modelle für LLMs nur unwesentlich größer, wenn überhaupt.

Die Parameter (die "xyzB"s) werden ja meistens quantisiert gespeichert, als Q8 oder Q4 oder ähnliches. Da hat man pro Parameter max. 1 Byte, eher weniger. Deshalb bleiben die Modelle überschaubar groß.
Die Trainingsdaten hingegen... die sind gigantisch.

Raven Nash:

--- Zitat von: Feuersänger am  7.05.2025 | 12:12 ---Festplatte wenig? Das wundert mich jetzt. Ich dachte, wenn wir von 2-3stelligen "B"s sprechen, müssen diese auch lokal abrufbar sein.

--- Ende Zitat ---
Ich hab Fooocus lokal installiert. Das ist HD-mäßig Pipifax.

Und bei den LLMs sind das einfach Textdateien und Python-Files.

Haukrinn:

--- Zitat von: Feuersänger am  7.05.2025 | 11:55 ---Wieviel Rechenleistung braucht man denn eigentlich für eine LLM-Antwort bei einer mittel-komplexen Frage? Wird man da mit einer lokalen Installation überhaupt glücklich? Und wieviel Festplatte braucht man?

--- Ende Zitat ---

Du kannst hochoptimierte Modelle wie Mistral-Small, Llama 3.x oder Qwen2 ganz gut lokal laufen lassen, wenn du entsprechende Grafikpower hast. GPU mit 16GB RAM sollte es dann aber schon sein (eher 24 oder gar 32, wenn du mit größeren Kontextfenstern arbeiten willst), wenn du nicht ewig auf deine Antworten warten willst. Die Modelle sind dann natürlich im Vergleich zu einem großen LLM wirklich eingedampft. Einmal in der Zahl der Parameter, die lokalen Modelle sind ein- bis zwei Größenordnungen kleiner. Aber auch in der Quantisierung, d.h. wie genau die Gewichte/Parameter berechnet werden. Während die großen Modelle da auf 16bit Gleitkommezahlen setzen, müssen lokal meist zwischen 1 und 4bit pro Gewicht reichen. Die Folge davon ist, dass die Modelle öfter mal "falsch" abbiegen und du bei nicht zufrieden stellenden Ergebnissen landest.

Für viele einfache Anwendungsfälle sind die lokalen Modelle aber mehr als gut genug. Wenn du sehr spezifische Sachen machen willst, kannst du die Modelle lokal natürlich auch noch nachtrainieren - dann werden die Ergebnisse dramatisch besser. Man darf halt nur nicht mit der Erwartungshaltung dran gehen, hier etwas zu bekommen, was mit Claude oder ChatGPT mithalten kann.

Festplattenverbrauch ist je nach Modell 2-10 GB.

Navigation

[0] Themen-Index

[#] Nächste Seite

[*] Vorherige Sete