Warum eine Grafikkarte?
Ein Sprachmodell rechnet für jedes Wort Milliarden einfacher Rechenschritte. Grafikkarten (GPUs) sind darauf gebaut, sehr viele solcher Rechnungen gleichzeitig auszuführen. Ein normaler Prozessor kann das zwar auch, aber so langsam, dass niemand auf die Antwort warten möchte.
Grafikspeicher: die wichtigste Zahl
Das Modell muss komplett in den Speicher der Grafikkarte passen. Grobe Faustregeln für übliche, verkleinerte (quantisierte) Modelle:
| Modellgröße | Grafikspeicher grob | Geeignet für |
|---|---|---|
| klein (ca. 4 bis 9 Mrd. Parameter) | ab 8 GB | Einfache Texte, Korrektur, Ausprobieren |
| mittel (ca. 12 bis 32 Mrd.) | 16 bis 32 GB | Büroalltag, Fragen zu Dokumenten, gutes Deutsch |
| groß (ca. 70 Mrd. und mehr) | 48 GB und mehr | Anspruchsvolle Aufgaben, nahe an Cloud-Niveau |
Dazu kommt Speicher für den Kontext, also die Dokumente und Gespräche, die das Modell gerade bearbeitet, und für mehrere gleichzeitige Nutzer. Etwas Reserve einzuplanen lohnt sich.
Was sonst noch zählt
- Arbeitsspeicher (RAM): Mindestens so viel wie der Grafikspeicher, besser mehr, vor allem wenn viele Dokumente durchsucht werden.
- Festplatte (SSD): Modelle sind mehrere Gigabyte groß, dazu kommen Ihre Dokumente und deren Suchindex. Eine schnelle SSD verkürzt Ladezeiten.
- Netzwerk: Normales Firmen-LAN reicht. Die KI wird im Browser bedient, es fließen nur Texte.
- Strom und Wärme: Eine KI-Grafikkarte zieht unter Last einige hundert Watt. Im Leerlauf deutlich weniger. Der Standort sollte belüftet sein.
- Lautstärke: Server-Hardware kann laut sein. Für ein Büro ohne Serverraum ist ein leises Gerät wichtig.
Wie viele Nutzer gleichzeitig?
Im Büro tippen selten alle gleichzeitig. Eine einzelne gute Grafikkarte reicht in der Praxis oft für ein Team von zehn bis mehreren Dutzend Personen, weil sich die Anfragen über den Tag verteilen. Bei sehr vielen gleichzeitigen Anfragen werden die Antworten langsamer, nicht falsch.
Selbst bauen oder fertig kaufen?
Ein KI-Server lässt sich selbst zusammenstellen. Dazu gehören aber auch Betriebssystem, Treiber, Modellverwaltung, Benutzeroberfläche, Anmeldung, Dokumentensuche, Updates und Datensicherung. Für Betriebe ohne eigene IT-Abteilung ist ein fertig eingerichtetes Gerät meist der schnellere und sicherere Weg.
Was heißt das für Ihr Unternehmen?
- Für typische Büroaufgaben braucht es keine riesige Serverfarm, sondern einen Rechner mit einer guten Grafikkarte.
- Die Hardware ist der kleinere Teil der Arbeit. Einrichtung, Anbindung und Pflege machen den Unterschied.
- Planen Sie Strom, Standort und Datensicherung von Anfang an mit ein.
AIrak ist eine fertig eingerichtete Box mit eigener Grafikkarte. Sie kommt vorbereitet bei Ihnen an: auspacken, anschließen, loslegen. Updates und Sicherung auf Ihr NAS sind im Service enthalten. Mehr zu AIrak