„Was kostet das?“ ist die erste Frage, wenn Unternehmen über eine eigene, lokale KI nachdenken – und die am schwersten zu beantwortende, weil es die eine Zahl nicht gibt. Dieser Beitrag rechnet stattdessen ein realistisches Beispiel durch: ein mittelständischer Betrieb, rund 20 aktive KI-Nutzer, ein On-Premise-Sprachmodell, das auf den eigenen Dokumenten arbeitet.
Zu den Zahlen: Alle Beträge sind Richtwerte aus Projekten des Jahres 2026 im DACH-Raum, netto, ohne Anspruch auf Allgemeingültigkeit. Hardwarepreise, Strompreise und Lizenzmodelle ändern sich. Verstehen Sie die Rechnung als Größenordnung, nicht als Angebot.
Die vier Kostenblöcke
Ein lokales LLM kostet in vier Bereichen Geld: Hardware, Einrichtung, Betrieb und Weiterentwicklung. Software ist der kleinste Posten – die leistungsfähigen offenen Modelle (etwa aus den Familien Llama, Mistral oder Qwen) sind kostenlos nutzbar, ebenso die gängigen Werkzeuge für Betrieb und Dokumentensuche.
1. Hardware
Der Preis wird von der GPU bestimmt. Für 20 Nutzer mit typischer Büroarbeit – Texte zusammenfassen, E-Mails entwerfen, in eigenen Dokumenten recherchieren – reicht ein einzelner Server mit einer professionellen GPU der oberen Mittelklasse.
| Variante | Grober Rahmen | Passt für |
|---|---|---|
| Ein GPU-Server (24–48 GB VRAM), im Haus | 8.000–18.000 € einmalig | bis ~25 gleichzeitige Nutzer, Modelle bis ~30 Mrd. Parameter |
| Zwei GPUs / größerer Server | 20.000–40.000 € einmalig | mehr Parallelität, größere Modelle, erste Redundanz |
| GPU-Miete im österreichischen Rechenzentrum | 400–1.500 € pro Monat | kein Invest, schneller Start, Daten bleiben in AT |
Für unser Beispiel rechnen wir mit einem Server im Haus für rund 12.000 €. Nutzungsdauer realistisch drei bis vier Jahre.
2. Einrichtung (einmalig)
Dazu gehören: Aufbau und Härtung des Servers, Installation der Modell- und Betriebsumgebung, Anbindung an Ihre Dokumentenablage (die „RAG“-Komponente, damit die KI Ihre Inhalte findet), Benutzerverwaltung über Ihr bestehendes Konto-System, ein einfaches Web-Frontend und eine kurze Einschulung. Je nach Datenlage und Integrationstiefe liegt das bei 6.000–20.000 €. Für das Beispiel: 10.000 €.
3. Laufender Betrieb (pro Jahr)
| Posten | Beispiel pro Jahr |
|---|---|
| Strom (Server läuft dauerhaft, Lastspitzen bei Nutzung) | 500–1.200 € |
| Wartung, Updates, Modell-Wechsel, Monitoring (betreut) | 3.000–7.000 € |
| Hardware-Rücklage (Ersatz nach 3–4 Jahren) | ca. 3.000 € |
Zusammen etwa 7.000–11.000 € pro Jahr. Für das Beispiel: 9.000 €.
4. Weiterentwicklung (optional)
Neue Anwendungsfälle, zusätzliche Datenquellen, Auswertungen, Feinschliff der Antwortqualität. Kein Pflichtposten, aber die meisten Unternehmen investieren im zweiten Jahr bewusst, weil neue Ideen entstehen. Budgetieren Sie, was Ihnen der Nutzen wert ist – oft 2.000–8.000 € pro Jahr.
Die Beispielrechnung auf drei Jahre
| Einmalig | Jahr 1 | Jahr 2 | Jahr 3 | |
|---|---|---|---|---|
| Hardware | 12.000 € | – | – | – |
| Einrichtung | 10.000 € | – | – | – |
| Betrieb | – | 9.000 € | 9.000 € | 9.000 € |
| Weiterentwicklung | – | – | 4.000 € | 4.000 € |
| Summe | 22.000 € | 9.000 € | 13.000 € | 13.000 € |
Gesamt über drei Jahre: rund 57.000 € – etwa 19.000 € pro Jahr oder umgerechnet knapp 80 € pro Nutzer und Monat bei 20 Nutzern.
Der Vergleich mit „KI aus der Cloud“
Eine Cloud-KI über API oder als Abo kostet je nach Anbieter und Nutzung grob 20–60 € pro Nutzer und Monat – für 20 Nutzer also 5.000–14.000 € pro Jahr, ohne Investition und mit weniger Betriebsaufwand. Rein nach Listenpreis ist die Cloud für kleine Nutzerzahlen günstiger.
Das lokale Modell rechnet sich, wenn mindestens einer dieser Punkte zutrifft:
- Die Daten dürfen das Haus nicht verlassen – bei Gesundheits-, Mandanten- oder Konstruktionsdaten ist die Cloud oft schlicht keine Option. Dann ist der Vergleich hinfällig.
- Die Nutzung skaliert – ab etwa 40–60 intensiven Nutzern oder bei automatisierter Massenverarbeitung kippt die Kostenrechnung zugunsten der eigenen Hardware.
- Planbarkeit zählt – feste jährliche Kosten statt nutzungsabhängiger Abrechnung, kein Preisrisiko durch Anbieter.
Was den Preis wirklich bewegt
- Datenqualität. Gut abgelegte, konsistente Dokumente machen die Einrichtung günstig. Zehn Jahre gewachsene Dateiablage treibt den Aufwand.
- Zahl der Anwendungsfälle. Ein klar umrissener Start (z. B. nur „Angebote und Schriftverkehr“) ist deutlich billiger als „KI für alles“.
- Antwortzeiten und Parallelität. Wenn viele gleichzeitig arbeiten, braucht es mehr GPU – der größte Hebel bei der Hardware.
- Betriebsmodell. Selbst betreiben ist billiger, bindet aber Know-how. Betreut ist teurer, dafür kalkulierbar.
Häufige Fragen
Geht es auch kleiner – für 5 Personen?
Ja. Mit einer kleineren GPU und einem schlanken Setup starten Projekte für ein kleines Team im Bereich von 8.000–15.000 € einmalig plus einigen tausend Euro Betrieb im Jahr. Bei sehr kleinen Teams ohne Datenschutz-Zwang lohnt oft zuerst ein Blick auf Microsoft Copilot.
Brauchen wir eigenes KI-Personal?
Nein. Der laufende Betrieb lässt sich wie andere Serverdienste an einen Dienstleister geben. Intern braucht es eine Ansprechperson, die die fachlichen Anforderungen kennt.
Wie lange dauert die Einführung?
Ein klar umrissener Pilot ist in vier bis acht Wochen nutzbar. Der breite Rollout mit mehreren Anwendungsfällen dauert einige Monate.
Was passiert, wenn ein besseres Modell erscheint?
Modelle werden getauscht, die Infrastruktur bleibt. Genau das ist ein Vorteil des lokalen Ansatzes: Sie sind nicht an einen Anbieter gebunden und ziehen bei jedem Fortschritt der offenen Modelle mit.
Dieser Beitrag gibt Erfahrungswerte von ROUBE zum angegebenen Datum wieder. Konkrete Kosten für Ihr Unternehmen ergeben sich erst aus einem Assessment.
Kostenloses KI-Assessment
Wir sehen uns Ihre Anwendungsfälle, Datenlage und Nutzerzahl an und legen eine belastbare Kostenschätzung sowie einen Umsetzungspfad vor – lokal, Cloud oder Kombination.
Assessment anfragen