AI ist längst kein Experiment mehr, sondern fester Bestandteil des Arbeitsalltags. Mitarbeitende lassen sich von AI-Assistenten Dokumente zusammenfassen, E-Mails vorformulieren und Gespräche übersetzen – und immer mehr Unternehmen möchten eigene AI-Anwendungen auf Basis ihrer internen Daten aufbauen. Damit stehen IT-Verantwortliche und Geschäftsführer vor einer ganz praktischen Infrastrukturfrage: Wo soll diese AI eigentlich laufen? Auf den Laptops der Belegschaft, auf einem eigenen AI-System unter dem Schreibtisch oder in der Cloud?

Stellen Sie sich eine Steuerberatungskanzlei mit 40 Mitarbeitenden vor. Die Partner möchten eingehende Mandantenunterlagen per AI vorsortieren und Standardschreiben automatisch entwerfen lassen. Die Belegschaft nutzt bereits einen kostenlosen Cloud-Chatbot – mitunter auch mit Mandantendaten, die das Unternehmen niemals verlassen dürften. Und ein technikaffiner Kollege hat einen NVIDIA DGX Spark beantragt, um „unser eigenes Modell zu bauen“. Drei Anfragen – und drei völlig unterschiedliche Hardware-Antworten.

Dieser Leitfaden vergleicht die drei wichtigsten Optionen – AI-PCs, kompakte AI-Workstations mit NVIDIAs GB10-Chip und Cloud-AI-Dienste – und hilft Ihnen bei der Entscheidung, welche Kombination zu Ihrem Unternehmen passt.

Die geschäftliche Herausforderung: Alle wollen AI – aber nicht alle brauchen dieselbe Hardware

AI-Workloads unterscheiden sich enorm. Ein Meeting zusammenzufassen ist eine kleine Aufgabe. Ein Sprachmodell mit zehn Jahren Projektdokumentation anzupassen, ist eine große. Und einen Chatbot für Tausende Kunden zu betreiben, ist noch einmal etwas ganz anderes. Hardware, die für eine dieser Aufgaben ideal ist, ist für eine andere oft schlicht rausgeworfenes Geld.

Warum ist das wichtig? Viele AI-Funktionen laufen im Arbeitsalltag permanent im Hintergrund – von Rauschunterdrückung und Hintergrundunschärfe in Videocalls bis zu Live-Untertiteln und einer intelligenteren Suche. Müssten CPU oder Grafikchip all das stemmen, würden Laptops heißer laufen, langsamer werden und ihren Akku schneller leeren. Die NPU erledigt diese Aufgaben mit deutlich weniger Energie, sodass der Rest des Systems für die eigentliche Arbeit frei bleibt.

Für Microsofts Copilot+-PC-Kategorie benötigen Geräte eine NPU mit mindestens 40 TOPS, 16 GB RAM und eine 256-GB-SSD. Aktuelle Prozessorgenerationen übertreffen diese Anforderungen deutlich: Intels Core Ultra Series 3 bietet eine NPU mit 50 TOPS, die Ryzen-AI-400-Serie von AMD erreicht 60 TOPS und die Snapdragon-X2-Chips von Qualcomm kommen auf 80 TOPS. Intel rechnet damit, dass 2026 rund jeder zweite neue PC ein AI-PC sein wird. Für die meisten Unternehmen stellt sich daher nicht die Frage, ob AI-PCs kommen, sondern wann – und die Antwort lautet meist: mit dem nächsten Hardware-Refresh.

Was alle GB10-Workstations gemeinsam haben

Jedes System dieser Kategorie basiert auf dem NVIDIA GB10 Grace Blackwell Superchip, der eine Blackwell-GPU mit einer 20-Kern-Arm-CPU kombiniert. Er liefert bis zu 1 PetaFLOP AI-Leistung, bietet 128 GB Unified Memory und unterstützt Modelle mit bis zu 200 Milliarden Parametern. Zwei Systeme lassen sich koppeln, um mit Modellen von bis zu 405 Milliarden Parametern zu arbeiten. Das gesamte System misst dabei gerade einmal 150 × 150 mm. Vorinstalliert sind NVIDIA DGX OS und der NVIDIA AI Software Stack, einschließlich Tools wie PyTorch und Jupyter.

Warum der Arbeitsspeicher entscheidend ist: Große AI-Modelle laufen nur, wenn sie vollständig in den Speicher passen. Eine typische professionelle Grafikkarte bietet nur einen Bruchteil dieser Kapazität. Bei GB10-Systemen teilen sich CPU und GPU die 128 GB – so lassen sich Modelle laden, an denen herkömmliche Workstations schlicht scheitern.

Dell, HP oder Lenovo: Worin sich die Modelle unterscheiden

Da die zentralen Spezifikationen identisch sind, geht es bei der Wahl des Herstellers weniger um Leistung als vielmehr darum, wie gut sich das System in Ihre bestehende IT einfügt:

• SSD-Kapazität: Die Konfigurationen reichen von 1 TB bis 4 TB. Dell bietet 1, 2 oder 4 TB an, HP 1 TB oder 4 TB. Arbeitet Ihr Team mit mehreren großen Modellen und Datensätzen, ersparen 4 TB viel Aufräumarbeit. Bei 1 TB empfiehlt es sich, Modelle und Daten auf einem NAS oder Server abzulegen.

• Herstellersoftware: HP ergänzt sein ZGX Toolkit, das Open-Source-Frameworks, Experiment-Tracking mit MLflow, Tests mit Ollama und einen einfachen Export für das Deployment bündelt. Zudem ist das HP-System darauf ausgelegt, als vernetzte AI-Ressource für bestehende Windows-, Mac- oder Linux-Geräte zu dienen. Dell betont, dass sich Modelle problemlos zwischen dem Desktop und Dell Rechenzentrumsumgebungen verschieben lassen. Lenovo positioniert die ThinkStation PGX als sichere Sandbox, in der geistiges Eigentum im eigenen Haus bleibt.

• Service und Support: Es gelten die gewohnten Business-Serviceoptionen. Dell bietet beispielsweise ProSupport mit Vor-Ort-Reparatur am nächsten Arbeitstag nach Ferndiagnose an.

CANCOM-Tipp: Für die meisten Unternehmen gilt eine einfache Faustregel: Wählen Sie den Hersteller, der bereits Ihre Geräteflotte ausstattet. Ein Anbieter bedeutet einen Supportvertrag, einen Beschaffungsprozess und einen Ansprechpartner.

Der größte Vorteil ist der Zugang zu Spitzenleistung. Die leistungsfähigsten AI-Modelle benötigen Rechenleistung in einer Größenordnung, mit der kein Schreibtischsystem mithalten kann – in der Cloud stehen sie Ihnen vom ersten Tag an zur Verfügung, ohne dass Sie Hardware kaufen, installieren oder warten müssen. Abgerechnet wird pro Nutzerlizenz oder nach tatsächlicher Nutzung. Das macht Cloud-AI besonders attraktiv für Pilotprojekte, schwankende Workloads und Unternehmen, die AI schnell für viele Mitarbeitende ausrollen möchten.

Das Spektrum der Cloud-AI-Dienste reicht von Microsoft 365 Copilot bis zu AI-Plattformen auf Azure und bei anderen Anbietern. Die entscheidende Frage ist dabei weniger, ob Sie die Cloud nutzen, als vielmehr, welche Daten Sie ihr anvertrauen – darauf gehen die Grenzen weiter unten ein.

Auf einen Blick: AI-PC vs. AI-Workstation vs. Cloud-KI

So finden Sie die richtige Lösung

Beantworten Sie vor der Investition fünf Fragen:

1. Wer wird AI nutzen? Sollen alle Mitarbeitenden AI nutzen, setzen Sie vorrangig auf AI-PCs und einen unternehmensweiten Cloud-Dienst. Geht es nur um einige wenige Spezialisten, kommt eine dedizierte Workstation infrage.

2. Wie sensibel sind Ihre Daten? Kundenunterlagen, personenbezogene Daten und geistiges Eigentum sprechen deutlich für eine lokale Verarbeitung.

3. Möchten Sie AI nutzen oder entwickeln? Wer AI vor allem nutzen will, ist mit AI-PCs plus Cloud gut aufgestellt. Wer eigene Modelle entwickeln und anpassen möchte, sollte DGX Spark in Betracht ziehen.

4. Wie gut lässt sich Ihre Nutzung planen? Bei konstanter, intensiver Nutzung rechnet sich eigene Hardware. Bei gelegentlicher Nutzung ist die Cloud meist im Vorteil.

5. Haben Sie das nötige Know-how im Haus? Ein DGX Spark bringt nur dann echten Mehrwert, wenn jemand mit Linux und AI-Frameworks umgehen kann.

Die Empfehlung von CANCOM: Für die meisten KMU lautet die Antwort nicht „entweder – oder“, sondern: ein hybrider Ansatz. Machen Sie AI-PCs mit jedem Hardware-Refresh zum Standard. Stellen Sie einen freigegebenen Cloud-AI-Dienst für unternehmensweite Assistenten bereit. Ergänzen Sie ein System der DGX-Spark-Klasse nur dort, wo ein Team tatsächlich Modelle mit sensiblen Daten entwickelt oder anpasst. Beginnen Sie beim Anwendungsfall – nicht bei der Hardware.

Praktische Tipps für den Einstieg

• Starten Sie mit einem Pilotprojekt. Testen Sie einen klar definierten Anwendungsfall über drei Monate und messen Sie das Ergebnis – etwa die eingesparten Stunden pro Woche.

• Klassifizieren Sie Ihre Daten. Legen Sie fest, welche Informationen in Cloud-Tools verarbeitet werden dürfen und welche im Haus bleiben müssen. Eine klare KI-Nutzungsrichtlinie ist das wirksamste Mittel gegen Schatten-AI.

• Sparen Sie nicht am Arbeitsspeicher. Planen Sie 16 GB RAM als Minimum für AI-PCs ein, für Power-User 32 GB. Bei vielen schlanken Business-Notebooks ist der Arbeitsspeicher fest verlötet und lässt sich später nicht aufrüsten.

• Denken Sie die Infrastruktur mit. Ein lokales AI-System braucht – wie jeder Server – ein schnelles Netzwerk, zuverlässige Backups und eine saubere Zugriffskontrolle.

• Berechnen Sie die Total Cost of Ownership. Vergleichen Sie die Cloud-Gebühren über drei Jahre mit den Gesamtkosten eigener Hardware – einschließlich Energie, Administration und Support.

Fazit

Die eine „beste“ AI-Infrastruktur gibt es nicht – wohl aber den richtigen Mix für Ihr Unternehmen. AI-PCs bringen alltägliche AI-Funktionen zu allen Mitarbeitenden und werden mit jedem Hardware-Refresh zum Standard. Kompakte AI-Workstations wie NVIDIA DGX Spark geben Entwicklern und Fachteams die Leistung, große Modelle lokal zu entwickeln und anzupassen, während sensible Daten im Haus bleiben. Cloud-AI bietet maximale Skalierbarkeit und die leistungsfähigsten Modelle ohne Vorabinvestition. Unternehmen, die mit klaren Anwendungsfällen starten, ihre Daten klassifizieren und diese Optionen gezielt kombinieren, schöpfen das volle Potenzial von AI aus – ohne Geld in Hardware zu stecken, die sie gar nicht brauchen.