NVIDIA Nemotron Bolt: Können KI-Agenten mit nur 4 GB lokal laufen?
NVIDIA veröffentlicht Nemotron 3.5 Bolt E4B für lokale KI-Agenten. Was die 4-GB-Angabe, 64K Kontext und Tool-Use-Benchmarks wirklich bedeuten.
NVIDIA hat am 23. Oktober 2026 das Open-Weight-Modell Nemotron 3.5 Bolt E4B 4GB veröffentlicht. In bestimmten quantisierten Konfigurationen benötigt es laut NVIDIA ungefähr vier Gigabyte Grafikspeicher und kann mehrstufige Werkzeugaufrufe in lokalen Sprach- und Geräteassistenten steuern. Vier Gigabyte sind keine generelle Systemanforderung für jede Kontextlänge, Hardware und Anwendung.
FELDGENAUE BELEGE
Quellenbelege und offene Fragen
- Originalquelle – Verfügbarkeit:
Verfügbarkeit:
NVIDIA veröffentlichte Bolt E4B am 23. Oktober mit herunterladbaren Checkpoints.
- Herstellerangabe – 4 GB und 64K:
4 GB und 64K:
Die Speicherwerte gelten für bestimmte quantisierte Testprofile; 64K bezeichnet den unterstützten Kontext, nicht einen garantierten 4-GB-Betrieb.
- Herstellerangabe – Benchmarks:
Benchmarks:
Rund 40 Prozent Durchschnittsplus und bis zu 80 Prozent weniger Ausgabetoken sind vom Anbieter berichtete Vergleichsmessungen.
- Offene Frage – Praxiseinsatz:
Praxiseinsatz:
Datenschutz, Hardwarekompatibilität, Lizenz und zuverlässige Werkzeugaktionen sind ohne eigene Tests nicht bestätigt.
Hersteller- und Regierungsangaben belegen keine unabhängige Praxismessung.
Warum die Veröffentlichung wichtig ist
KI-Agenten müssen nicht nur Texte erzeugen, sondern Werkzeuge auswählen, Ergebnisse prüfen und Gespräche über mehrere Schritte fortführen. Große Cloudmodelle können das, sind aber nicht für jeden Einsatz sinnvoll: Bei Sprachassistenten, Robotern, Spielcharakteren oder industriellen Geräten zählen Antwortzeit, Betriebskosten und die Kontrolle über Daten. NVIDIA setzt mit Bolt E4B deshalb bewusst auf eine kompakte lokale Ausführung.
Das Modell baut auf Gemma 4 E4B auf und wurde für Konversation, Befolgung von Anweisungen und mehrstufige Tool-Aufrufe nachtrainiert. NVIDIA nennt 64.000 Token Kontext, ein umschaltbares Reasoning-Verhalten sowie Modelle für GGUF und BF16. Die GGUF-Variante ist für lokale Inferenz relevant; die BF16-Version richtet sich unter anderem an Entwickler, die weiter trainieren oder eigene Quantisierungen erzeugen wollen. Lizenz und konkrete Nutzungsbedingungen müssen anhand der jeweiligen Modellkarte kontrolliert werden.
Was die 4-GB-Zahl wirklich bedeutet
NVIDIAs eigene Messungen zeigen auf einer RTX 5070 in einer kurzen Testsituation mit ungefähr 3.000 Eingabetoken und 50 Ausgabetoken rund 3,5 GB VRAM. In einer Konfiguration mit größerem Cache steigt der dokumentierte Spitzenwert auf rund 4,3 GB. Auf dem Jetson Orin Nano nennt der Hersteller bei anderen Testbedingungen circa 4,2 bis 4,9 GB VRAM. Diese Unterschiede sind entscheidend: Ein langes Kontextfenster benötigt zusätzlichen Speicher; daneben verbrauchen Anwendung, Betriebssystem, Audio- oder Vision-Module und Werkzeugumgebung Ressourcen.
Die Zahl „4 GB“ beschreibt daher einen optimierten Modellbetrieb in bestimmten Workloads, nicht einen vollständig ausgestatteten Assistenten auf jedem beliebigen Vier-Gigabyte-PC. Wer lokale Agenten plant, sollte die tatsächliche Spitzenspeicherauslastung und die Antwortzeit bei realistischen Gesprächslängen messen.
Tool Use ist spannender als ein allgemeiner Benchmark-Sieg
NVIDIA berichtet über ungefähr 40 Prozent höhere Durchschnittswerte als beim Vorgänger Nano 4B in einer ausgewählten Gruppe von Agenten- und Konversationsbenchmarks. In bestimmten Reasoning-Vergleichen sollen bis zu 80 Prozent weniger Ausgabetoken benötigt werden. Das sind Herstellerergebnisse, keine unabhängigen Messungen für jede Anwendung. Einzelne offengelegte Benchmarks zeigen zudem, dass Konkurrenzmodelle in manchen Disziplinen besser abschneiden.
Relevant sind vor allem Tests, in denen Agenten über mehrere Gesprächsrunden korrekte Funktionen mit den richtigen Argumenten aufrufen. In einer produktiven Anwendung kommen weitere Faktoren hinzu: Berechtigungen, Fehlerrücknahme, Schutz vor manipulierten Werkzeugausgaben, klare Freigaben für riskante Aktionen und die Qualität der eingebundenen Daten.
Was Unternehmen jetzt praktisch testen sollten
Für einen belastbaren Pilot bieten sich zwei identische Aufgabenserien an: eine kurze, häufig wiederkehrende Aufgabe und eine längere mit mehreren Werkzeugschritten. Erfasst werden sollten Qualität, Fehlerquote, VRAM-Spitzenwert, Antwortzeit, Kosten und die Häufigkeit notwendiger menschlicher Eingriffe. Eine lokale Ausführung reduziert möglicherweise die Abhängigkeit von externen APIs, ersetzt aber keine eigene Datenschutz- und Sicherheitsbewertung.
Einordnung von AgentenCode: Bolt E4B ist besonders interessant für spezialisierte, ressourcenarme KI-Agenten an der Edge. Die eigentliche Nachricht ist nicht „jedes Smartphone kann jetzt einen sicheren KI-Agenten ausführen“, sondern dass Open-Weight-Agentenmodelle im niedrigen Speicherbereich praktikabler werden. Ob es für einen konkreten Betrieb genügt, muss ein reproduzierbarer Test entscheiden.
Originalquellen und weiterführende Hinweise
Weitere Quellenprüfungen und Agentenprofile →
Hersteller- und Regierungsangaben sind keine unabhängigen Praxistests.
Häufig gestellte Fragen
Kann Nemotron Bolt vollständig offline laufen?
Mit lokal gespeicherten Modellgewichten und einer passenden Laufzeit ist lokale Inferenz möglich. Eine konkrete Agentenanwendung kann durch ihre Werkzeuge dennoch externe Netzwerkzugriffe benötigen.
Sind vier Gigabyte VRAM immer ausreichend?
Nein. Quantisierung, Kontextlänge, Cache, Hardware und weitere Komponenten können den Bedarf erhöhen.
Ist Bolt E4B besser als größere Cloudmodelle?
Das lässt sich aus den Herstellerbenchmarks nicht pauschal ableiten. Für kurze, interaktive Agentenaufgaben können Geschwindigkeit und lokale Kontrolle wichtiger sein als maximale Modellleistung.