Lokale KI kann mehr als einfache Prompts

LM Studio hat lokale Sprachmodelle aus der Terminal-Ecke geholt. Ich muss keine komplizierten Befehle kennen und nicht lange nach der passenden Quantisierung suchen. Ich wähle ein Modell aus, lade es herunter und beginne zu arbeiten.

Doch nach den ersten erfolgreichen Chats taucht zwangsläufig eine neue Frage auf: «Ist das alles?»

Wo der einfache Chat an seine Grenzen kommt

Lokale Modelle sind besonders stark bei den unspektakulären Aufgaben:

• Alt-Texte für eine Bildergalerie vorbereiten
• Bildunterschriften kürzen
• Metabeschreibungen in mehreren Längen formulieren
• Interviewtranskripte gliedern
• aus einem langen Kundentext eine brauchbare Struktur entwickeln
• Varianten von Titeln oder Leads erzeugen

Bei solchen Aufgaben brauche ich nicht zwingend das sprachlich brillanteste Modell. Wichtiger ist, dass sensible Inhalte nicht ungefragt auf einem fremden Server landen.

Auch die fehlende Webrecherche stört dabei weniger, als man zunächst vermuten könnte. Bei einem Interview, einem Kundenmanuskript oder einer bestehenden Publikation liefere ich den relevanten Kontext ohnehin selbst.

Trotzdem bleibt ein Medienbruch: Ich muss die Inhalte in den Chat kopieren, die Antwort prüfen und das Resultat wieder in mein Dokument übertragen. Das Modell sieht zwar den Text, aber nicht das Projekt, zu dem der Text gehört.

Damit fehlen einem einfachen LM-Studio-Setup drei wichtige Ebenen:

1. Der Zugriff auf Dateien und Projektordner
2. Ein mobiler Zugang zu lokalen Modellen
3. Die Verbindung zwischen mehreren eigenen Geräten

Hier kommen Bionic, Locally und LM Link ins Spiel.

Bionic bringt die KI an die Dateien

Bionic ist nicht einfach eine zusätzliche Funktion innerhalb von LM Studio, sondern eine neue, separate App. LM Studio bezeichnet sie als Agent für die Arbeit mit offenen Modellen.

Der entscheidende Unterschied? Ich kann Bionic Zugriff auf einen ausgewählten Ordner geben. Dadurch muss ich nicht mehr jede Datei einzeln in ein Chatfenster ziehen. Die KI kann innerhalb des freigegebenen Arbeitsbereichs Dokumente lesen, erstellen und verändern. Sie kann Dateien organisieren und Aufgaben in mehreren Schritten ausführen.

Das ist die Schicht, die einem klassischen lokalen Chat fehlt.

Ich kann Kontext und Skills in Dateien ablegen und so ein umfassendes Projekt-Memory aufbauen. Beim nächsten Chat mit der KI werden sie berücksichtigt.

Bionic lässt sich per MCP (Model Context Protocol) auch mit anderen Systemen auf deinem Mac verbinden. Das eröffnet weitere Möglichkeiten, um der KI Kontext zu geben, etwa aus Notion, Obsidian oder anderen Notizsystemen.

Ich kann auch wiederkehrende Tasks automatisieren. Nicht in Bionic selbst; aber da es sich um eine Mac-App handelt, kann ich sie mit Automator/AppleScript automatisieren.

Aus einem Modell mit simplem Chat wird damit langsam ein Werkzeug.

Mehr Fähigkeiten brauchen mehr Ressourcen

Allerdings zeigt sich hier auch die wichtigste Einschränkung: Bionic benötigt schnell deutlich mehr Ressourcen als LM Studio allein.

Im einfachen Chat muss der Rechner hauptsächlich das Modell ausführen und Text erzeugen. Bei Bionic kommen weitere Arbeitsschritte hinzu. Die Anwendung muss Dateien erfassen, Kontext auswählen, Werkzeuge aufrufen, Zwischenergebnisse verarbeiten und möglicherweise mehrere Modellanfragen nacheinander ausführen.

Besonders deutlich wird das bei lokalen Projektordnern. In meinen bisherigen Versuchen dauern Anfragen häufig mehrere Minuten. Teilweise ist die Wartezeit so lang, dass der praktische Vorteil gegenüber manueller Arbeit wieder kleiner wird.

Das ist kein nebensächliches Detail.

Bei einer einzelnen komplexen Aufgabe kann ich warten. Bei einer redaktionellen Routine mit vielen kleinen Entscheidungen wird jede zusätzliche Minute zum Hindernis. Ein Arbeitswerkzeug muss nicht nur die richtige Antwort liefern. Es muss sie rechtzeitig liefern.

Die Geschwindigkeit hängt natürlich von der Hardware, dem Modell, der Kontextlänge und der Aufgabe ab. Trotzdem verschiebt Bionic die Anforderungen spürbar. Ein Modell, das im normalen LM-Studio-Chat angenehm schnell läuft, kann im agentischen Workflow an seine Grenzen kommen.

An dieser Stelle wird einem bewusst, welche unglaubliche Serverleistungen hinter den gängigen KI-Tools stecken. Da kommen auch komplexe Antworten in Echtzeit zurück und müssen dabei noch um den halben Erdball geschickt werden.

Locally steckt lokale Modelle in die Hosentasche

Die grossen KI-Anbieter machen es uns auch einfach, ihre Dienste auf mobilen Geräten zu nutzen. Schnell im Tram eine Recherche machen? Kinderspiel.

Locally überträgt die Idee der lokalen KI auf iPhone und iPad. Kleinere Modelle können direkt auf dem mobilen Gerät laufen. Für kurze Zusammenfassungen, Umformulierungen oder das Sammeln von Ideen unterwegs ist das interessant.

Der Vorteil ist offensichtlich: Es braucht keinen laufenden Server im Hintergrund. Modell, Chat und Inhalte bleiben auf dem mobilen Gerät.

Gleichzeitig werden die Grenzen lokaler KI auf einem Smartphone besonders sichtbar. Weniger Speicher bedeutet kleinere Modelle. Auch Geschwindigkeit, Kontextlänge und Werkzeugzugriff können nicht mit einem gut ausgestatteten Mac mithalten.

Locally ist deshalb weniger ein Ersatz für den Desktop als eine mobile Ergänzung. Für kurze Routineaufgaben reicht ein kleines lokales Modell oft aus. Für umfangreiche Dokumente oder anspruchsvollere Analysen wünsche ich mir jedoch die Leistung des Rechners.

LM Link macht den Mac zum eigenen KI-Server

Hier kommt nun noch ein drittes Werkzeug ins Spiel, welches die mobile Anfrage einfach an meinen schnellen lokalen Rechner zuhause auslagert.

LM Link verbindet die eigenen Geräte über ein Ende-zu-Ende-verschlüsseltes Netzwerk. Die Anfrage geht von meinem iPhone an das potentere Modell, wird dort bearbeitet und die Antwort wird zurück an mein iPhone geschickt. Die eigentliche Rechenarbeit findet auf dem Mac statt. Das mobile Gerät wird zur Oberfläche.

Das schliesst eine wichtige Lücke. Ich muss nicht versuchen, das grösste mögliche Modell auf mein Smartphone zu quetschen. Stattdessen nutze ich die vorhandene Rechenleistung dort, wo sie steht.

Ganz ohne Abhängigkeiten funktioniert das natürlich nicht. Der Mac muss eingeschaltet und erreichbar sein. Auch das leistungsfähigste Modell hilft wenig, wenn der Rechner schläft oder die Verbindung instabil ist.

Trotzdem ist die Idee interessant: Der persönliche Computer wird zum privaten KI-Server. Nicht irgendwo in einer anonymen Cloud, sondern auf einem Gerät, das mir gehört und das ich selbst kontrolliere.

Drei Werkzeuge, drei Lücken

Zusammen ergeben die drei Angebote ein nachvollziehbares Bild:

• Bionic verbindet das Modell mit Dokumenten, Dateien und wiederkehrenden Arbeitsabläufen.
• Locally bringt kleinere lokale Modelle direkt auf iPhone und iPad.
• LM Link ermöglicht den verschlüsselten Zugriff auf leistungsfähigere Modelle, die auf einem anderen eigenen Gerät laufen.

Damit entwickelt sich LM Studio von einer Anwendung für lokale Chats zu einem kleinen Ökosystem für lokale KI.

Gleichzeitig sollte man den Reifegrad nicht überschätzen. Alle drei Angebote sind neu im Portfolio von LM Studio. Locally wurde erst 2026 offiziell als mobile App von LM Studio vorgestellt, LM Link befindet sich noch in der Preview-Phase, und auch Bionic entwickelt sich mit hoher Geschwindigkeit weiter.

Wir stehen also am Anfang.

Funktionen können sich ändern. Arbeitsabläufe sind noch nicht überall eingespielt. Die Dokumentation wächst mit dem Produkt. Und bei Bionic zeigt der Ressourcenverbrauch, wie anspruchsvoll lokale agentische Arbeit tatsächlich ist.

Damit wird lokale KI erwachsen. Aber sie ist noch nicht ausgewachsen.

Was denkst du dazu?

yeah!

1

wooow

0

what?

0

meh.

0

hahaha

0