Ollama sieht zunächst ziemlich unspektakulär aus. Man installiert es, öffnet das Terminal und gibt einen Befehl ein. Ein Modell wird heruntergeladen, kurz darauf kann man die erste Frage stellen.
Das ist für Terminal-Liebhaber praktisch. Wer wie ich aber das Terminal eher meidet, der fragt sich zuerst schon, ob das jetzt wirklich das richtige Tool ist. Hier lohnt es sich, weiterzulesen, bzw. weiterzudenken. Denn Ollama ist mehr als nur KI im Terminal.
Ollama ist ein Model-Runner: ein Motor, der KI-Modelle lokal auf dem eigenen Rechner ausführt. Auf diesen Motor kann ich an ganz unterschiedlichen Stellen zugreifen – im Terminal, über eine grafische Oberfläche oder aus einer anderen App heraus.
Genau das macht Ollama für mich interessant.
Installieren, Modell laden, loslegen
Die Installation auf dem Mac ist – trotz Terminal – unkompliziert. Ich lade Ollama herunter und starte anschliessend im Terminal beispielsweise einen Chat.
Dazu gehe ich auf die Webseite von Ollama und suche unter „Models“ das geeignete Model aus. Klicke ich auf das Modell, sehe ich den Terminalbefehl, mit dem ich es auf meinen Mac ziehen kann.
Nun liegt das Modell lokal auf deinem Mac und du kannst – wenn du willst – direkt im Terminal damit chatten.
Ollama übernimmt im Hintergrund die Modellverwaltung und stellt die lokale Rechenumgebung bereit. Es kümmert sich also darum, dass das ausgewählte Modell auf meinem Mac läuft und Anfragen beantworten kann.
Auf einem Mac mit Apple Silicon funktioniert das erstaunlich flink und gut. Natürlich gilt weiterhin: Je grösser das Modell, desto mehr Arbeitsspeicher, Speicherplatz und Rechenleistung benötigt es. Für viele alltägliche Aufgaben braucht es aber nicht das grösste verfügbare Modell.
Texte zusammenfassen, Entwürfe überarbeiten, Formulierungen vereinfachen oder Ideen entwickeln: Dafür reichen oft kleinere Modelle.
Das Terminal ist nur ein Zugang
Der Chat im Terminal ist der einfachste Weg, Ollama auszuprobieren. Er zeigt sehr direkt, was passiert. Für erste Tests gefällt mir diese Klarheit. Es gibt keine ablenkenden Funktionen und kaum Einstellungen.
Gleichzeitig ist das Terminal für viele Menschen nicht der Ort, an dem sie längere Texte schreiben oder ihren Publishing-Alltag organisieren möchten.
Das muss es auch nicht sein.
Das Terminal ist nur eines von mehreren möglichen Cockpits. Der Motor darunter bleibt Ollama.
Etwas bequemer mit der Ollama-App
Wer lieber mit einer grafischen Oberfläche arbeitet, kann die Ollama-App verwenden. Sie macht den Einstieg zugänglicher und erspart für viele Aufgaben den Umweg über die Kommandozeile.
Damit nähert sich die Nutzung dem an, was wir von ChatGPT, Claude oder auch vom lokalen LM Studio kennen: Modell auswählen, Frage eingeben, Antwort erhalten. Lokal. Auf deinem Rechner.
Du kannst mit Texten und Bildern arbeiten und du kannst auf Wunsch die Webrecherche hinzuschalten – dann läuft deine Anfrage immer noch lokal, greift aber aktuelle Informationen aus dem Internet ab.
Leider ist die Ollama-App wirklich nur eine Oberfläche für deine Chats. Neue Modelle suchen und installieren funktioniert nur sehr eingeschränkt. Aber das ist halt das Konzept hinter Ollama: die Organisation der Modelle geschieht eben im Terminal.
Noch spannender wird die lokale Schnittstelle
Dieser zentrale Terminal-Ansatz ist aber durchaus spannend: Ollama stellt lokal eine Schnittstelle bereit, über die weitere Anwendungen auf die laufenden Modelle zugreifen können.
Das bedeutet: Ich muss meine KI-Arbeit nicht in Ollama selbst erledigen.
Eine andere App kann einen Text entgegennehmen, an Ollama übergeben und die Antwort dort anzeigen, wo ich gerade arbeite. Auch eigene Skripte, Automationen oder Publishing-Werkzeuge können diesen lokalen Motor nutzen.
Damit wird Ollama zur Infrastruktur, zum Motor.
Das in der Mac-Welt recht beliebte Knowledge Management-Tool DEVONthink besitzt keine eigene KI, greift aber für Analysen auf Ollama zurück. Auch andere Wissens-Tools wie Zotero oder Obsidian können über Plugins mit Ollama verknüpft werden.
Im nächsten Beitrag zeige ich die Verknüpfung mit Raycast. Dort kann ich lokale Modelle für wiederkehrende Commands, Tastaturkürzel und weitere Funktionen verwenden. So wird aus dem Motor im Hintergrund ein Werkzeug, das auf dem Mac jederzeit griffbereit ist.
Über mich
Ein Kommentar
Danke für diese klare Einordnung von Ollama als Motor statt als reines Terminal-Tool. Genau dieser Gedanke hat bei mir den Knoten gelöst: Das Modell läuft lokal, und ich entscheide, ob ich es per Terminal, über eine grafische Oberfläche oder aus Raycast heraus anspreche. Für Texte zusammenfassen und Entwürfe überarbeiten nutze ich inzwischen fast nur noch kleinere Modelle, und auf einem Apple-Silicon-Mac reicht das im Alltag völlig aus.
Spannend finde ich, wie sich dieser Ansatz auch auf Bilder überträgt. Im Publishing-Alltag brauchen wir oft schnell Moodbilder oder Platzhalter für Layouts, bevor das echte Shooting steht. Lokale Bildmodelle sind dafür noch recht hungrig nach Arbeitsspeicher, deshalb teste ich parallel auch Web-Tools wie ai生图, um fotorealistische Entwürfe zu vergleichen. Die Kombination aus lokalem Textmodell für Briefings und einem Bildgenerator für erste Visuals spart in der Konzeptphase viel Zeit.
Freue mich auf die weiteren Teile der Serie – besonders, wenn es um die Anbindung an andere Apps über die lokale API geht.