Raycast und Ollama: Produktivität mit lokalen KI-Flügeln

Ein Tastaturkürzel – und Raycast ist da. Auf meinem Mac öffnet sich damit eine Steuerungszentrale, über die ich Apps starte, Dateien finde, Fenster anordne, Textbausteine einfüge oder auf meine Zwischenablage zugreife. Ich kann Systemeinstellungen ändern, Skripte ausführen und über Extensions weitere Programme einbinden.

Raycast ist so etwas wie ein Schweizer Taschenmesser für den Mac – und inzwischen auch für Windows. Statt mich durch Menüs zu klicken oder ständig zwischen verschiedenen Apps zu wechseln, tippe ich ein paar Buchstaben und bin dort, wo ich hinwill. Schnell, anpassbar und mit einem einzigen Shortcut erreichbar. Genau deshalb nutze ich Raycast täglich.

Im Publishingblog habe ich bereits verschiedene Klingen dieses Taschenmessers vorgestellt. In diesem Beitrag kommt eine besonders interessante hinzu: Raycast kann seine KI-Funktionen nicht nur mit Cloud-Modellen von OpenAI, Anthropic und Co. ausführen. Es kann dafür auch auf die lokalen Modelle zugreifen, die Ollama auf meinem Mac bereitstellt.

Im letzten Beitrag habe ich Ollama als Motor für lokale KI beschrieben. Jetzt schauen wir uns an, was passiert, wenn Raycast diesen Motor nutzt.

Ollama stellt den Motor bereit

Ollama ist ein Model-Runner. Die Software lädt KI-Modelle auf den eigenen Rechner und führt sie dort aus. Sie kümmert sich im Hintergrund darum, dass ein Modell verfügbar ist und Anfragen beantworten kann.

Ich kann mit diesem Modell direkt im Terminal chatten. Ich kann auch die grafische Oberfläche von Ollama verwenden. Beides funktioniert, aber beides macht Ollama zunächst einfach zu einer weiteren KI-Anwendung.

Spannender wird es, wenn andere Programme auf diesen lokalen Motor zugreifen.

Genau das macht Raycast. Die lokale Schnittstelle von Ollama stellt die Modelle bereit, Raycast verwendet sie für seine eigenen KI-Funktionen. Ich muss meinen Text also nicht aus einer Anwendung kopieren, in Ollama einfügen und die Antwort anschliessend wieder zurückkopieren.

Die KI kommt dorthin, wo ich ohnehin arbeite.

Disclaimer: Arbeitet man in diesem Modus, wartet man leider recht oft. Lokale KI ist halt einfach noch nicht so schnell wie aus der Cloud.

Raycast trennt Funktion und Modell

Das grundlegende Konzept ist erstaunlich einfach: Raycast trennt die Funktion vom verwendeten KI-Modell.

Ein AI Command kann beispielsweise einen Text zusammenfassen, übersetzen oder umformulieren. Für diesen Command kann ich auswählen, welches Modell die Aufgabe erledigen soll. Das kann ein Cloud-Modell von OpenAI, Anthropic oder Google sein. Es kann aber auch ein lokales Modell sein, das über Ollama auf meinem Mac läuft.

Ich muss mich also nicht grundsätzlich für «lokal» oder «Cloud» entscheiden. Stattdessen kann ich für jede Aufgabe das passende Modell auswählen.

Für einen vertraulichen Text nehme ich vielleicht ein lokales Modell. Für eine komplexe Recherche oder eine Aufgabe, bei der ein bestimmtes Cloud-Modell deutlich besser ist, wechsle ich den Anbieter. Die Funktion bleibt dieselbe.

Das ist für mich einer der interessantesten Aspekte von Raycast: Ich lerne nicht für jedes Modell eine neue Oberfläche kennen. Ich arbeite weiterhin mit meinen Commands und entscheide lediglich, welcher Motor darunter läuft.

Natürlich bedeutet das nicht, dass jedes lokale Modell jede Funktion gleich gut beherrscht. Bildanalyse benötigt ein Vision-Modell. Auch bei Tool-Nutzung, Geschwindigkeit, Kontextlänge und Qualität gibt es Unterschiede. «Die Funktion ist verfügbar» und «das Modell erledigt die Aufgabe überzeugend» sind zwei verschiedene Aussagen.

Aber genau dafür gibt es die freie Modellwahl.

Ollama in Raycast verwenden

Wie geht das nun in der Praxis?

Zuerst installierst du Raycast und legst fest, mit welchem Tastaturkürzel du die Steuerungszentrale öffnen möchtest. Auf meinem Mac nutze ich Befehl-Space und damit ersetzt Raycast das systemeigene Spotlight.

Dann muss Ollama im Hintergrund laufen und mindestens ein Modell lokal installiert sein. Wie das funktioniert, habe ich im vorherigen Beitrag gezeigt.

Raycast erkennt die lokalen Modelle und führt sie neben den verfügbaren Cloud-Modellen auf. Danach kannst du bei den KI-Funktionen festlegen, welches Modell standardmässig verwendet werden soll.

Das war es im Wesentlichen schon.

Ollama kümmert sich weiterhin um das Modell. Raycast liefert die Oberfläche, die Commands und den Zugriff auf weitere Funktionen des Computers. Im Alltag muss ich die Ollama-App deshalb kaum noch öffnen. Selbst die Verwaltung der lokalen Modelle lässt sich weitgehend aus Raycast heraus erledigen.

Mehr als Fragen und Antworten

Der einfachste Anwendungsfall ist ein klassischer AI Command. Ich markiere einen Text, öffne Raycast und lasse ihn zusammenfassen, übersetzen oder überarbeiten.

Das Ergebnis erscheint direkt dort, wo ich es brauche. Kein Browser, kein zusätzlicher Tab und kein Hin und Her zwischen verschiedenen Chatfenstern.

Raycast kann die KI aber auch mit Extensions verbinden. Schreibe ich beispielsweise:

@calendar Welche Termine habe ich morgen?

übergibt Raycast die Anfrage an die Ask-Schnittstelle der Calendar Extension. Das Sprachmodell interpretiert meine Absicht, wählt das passende Werkzeug und erzeugt die benötigten Parameter. Die Extension liefert strukturierte Daten zurück, aus denen das Modell eine verständliche Antwort formuliert.

Vereinfacht sieht das so aus:

natürliche Sprache → passende Extension → konkretes Werkzeug → Ergebnis → formulierte Antwort

Auch mehrere Extensions lassen sich kombinieren:

@calendar @weather Wann passt morgen ein Spaziergang?

Damit wird die KI zu mehr als einem Textgenerator. Sie dient als sprachliche Schnittstelle zu Werkzeugen und Informationen.

Bei einem Ask-Tool lassen sich zudem eigene Anweisungen hinterlegen. Ich kann der Calendar Extension beispielsweise mitgeben:

«Plane keine Termine vor 10 Uhr.»

Ob solche Tool-Aufrufe mit einem lokalen Modell zuverlässig funktionieren, hängt wiederum vom Modell ab. Kleine Modelle sind schnell und für einfache Textaufgaben oft mehr als ausreichend. Komplexere Abläufe können ein leistungsfähigeres Modell benötigen.

Projects, Dateien und wiederkehrende Aufgaben

Mit Raycast 2 geht die Integration noch weiter. Projects bündeln Gespräche zu einem bestimmten Thema. Jedes Projekt kann eigene Anweisungen und ein eigenes Gedächtnis erhalten. Ich muss den Kontext also nicht in jedem neuen Chat wieder von vorne erklären.

Ein Project lässt sich ausserdem mit einem lokalen Arbeitsordner verbinden. Das kann ein Obsidian Vault, eine Codebasis oder ein Ordner mit Rechnungen und Projektdokumenten sein. Raycast weiss dann, wo es mit seinen Werkzeugen arbeiten soll.

Auch die Dateisuche bleibt lokal. Raycast kann Dateinamen und auf Wunsch Dateiinhalte indexieren. Suchbereiche, externe Laufwerke und auszuschliessende Ordner lassen sich konfigurieren.

Dazu kommen Automations, die Prompts nach einem Zeitplan ausführen, sowie Skills mit wiederverwendbaren Anweisungen und Kontext. Zusammen mit den Extensions entsteht ein Baukasten aus Modellen, Werkzeugen, Dateien und persönlichen Vorgaben.

Das klingt zunächst nach sehr vielen Funktionen. Man muss sie aber nicht alle auf einmal nutzen. Ein eigener Command für eine wiederkehrende Textaufgabe ist ein guter Anfang.

Was Raycast mit lokaler KI gut kann

In Teil 1 dieser Serie habe ich einen Anforderungskatalog für lokale KI formuliert. Daran muss sich auch Raycast messen lassen.

Bei Commands spielt Raycast seine grösste Stärke aus. Eigene KI-Befehle sind systemweit per Tastenkürzel verfügbar. Auch Texte, Bilder und Code lassen sich verarbeiten, sofern das gewählte Modell die jeweilige Aufgabe unterstützt.

Der Zugriff auf Dateien und Apps ist ebenfalls stark. Über Finder, Terminal, Kalender, Zwischenablage und weitere Extensions kann die KI nicht nur antworten, sondern konkrete Werkzeuge verwenden.

Projects, Skills und Automations sorgen dafür, dass aus einzelnen Prompts wiederverwendbare Workflows entstehen.

Alles in allem habe ich also den Komfort, den ich von ChatGPT und Co. gewohnt bin. Ja, die Sache ist sogar noch etwas komfortabler, weil ich Raycast wirklich genauso konfigurieren kann, wie ich es gerne möchte. Shortcuts, Quicklinks, KI-Presets, das ist für Raycast alles ein Klacks.

Einzige Einschränkung: das Tempo der lokalen Modelle.

Lokal bedeutet nicht automatisch kostenlos

Naja, und fairerweise muss ich noch erwähnen: Damit das funktioniert, braucht es ein Pro-Abo für Raycast. Das ist ob des riesigen Funktionsumfangs von Raycast zwar nicht teuer, aber es ist halt ein weiteres Abo.

Ob sich das Abo lohnt, hängt deshalb nicht nur von der KI ab. Entscheidend ist, ob Raycast auch als Launcher, Suche, Fensterverwaltung, Zwischenablage, Automatisierungswerkzeug und Steuerungszentrale einen festen Platz im eigenen Alltag findet.

Bei mir ist das längst ein No-Brainer, ich könnte ohne Raycast nicht mehr sein.

Das Cockpit für den lokalen Motor

Ollama stellt den Motor für lokale KI bereit. Raycast baut darum ein Cockpit, das ich mit einem einzigen Tastaturkürzel erreiche.

Das ist für mich wichtiger als ein weiterer Chat mit einem lokalen Modell. Ich möchte meine Arbeit nicht ständig in eine KI-Anwendung verschieben. Ich möchte die KI dort einsetzen, wo die Arbeit bereits stattfindet.

Raycast macht genau das. Ich kann einen Text direkt bearbeiten, Dateien suchen, Extensions ansprechen oder wiederkehrende Aufgaben als Command speichern. Dabei entscheide ich selbst, ob ein lokales oder ein cloudbasiertes Modell zum Einsatz kommt.

Was denkst du dazu?

yeah!

0

wooow

0

what?

0

meh.

0

hahaha

0