OpenAI-kompatible APIs (LLMs) auf einer Synology DiskStation mit OpenWebUI

Möchtest Du die Macht verschiedener Large Language Models (LLMs) direkt auf Deiner Synology DiskStation nutzen? Mit OpenWebUI kannst Du nicht nur eine, sondern gleich 8 OpenAI-kompatible APIs integrieren! In diesem Tutorial zeige ich Dir, wie Du OpenWebUI installierst und konfigurierst, um verschiedene LLMs über ihre APIs auf Deinem NAS verfügbar zu machen.

Warum OpenWebUI?

OpenWebUI ist eine vielseitige Plattform, die es Dir ermöglicht, mit verschiedenen LLMs zu interagieren. Anders als viele andere Lösungen, die auf ein bestimmtes Modell beschränkt sind, kannst Du mit OpenWebUI mehrere APIs einbinden und so verschiedene LLMs nach Bedarf nutzen.

Weiterlesen: OpenAI-kompatible APIs (LLMs) auf einer Synology DiskStation mit OpenWebUI

Schritt 1: Installation von OpenWebUI

  1. Öffne das Paket-Zentrum auf Deiner Synology DiskStation.
  2. Suche und installiere die App „Docker“, falls Du sie noch nicht hast.
  3. Öffne eine ssh Shell zur DiskStation und logge Dich mit Deinem Admin User ein
  4. Starte nun den Container für OpenWebUI:
    docker run -d -p 3000:8080 -v docker/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Schritt 2: Konfiguration der OpenAI-APIs

  1. Öffne OpenWebUI in Deinem Browser: http://[Deine-DiskStation-IP]:[Gewählter-Port]
  2. Logge Dich ein oder Registriere Dich (der erste registrierte Benutzer ist automatisch Administrator)
  3. Gehe nun zum Administrationsbereich (und dann auf den Tab Einstellungen).
  4. Unter „Verbindungen“ fügst Du nun die verschiedenen OpenAI-APIs hinzu (+):
    • Füge die entsprechende API-URL hinzu
    • Füge den API-Schlüssel hinzu
    • Speichere die Einstellungen

Empfohlene OpenAI-APIs für verschiedene LLMs:

Hier ist eine Liste von 8 OpenAI-kompatiblen APIs, die Du in OpenWebUI integrieren kannst. Registriere Dich bei den entsprechenden Diensten, um einen API-Schlüssel zu erhalten:

API-EndpunktAPI-Token
https://api.openai.com/v1https://platform.openai.com/settings/profile?tab=api-keys
https://api.mistral.ai/v1https://console.mistral.ai/api-keys/
https://integrate.api.nvidia.com/v1https://build.nvidia.com/explore/discover
https://api.replicate.com/v1https://replicate.com/account/api-tokens
https://api.groq.com/openai/v1https://console.groq.com/keys
https://openrouter.ai/api/v1https://openrouter.ai/settings/keys
https://api.deepinfra.com/v1/openaihttps://deepinfra.com/dash/api_keys
https://api.shuttleai.app/v1https://shuttleai.app/keys
https://api.cohere.com/v1https://dashboard.cohere.com/api-keys
https://api.together.xyz/v1https://api.together.xyz/settings/api-keys
https://huggingface.co/chathttps://huggingface.co/settings/tokens
OpenAI kompatible APIs
OpenWebUI – Einstellungen – Verbindungen

Schritt 3: Nutzung der verschiedenen LLMs

Nun kannst Du in der Hauptoberfläche von OpenWebUI zwischen den verschiedenen LLMs wechseln:

  1. Starte eine neue Unterhaltung
  2. Wähle im Dropdown-Menü das gewünschte Model aus
  3. Stelle Deine Frage oder gib Deinen Prompt ein
  4. Genieße die Antworten verschiedener LLMs direkt auf Deiner DiskStation!

Tipps für die optimale Nutzung:

  • Experimentiere mit verschiedenen LLMs für unterschiedliche Aufgaben. Manche sind besser für kreatives Schreiben, andere für Analysen oder Übersetzungen.
  • Achte auf die Besonderheiten jedes Modells. Einige benötigen spezielle Prompt-Formate für beste Ergebnisse.
  • Vergleiche die Antworten verschiedener Modelle, um ein breiteres Verständnis zu erlangen.
  • Nutze die Konversationsverwaltung von OpenWebUI, um interessante Gespräche zu speichern und später fortzusetzen.
  • Experimentiere mit verschiedenen APIs, um herauszufinden, welche am besten zu Deinen Bedürfnissen passen. Jeder Dienst hat seine eigenen Stärken und Spezialisierungen.
  • Beachte die Kostenstruktur und eventuelle Nutzungsbeschränkungen der verschiedenen API-Anbieter.

Fazit

Mit OpenWebUI auf Deiner Synology DiskStation hast Du nun ein leistungsstarkes Tool, um verschiedene Large Language Models zu nutzen. Du kannst flexibel zwischen 8 OpenAI-kompatiblen APIs wechseln und ihre Stärken für verschiedene Aufgaben einsetzen. Diese Vielfalt ermöglicht es Dir, das beste Modell für jede Aufgabe zu wählen und Deine KI-Erfahrung zu optimieren.

Experimentiere, lerne und entdecke die faszinierende Welt der KI-Sprachmodelle direkt von Deinem heimischen NAS aus! Die Integration dieser vielfältigen APIs in OpenWebUI auf Deiner Synology DiskStation erschließt Dir eine Welt voller Möglichkeiten im Bereich der KI-gestützten Sprachverarbeitung und -generierung.

Wichtiger Hinweis

Beachte immer die Nutzungsbedingungen, die Lizenz und die Datenschutzrichtlinien der verwendeten LLMs. Sei vorsichtig mit sensiblen Daten und respektiere die Urheberrechte bei der Nutzung generierter Inhalte.

Balena Cloud mit einem Raspberry Pi 4

Einführung zu Balena Cloud

Die Verwaltung und Bereitstellung von IoT-Anwendungen kann knifflig sein, aber zum Glück gibt es Balena Cloud. Diese Plattform bietet eine zentrale Möglichkeit, IoT-Geräte zu verwalten, Anwendungen zu aktualisieren und Echtzeit-Daten zu überwachen. In diesem Blogbeitrag zeige ich euch, wie ihr Balena Cloud auf eurem Raspberry Pi 4 einrichten und nutzen könnt.

Vorteile der Nutzung von Balena Cloud

  • Zentralisierte Verwaltung und Überwachung
  • Einfache Bereitstellung und Aktualisierung von Anwendungen
  • Unterstützung für mehrere Gerätetypen und Anwendungen
  • Automatische Netzwerk- und VPN-Konfiguration
weiterlesen Balena Cloud mit einem Raspberry Pi 4

CO2 Sensor mit WEMOS D1 + CCS811

Bei diesem Projekt handelt es sich um eine Sensor zur Messung der Luftqualität, genauer gesagt um den CO2 Anteil, damit lässt sich heraus finden, wann man zum Beispiel den Raum lüften sollte.
Gerade zu Zeiten, in denen Corona verstärkt auf tritt, ist es wichtig, den Luftaustausch zu steigern.

Ich habe hierzu einen WEMOS D1 mini (ESP8266) und den CO2 Sensor CCS811 von SparkFun verwendet:

WEMOS D1 mini + SparkFun CCS811
WEMOS D1 mini + SparkFun CCS811
weiterlesen CO2 Sensor mit WEMOS D1 + CCS811

RaspberryPi Zero Crypto Ticker e-Paper Display

Um die aktuelle Kursentwicklung von Crypto-Währungen immer im Auge zu haben, habe ich das Projekt von Dr. Mod (zero-btc-screen) umgesetzt. Hierbei handelt es sich um einen RaspberryPi Zero W mit einem 2,13″ e-Paper Display:

RaspberryPi Zero W + 2,13" e-Paper Display
RaspberryPi Zero W + Waveshare 2,13″ e-Paper Display
weiterlesen RaspberryPi Zero Crypto Ticker e-Paper Display