OpenAI-kompatible APIs (LLMs) auf einer Synology DiskStation mit OpenWebUI

Möchtest Du die Macht verschiedener Large Language Models (LLMs) direkt auf Deiner Synology DiskStation nutzen? Mit OpenWebUI kannst Du nicht nur eine, sondern gleich 8 OpenAI-kompatible APIs integrieren! In diesem Tutorial zeige ich Dir, wie Du OpenWebUI installierst und konfigurierst, um verschiedene LLMs über ihre APIs auf Deinem NAS verfügbar zu machen.

Warum OpenWebUI?

OpenWebUI ist eine vielseitige Plattform, die es Dir ermöglicht, mit verschiedenen LLMs zu interagieren. Anders als viele andere Lösungen, die auf ein bestimmtes Modell beschränkt sind, kannst Du mit OpenWebUI mehrere APIs einbinden und so verschiedene LLMs nach Bedarf nutzen.

Weiterlesen: OpenAI-kompatible APIs (LLMs) auf einer Synology DiskStation mit OpenWebUI

Schritt 1: Installation von OpenWebUI

  1. Öffne das Paket-Zentrum auf Deiner Synology DiskStation.
  2. Suche und installiere die App „Docker“, falls Du sie noch nicht hast.
  3. Öffne eine ssh Shell zur DiskStation und logge Dich mit Deinem Admin User ein
  4. Starte nun den Container für OpenWebUI:
    docker run -d -p 3000:8080 -v docker/open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Schritt 2: Konfiguration der OpenAI-APIs

  1. Öffne OpenWebUI in Deinem Browser: http://[Deine-DiskStation-IP]:[Gewählter-Port]
  2. Logge Dich ein oder Registriere Dich (der erste registrierte Benutzer ist automatisch Administrator)
  3. Gehe nun zum Administrationsbereich (und dann auf den Tab Einstellungen).
  4. Unter „Verbindungen“ fügst Du nun die verschiedenen OpenAI-APIs hinzu (+):
    • Füge die entsprechende API-URL hinzu
    • Füge den API-Schlüssel hinzu
    • Speichere die Einstellungen

Empfohlene OpenAI-APIs für verschiedene LLMs:

Hier ist eine Liste von 8 OpenAI-kompatiblen APIs, die Du in OpenWebUI integrieren kannst. Registriere Dich bei den entsprechenden Diensten, um einen API-Schlüssel zu erhalten:

API-EndpunktAPI-Token
https://api.openai.com/v1https://platform.openai.com/settings/profile?tab=api-keys
https://api.mistral.ai/v1https://console.mistral.ai/api-keys/
https://integrate.api.nvidia.com/v1https://build.nvidia.com/explore/discover
https://api.replicate.com/v1https://replicate.com/account/api-tokens
https://api.groq.com/openai/v1https://console.groq.com/keys
https://openrouter.ai/api/v1https://openrouter.ai/settings/keys
https://api.deepinfra.com/v1/openaihttps://deepinfra.com/dash/api_keys
https://api.shuttleai.app/v1https://shuttleai.app/keys
https://api.cohere.com/v1https://dashboard.cohere.com/api-keys
https://api.together.xyz/v1https://api.together.xyz/settings/api-keys
https://huggingface.co/chathttps://huggingface.co/settings/tokens
OpenAI kompatible APIs
OpenWebUI – Einstellungen – Verbindungen

Schritt 3: Nutzung der verschiedenen LLMs

Nun kannst Du in der Hauptoberfläche von OpenWebUI zwischen den verschiedenen LLMs wechseln:

  1. Starte eine neue Unterhaltung
  2. Wähle im Dropdown-Menü das gewünschte Model aus
  3. Stelle Deine Frage oder gib Deinen Prompt ein
  4. Genieße die Antworten verschiedener LLMs direkt auf Deiner DiskStation!

Tipps für die optimale Nutzung:

  • Experimentiere mit verschiedenen LLMs für unterschiedliche Aufgaben. Manche sind besser für kreatives Schreiben, andere für Analysen oder Übersetzungen.
  • Achte auf die Besonderheiten jedes Modells. Einige benötigen spezielle Prompt-Formate für beste Ergebnisse.
  • Vergleiche die Antworten verschiedener Modelle, um ein breiteres Verständnis zu erlangen.
  • Nutze die Konversationsverwaltung von OpenWebUI, um interessante Gespräche zu speichern und später fortzusetzen.
  • Experimentiere mit verschiedenen APIs, um herauszufinden, welche am besten zu Deinen Bedürfnissen passen. Jeder Dienst hat seine eigenen Stärken und Spezialisierungen.
  • Beachte die Kostenstruktur und eventuelle Nutzungsbeschränkungen der verschiedenen API-Anbieter.

Fazit

Mit OpenWebUI auf Deiner Synology DiskStation hast Du nun ein leistungsstarkes Tool, um verschiedene Large Language Models zu nutzen. Du kannst flexibel zwischen 8 OpenAI-kompatiblen APIs wechseln und ihre Stärken für verschiedene Aufgaben einsetzen. Diese Vielfalt ermöglicht es Dir, das beste Modell für jede Aufgabe zu wählen und Deine KI-Erfahrung zu optimieren.

Experimentiere, lerne und entdecke die faszinierende Welt der KI-Sprachmodelle direkt von Deinem heimischen NAS aus! Die Integration dieser vielfältigen APIs in OpenWebUI auf Deiner Synology DiskStation erschließt Dir eine Welt voller Möglichkeiten im Bereich der KI-gestützten Sprachverarbeitung und -generierung.

Wichtiger Hinweis

Beachte immer die Nutzungsbedingungen, die Lizenz und die Datenschutzrichtlinien der verwendeten LLMs. Sei vorsichtig mit sensiblen Daten und respektiere die Urheberrechte bei der Nutzung generierter Inhalte.

Backup mit duplicity vom NAS DS209 auf SmartDrive

WEB.de, GMX oder 1&1 bieten ein sogenanntes SmartDrive, eine Festplatte im Internet. Auf diese kann man z.B. über ein Netzlaufwerk oder eine Web-Oberfläche im Internet zugreifen. Zudem sind diese Speicher meistens hochverfügbar ausgelegt. Also warum drauf nicht aktuelle Backups der eigenen Daten ablegen, falls die Festplatte mal crasht, hat man die Daten ja noch zentral im Internet. Natürlich verschlüsselt und sicher abgelegt.

Da ich zentral im Netzwerk bereits eine NAS, die DiskStation 209 von Synology betreibe und hier zentral die Daten liegen (inkl. Sicherung des kompletten PCs) ist diese ja bereits eine „Backup-Lösung). Nur was wenn diese auch mal crasht, oder ausversehen etwas gelöscht wurde?

Also warum dann nicht das bereits existierende SmartDrive als zweite Backup-Lösung nutzen (zumal über WEB.de in der Club-Mitgliedschaft der Speicher unbegrenzt ist)?

Problem bei der Geschichte ist, das man auf diese SmartDrive´s meist nur per WebDav zugreifen kann! Aber auch dafür gibt es ein tolles Programm: duplicity – das nicht nur per WebDav Daten wegschreiben kann, sondern dabei auch gleich die Daten verschlüsselt und inkrementiert. weiterlesen Backup mit duplicity vom NAS DS209 auf SmartDrive

MRTG auf einer NAS DS209 mit Fritz-Box Monitor

Mit dem Programm MRTG (Multi Router Traffic Grapher) lassen sich der zeitliche Verlauf von Netzwerkverkehr, CPU-Auslastung, Memory-Auslastung u.s.w. grafisch darstellen. Dazu fragt das Programm in einem festgelegten Intervall eine oder mehrere Schnittstellen auf einem oder mehreren Netzknoten über SNMP ab. Mit Hilfe von Skripten (Shell, Perl, u.s.w.) sind aber darüber hinaus weitere Statistiken möglich.

Um MRTG auf einer DiskStation 209 von Synology einzurichten, ist wie folgt vorzugehen:

  • Der SNMP-Dienst muss auf den abzufragenden Netzknoten eingerichtet werden.
  • Das Paket mrtg muss auf der NAS installiert werden. (z.B. über IPKG install mrtg)
  • Die Konfigurationsdatei /opt/etc/mrtg.conf mit entsprechender Konfiguration muss erstellt werden.
    (Im Tutorial von net-snmp gibt es einiges nützliches dazu!)
  • Evtl. Skripte für weitere Monitore erstellen.
  • Eine 3rd Patry App kann eingerichtet werden, um hierüber schnell auf die Statistiken zugreifen zu können.

Wie das im einzelnen funktioniert ist im Forum-Beitrag vom Synology-Forum sehr gut und ausführlich beschrieben.

Auf meiner NAS werden aktuell folgende Statistiken abgefragt:

  • DS209:
    • Trafic
    • CPU
    • Load
    • Memory
  • DS101j:
    • Traffic
    • CPU
    • Load
    • Memory
  • Fritz-Box:
    • Traffic
    • Datenrate

Hier die entsprechende Diagramm Index-Seite dazu:

weiterlesen MRTG auf einer NAS DS209 mit Fritz-Box Monitor

IPKG auf einer NAS DS209

IPKG ist ein Package Management System, es ist zum installieren von Software Paketen auf der NAS mittels eines Kommandos ipkg install PackageName. Dieser Artikel soll eine schnelle Schritt für Schritt Anleitung geben:

Zunächst ist eine Telnet oder SSH Verbindung zur DS herzustellen, z.B. mit Putty.

Zum Installieren von IPKG befolgen Sie bitte folgende Schritte:

1. Erstellen Sie einen Ordner mit mkdir /volume1/public und wechseln Sie in diesen Ordner mit cd /volume1/public
2. Zum download des bootstrap geben Sie bitte folgendes ein: wget http://ipkg.nslu2-linux.org/feeds/optware/cs08q1armel/cross/stable/syno-mvkw-bootstrap_1.2-7_arm.xsh
3. Geben Sie sh syno-mvkw-bootstrap_1.2-7_arm.xsh zum ausführen ein.
4. Sie sollten dann “Setup complete” in der Kommandozeile sehen.
5. Update der ipkg Liste von zu installierenden Programmen mit ipkg update
6. Update der ipkg installierten Paketen auf die letzte Verion mit ipkg upgrade
7. Dann ein reboot (Optional)
8. Fertig!