iconSaladict

OpenAI-kompatible Dienste

Konzept

Seit OpenAI ChatGPT eingeführt hat, sind viele Proxy-Dienste und neue KI-Dienste entstanden. Diese Dienste bieten OpenAI-kompatible APIs an, um den Übergang für bestehende OpenAI-Nutzer zu erleichtern.

Konfigurationsanleitung

Benutzerdefinierte API-Endpunkt-URL

Die Basis-URL des API-Endpunkts Ihres benutzerdefinierten KI-Modelldienstes. Dieser Endpunkt muss mit dem OpenAI-API-Format kompatibel sein und mit dem Pfad chat/completions enden, zum Beispiel https://api.groq.com/openai/v1/chat/completions

In der Saladict-Übersetzung sollten Sie folgendes konfigurieren: https://api.groq.com/openai/v1/

apiKey

Üblicherweise eine lange Zeichenkette zur Authentifizierung Ihrer Anfragen. Sie finden sie in den Kontoeinstellungen Ihrer KI-Modellplattform. Das Format variiert je nach Plattform, und ungültige oder nicht ausreichend gedeckte apiKeys werden beim Test fehlschlagen.

Beispiel: sk-O6FclmECYFJyTB664b6681D06eEb47919b8570Be1fA2B434

Die Bezeichnung dieses apiKeys kann je nach Plattform unterschiedlich sein. Zum Beispiel heißt er bei OpenRouter apiKey, bei Groq api_key, oder auch secret_key - im Grunde bedeuten sie alle dasselbe.

Prompt

Der Prompt ist die Anweisung, die bei einzelnen Übersetzungen verwendet wird. Wenn Sie nicht verstehen, wozu diese Anweisungen dienen, behalten Sie am besten die Standardeinstellungen bei. Falls Sie Anpassungen vornehmen möchten, beachten Sie:

  • {{from}} steht für die Ausgangssprache, {{to}} für die Zielsprache und {{text}} für den zu übersetzenden Text. Diese Platzhalter müssen beibehalten werden.

Modellname

Genau genommen ist dies die Modellbezeichnung, die bei der Anfrage gesendet wird. Die Modellnamen haben je nach Plattform unterschiedliche Formate, und verschiedene Modellnamen stehen für verschiedene Modellauswahlen. Daher unterscheiden sich auch Abrechnung und Ratenbegrenzungen. Bitte wählen und geben Sie diese streng nach der Plattformdokumentation ein, besonders wenn Sie die Modellversion präzise steuern möchten. Zum Beispiel steht phi3:14b-medium-4k-instruct-q4_0 in ollama für die Medium-Version (14B Parameter, Medium-Größe) von Microsofts Open-Source-Modell Phi3 mit 4K Kontextfenster, Instruction-Tuning und Q4_0-Quantisierung. Vermeiden Sie die versehentliche Verwendung von Basis-Modellen oder nicht-instruktiven/Chat-Modellen. Diese Modelle wurden nicht speziell für Dialogdaten trainiert, folgen Anweisungen weniger gut und können möglicherweise keine korrekten Übersetzungen liefern.

ChatGPT Anmeldeschritte

  1. ChatGPT-Konto vorbereiten Bereiten Sie ein ChatGPT-Konto vor und stellen Sie sicher, dass Sie https://chat.openai.com normal öffnen und Gespräche führen können.

  2. Secret Key erstellen

  1. OpenAI Secret Key in Saladict-Übersetzung eingeben Geben Sie den Secret Key in Saladict-Übersetzung unter [Einstellungen]-[Wörterbuch-Konten]-[ChatGPT] ein.

Welche anderen Dienste sind OpenAI-API-kompatibel?

Im Folgenden sind einige wichtige OpenAI-API-kompatible Dienste aufgeführt. Sie können deren Dokumentation zur Konfiguration der Saladict-Übersetzung verwenden.

Ollama lokale Open-Source-Modell-Bereitstellung

  • Ollama Installation, Konfiguration und Start
  1. Laden Sie Ollama von der offiziellen Website herunter und installieren Sie es
  2. Aktivieren Sie Cross-Origin und starten Sie
    1. macOS: Führen Sie im Terminal launchctl setenv OLLAMA_ORIGINS "*" aus und starten Sie die App.
    2. Windows: Erstellen Sie in Systemsteuerung-Systemeigenschaften-Umgebungsvariablen-Benutzervariablen zwei neue Variablen: Name OLLAMA_HOST Wert 0.0.0.0, Name OLLAMA_ORIGINS Wert *, dann starten Sie die App.
    3. Linux: Führen Sie im Terminal OLLAMA_ORIGINS="*" ollama serve aus.

Groq offizielle Plattform

  • apiKey: Erhalten Sie den Schlüssel auf dieser Seite.
  • Modelle: Zum Zeitpunkt dieses Artikels gibt es vier Modelle: llama3-8b-8192, llama3-70b-8192, mixtral-8x7b-32768, gemma-7b-it. Testen und wählen Sie nach Ihren Übersetzungsanforderungen. Derzeit sind diese Modelle gut für Übersetzungen von Chinesisch nach Englisch, aber nicht empfehlenswert für Englisch nach Chinesisch.
  • Benutzerdefinierter API-Endpunkt: https://api.groq.com/openai/v1/
  • Ratenbegrenzung: Sie können die Anfragebeschränkungen Ihres Kontos auf dieser Seite einsehen. Wenn das gewählte Modell 30 REQUESTS PER MINUTE hat, empfehlen wir 1 oder 2 maximale Anfragen pro Sekunde. Vermeiden Sie zu hohe Einstellungen.

Deepseek offizielle Plattform

  • apiKey: Erhalten Sie den Schlüssel auf dieser Seite.
  • Modell: Zum Zeitpunkt dieses Artikels wird nur das deepseek-chat-Modell für Übersetzungen empfohlen.
  • Benutzerdefinierter API-Endpunkt: https://api.deepseek.com/

OpenRouter Proxy-Plattform

  • apiKey: Erhalten Sie den Schlüssel auf dieser Seite.
  • Modelle: Siehe Modellliste auf der Modellseite. Beispiel: anthropic/claude-3-haiku
  • Benutzerdefinierter API-Endpunkt: https://openrouter.ai/api/v1/
  • Ratenbegrenzung: Siehe hier. Zum Zeitpunkt dieses Artikels: Mit 10 Dollar Guthaben können Sie 10 Anfragen pro Sekunde senden, mit 20 Dollar 20 QPS, und so weiter. Obwohl die Parallelität hoch sein kann, nutzt die Plattform Ressourcen der offiziellen Plattformen und teilt einen großen Begrenzungspool. Bei vielen gleichzeitigen Nutzern können Anfragen fehlschlagen. Dies ist keine OpenRouter-Beschränkung; diese fehlgeschlagenen Anfragen haben den HTTP-Statuscode 200, aber die zurückgegebene Payload enthält eine Ratenbegrenzungsfehlermeldung. Bei immersiver Übersetzung wird keine Übersetzung angezeigt (leere Übersetzung bei nicht analysierbarem Rückgabetext). Das Plugin behandelt derzeit solche leeren Übersetzungsfehler nicht und Wiederholungsversuche sind schwierig. In solchen Fällen müssen Sie den Übersetzungsdienst wechseln und neu übersetzen. Natürlich können Sie auch einen eigenen API-Proxy aufsetzen, um damit umzugehen.

Andere

Andere Plattformen sind ähnlich - achten Sie auf apiKey, Modellname, Anfrage-URL und Ratenbegrenzungsinformationen.

Inhaltsverzeichnis