OpenAI-kompatible Dienste
Konzept
Seit OpenAI ChatGPT eingeführt hat, sind viele Proxy-Dienste und neue KI-Dienste entstanden. Diese Dienste bieten OpenAI-kompatible APIs an, um den Übergang für bestehende OpenAI-Nutzer zu erleichtern.
Konfigurationsanleitung
Benutzerdefinierte API-Endpunkt-URL
Die Basis-URL des API-Endpunkts Ihres benutzerdefinierten KI-Modelldienstes. Dieser Endpunkt muss mit dem OpenAI-API-Format kompatibel sein und mit dem Pfad chat/completions enden, zum Beispiel https://api.groq.com/openai/v1/chat/completions
In der Saladict-Übersetzung sollten Sie folgendes konfigurieren: https://api.groq.com/openai/v1/
apiKey
Üblicherweise eine lange Zeichenkette zur Authentifizierung Ihrer Anfragen. Sie finden sie in den Kontoeinstellungen Ihrer KI-Modellplattform. Das Format variiert je nach Plattform, und ungültige oder nicht ausreichend gedeckte apiKeys werden beim Test fehlschlagen.
Beispiel: sk-O6FclmECYFJyTB664b6681D06eEb47919b8570Be1fA2B434
Die Bezeichnung dieses apiKeys kann je nach Plattform unterschiedlich sein. Zum Beispiel heißt er bei OpenRouter apiKey, bei Groq api_key, oder auch secret_key - im Grunde bedeuten sie alle dasselbe.
Prompt
Der Prompt ist die Anweisung, die bei einzelnen Übersetzungen verwendet wird. Wenn Sie nicht verstehen, wozu diese Anweisungen dienen, behalten Sie am besten die Standardeinstellungen bei. Falls Sie Anpassungen vornehmen möchten, beachten Sie:
{{from}}
steht für die Ausgangssprache,{{to}}
für die Zielsprache und{{text}}
für den zu übersetzenden Text. Diese Platzhalter müssen beibehalten werden.
Modellname
Genau genommen ist dies die Modellbezeichnung, die bei der Anfrage gesendet wird. Die Modellnamen haben je nach Plattform unterschiedliche Formate, und verschiedene Modellnamen stehen für verschiedene Modellauswahlen. Daher unterscheiden sich auch Abrechnung und Ratenbegrenzungen. Bitte wählen und geben Sie diese streng nach der Plattformdokumentation ein, besonders wenn Sie die Modellversion präzise steuern möchten. Zum Beispiel steht phi3:14b-medium-4k-instruct-q4_0
in ollama für die Medium-Version (14B Parameter, Medium-Größe) von Microsofts Open-Source-Modell Phi3 mit 4K Kontextfenster, Instruction-Tuning und Q4_0-Quantisierung. Vermeiden Sie die versehentliche Verwendung von Basis-Modellen oder nicht-instruktiven/Chat-Modellen. Diese Modelle wurden nicht speziell für Dialogdaten trainiert, folgen Anweisungen weniger gut und können möglicherweise keine korrekten Übersetzungen liefern.
ChatGPT Anmeldeschritte
-
ChatGPT-Konto vorbereiten Bereiten Sie ein ChatGPT-Konto vor und stellen Sie sicher, dass Sie https://chat.openai.com normal öffnen und Gespräche führen können.
-
Secret Key erstellen
- Öffnen Sie https://platform.openai.com/account/api-keys
- Klicken Sie auf den Button [Create new secret key]. Ein Popup-Fenster zeigt den Secret Key
- Kopieren Sie den Secret Key
- OpenAI Secret Key in Saladict-Übersetzung eingeben Geben Sie den Secret Key in Saladict-Übersetzung unter [Einstellungen]-[Wörterbuch-Konten]-[ChatGPT] ein.
Welche anderen Dienste sind OpenAI-API-kompatibel?
Im Folgenden sind einige wichtige OpenAI-API-kompatible Dienste aufgeführt. Sie können deren Dokumentation zur Konfiguration der Saladict-Übersetzung verwenden.
Ollama lokale Open-Source-Modell-Bereitstellung
- Ollama Installation, Konfiguration und Start
- Laden Sie Ollama von der offiziellen Website herunter und installieren Sie es
- Aktivieren Sie Cross-Origin und starten Sie
- macOS: Führen Sie im Terminal
launchctl setenv OLLAMA_ORIGINS "*"
aus und starten Sie die App. - Windows: Erstellen Sie in Systemsteuerung-Systemeigenschaften-Umgebungsvariablen-Benutzervariablen zwei neue Variablen: Name
OLLAMA_HOST
Wert0.0.0.0
, NameOLLAMA_ORIGINS
Wert*
, dann starten Sie die App. - Linux: Führen Sie im Terminal
OLLAMA_ORIGINS="*" ollama serve
aus.
- macOS: Führen Sie im Terminal
-
Übersetzungsdienst-Konfiguration: apiKey: ollama Modell: Siehe spezifische Tags in der Modellbibliothek, z.B.
qwen:14b-chat-v1.5-q4_1
Benutzerdefinierter API-Endpunkt: http://localhost:11434/v1/ Wenn Sie den ollama-Dienst auf einem anderen Host in Ihrem LAN ausführen, ersetzen Sie localhost durch die IP-Adresse Ihres Hosts. Passen Sie die gleichzeitige Ausführungsrate entsprechend der Leistung des ausführenden Hosts und des verwendeten Modells an. -
Referenzdokumentation https://github.com/ollama/ollama/blob/main/docs/api.md https://github.com/ollama/ollama/issues/2335 Für Bereitstellungen mit LM-Studio, siehe deren Dokumentation. Die Konfiguration ist ähnlich, aber Sie müssen zuerst das Modell herunterladen und ausführen.
Groq offizielle Plattform
- apiKey: Erhalten Sie den Schlüssel auf dieser Seite.
- Modelle: Zum Zeitpunkt dieses Artikels gibt es vier Modelle: llama3-8b-8192, llama3-70b-8192, mixtral-8x7b-32768, gemma-7b-it. Testen und wählen Sie nach Ihren Übersetzungsanforderungen. Derzeit sind diese Modelle gut für Übersetzungen von Chinesisch nach Englisch, aber nicht empfehlenswert für Englisch nach Chinesisch.
- Benutzerdefinierter API-Endpunkt: https://api.groq.com/openai/v1/
- Ratenbegrenzung: Sie können die Anfragebeschränkungen Ihres Kontos auf dieser Seite einsehen. Wenn das gewählte Modell 30 REQUESTS PER MINUTE hat, empfehlen wir 1 oder 2 maximale Anfragen pro Sekunde. Vermeiden Sie zu hohe Einstellungen.
Deepseek offizielle Plattform
- apiKey: Erhalten Sie den Schlüssel auf dieser Seite.
- Modell: Zum Zeitpunkt dieses Artikels wird nur das deepseek-chat-Modell für Übersetzungen empfohlen.
- Benutzerdefinierter API-Endpunkt: https://api.deepseek.com/
OpenRouter Proxy-Plattform
- apiKey: Erhalten Sie den Schlüssel auf dieser Seite.
- Modelle: Siehe Modellliste auf der Modellseite. Beispiel: anthropic/claude-3-haiku
- Benutzerdefinierter API-Endpunkt: https://openrouter.ai/api/v1/
- Ratenbegrenzung: Siehe hier. Zum Zeitpunkt dieses Artikels: Mit 10 Dollar Guthaben können Sie 10 Anfragen pro Sekunde senden, mit 20 Dollar 20 QPS, und so weiter. Obwohl die Parallelität hoch sein kann, nutzt die Plattform Ressourcen der offiziellen Plattformen und teilt einen großen Begrenzungspool. Bei vielen gleichzeitigen Nutzern können Anfragen fehlschlagen. Dies ist keine OpenRouter-Beschränkung; diese fehlgeschlagenen Anfragen haben den HTTP-Statuscode 200, aber die zurückgegebene Payload enthält eine Ratenbegrenzungsfehlermeldung. Bei immersiver Übersetzung wird keine Übersetzung angezeigt (leere Übersetzung bei nicht analysierbarem Rückgabetext). Das Plugin behandelt derzeit solche leeren Übersetzungsfehler nicht und Wiederholungsversuche sind schwierig. In solchen Fällen müssen Sie den Übersetzungsdienst wechseln und neu übersetzen. Natürlich können Sie auch einen eigenen API-Proxy aufsetzen, um damit umzugehen.
Andere
Andere Plattformen sind ähnlich - achten Sie auf apiKey, Modellname, Anfrage-URL und Ratenbegrenzungsinformationen.