Servizi compatibili con OpenAI

Concetto

Da quando OpenAI ha lanciato ChatGPT, sono emersi molti servizi proxy e nuovi servizi di IA. Questi servizi offrono API compatibili con OpenAI per facilitare la transizione degli utenti esistenti di OpenAI.

Guida alla configurazione

URL dell'endpoint API personalizzato

L'URL base dell'endpoint API del tuo servizio di modello IA personalizzato. Questo endpoint deve essere compatibile con il formato API di OpenAI e terminare con il percorso chat/completions, ad esempio https://api.groq.com/openai/v1/chat/completions

Nella traduzione Saladict, devi configurare: https://api.groq.com/openai/v1/

apiKey

Generalmente una lunga stringa di caratteri utilizzata per autenticare le tue richieste. Puoi trovarla nelle impostazioni dell'account della tua piattaforma di servizio modello IA. Il formato varia a seconda della piattaforma, e le apiKey non valide o senza credito sufficiente falliranno nel test.

Esempio: sk-O6FclmECYFJyTB664b6681D06eEb47919b8570Be1fA2B434

Prompt

Il prompt è l'istruzione utilizzata durante una traduzione singola. Se non comprendi lo scopo di queste istruzioni, è meglio mantenere i valori predefiniti. Se devi fare delle modifiche, nota:

• {{from}} rappresenta la lingua del paragrafo, {{to}} la lingua di destinazione, e {{text}} il contenuto testuale del paragrafo. Questi segnaposto devono essere mantenuti.

Nome del modello

Più precisamente, si riferisce alla stringa del nome del modello inviata durante la richiesta. I formati dei nomi dei modelli variano a seconda delle piattaforme, e diversi nomi di modelli rappresentano diverse selezioni di modelli. Di conseguenza, anche la fatturazione e i limiti di velocità differiscono. Si prega di selezionare e inserire strettamente secondo la documentazione della piattaforma, specialmente se si desidera controllare con precisione la versione del modello. Ad esempio, phi3:14b-medium-4k-instruct-q4_0 in ollama rappresenta la versione media (14B parametri, dimensione Medium) del modello open source Phi3 di Microsoft con finestra di contesto 4K, instruction-tuning completato, versione di quantizzazione Q4_0. Evita di utilizzare per errore modelli base o non-instruct/chat. Questi modelli non sono stati appositamente addestrati su dati di dialogo, seguono meno bene le istruzioni e è probabile che non restituiscano traduzioni corrette.

Passaggi per la registrazione ChatGPT

1. Preparare un account ChatGPT Prepara un account ChatGPT e assicurati di poter accedere normalmente a https://chat.openai.com e mantenere conversazioni.

2. Creare una Secret Key

• Accedi a https://platform.openai.com/account/api-keys
• Clicca sul pulsante [Create new secret key]. Un popup mostrerà la Secret Key
• Copia la Secret Key

3. Inserire la Secret Key OpenAI nella traduzione Saladict Inserisci la Secret Key in [Impostazioni]-[Account dizionario]-[ChatGPT] della traduzione Saladict.

Quali altri servizi sono compatibili con l'API OpenAI?

Di seguito sono presentati i principali servizi compatibili con l'API OpenAI. Puoi consultare la loro documentazione per configurare la traduzione Saladict.

Distribuzione locale di modelli open source con Ollama

• Installazione, configurazione e avvio di Ollama

1. Scarica e installa Ollama dal sito ufficiale
2. Permetti il cross-origin e avvia
   1. macOS: Esegui launchctl setenv OLLAMA_ORIGINS "*" nel terminale, poi avvia l'applicazione.
   2. Windows: In Pannello di controllo-Proprietà del sistema-Variabili d'ambiente-Variabili utente, crea due nuove variabili: nome OLLAMA_HOST valore 0.0.0.0, nome OLLAMA_ORIGINS valore *, poi avvia l'applicazione.
   3. Linux: Esegui OLLAMA_ORIGINS="*" ollama serve nel terminale.

• Configurazione del servizio di traduzione: apiKey: ollama Modello: Vedi i Tag specifici nella libreria dei modelli, es: qwen:14b-chat-v1.5-q4_1 Endpoint API personalizzato: http://localhost:11434/v1/ Se stai eseguendo il servizio ollama su un altro host nella tua LAN, sostituisci localhost con l'indirizzo IP del tuo host. Regola il tasso di esecuzione simultanea in base alle prestazioni dell'host di esecuzione e al modello utilizzato.

• Documentazione di riferimento https://github.com/ollama/ollama/blob/main/docs/api.md https://github.com/ollama/ollama/issues/2335 Per distribuzioni con LM-Studio, consulta la loro documentazione. La configurazione è simile, ma devi prima scaricare ed eseguire il modello.

Piattaforma ufficiale Groq

• apiKey: Ottieni la chiave su questa pagina.
• Modelli: Al momento della scrittura, ci sono quattro modelli: llama3-8b-8192, llama3-70b-8192, mixtral-8x7b-32768, gemma-7b-it. Prova e scegli in base alle tue esigenze di traduzione. Attualmente, questi modelli sono buoni per la traduzione dal cinese all'inglese, ma non sono raccomandati per l'inglese al cinese.
• Endpoint API personalizzato: https://api.groq.com/openai/v1/
• Limite di velocità: Puoi verificare i limiti delle richieste del tuo account su questa pagina. Se il modello scelto ha 30 REQUESTS PER MINUTE, raccomandiamo di impostare 1 o 2 richieste massime al secondo. Evita configurazioni troppo alte.

Piattaforma ufficiale Deepseek

• apiKey: Ottieni la chiave su questa pagina.
• Modello: Al momento della scrittura, solo il modello deepseek-chat è raccomandato per la traduzione.
• Endpoint API personalizzato: https://api.deepseek.com/

Piattaforma proxy OpenRouter

• apiKey: Ottieni la chiave su questa pagina.
• Modelli: Consulta la lista dei modelli sulla pagina dei modelli. Esempio: anthropic/claude-3-haiku
• Endpoint API personalizzato: https://openrouter.ai/api/v1/
• Limite di velocità: Vedi qui. Al momento della scrittura, con un saldo dell'account di 10 dollari, puoi fare 10 richieste al secondo, 20 QPS con 20 dollari, ecc. Sebbene il parallelismo possa essere alto, la piattaforma utilizza anche risorse delle piattaforme ufficiali e condivide un grande pool di limiti, quindi le richieste possono fallire se molti utenti fanno richieste simultaneamente. Questo non è una limitazione di OpenRouter; queste richieste fallite hanno un codice di risposta HTTP 200, ma il Payload restituito contiene una spiegazione del limite di velocità. Nella traduzione immersiva, non viene mostrata alcuna traduzione (traduzione vuota se il testo restituito non può essere analizzato). In questo caso, il plugin attualmente non gestisce questi errori di traduzione vuota e i tentativi sono difficili. Di fronte a questa situazione, devi cambiare il servizio di traduzione e ritradurre. Naturalmente, puoi anche costruire il tuo proxy API per gestire questa situazione.

Altri

Le altre piattaforme sono simili - presta attenzione alle informazioni di apiKey, nome del modello, indirizzo di richiesta e limiti di velocità.