Servicios compatibles con OpenAI

Concepto

Desde que OpenAI lanzó ChatGPT, han surgido muchos servicios proxy y nuevos servicios de IA. Estos servicios ofrecen APIs compatibles con OpenAI para facilitar la transición de los usuarios existentes de OpenAI.

Guía de configuración

URL del punto final de API personalizada

La URL base del punto final de API de su servicio de modelo de IA personalizado. Este punto final debe ser compatible con el formato de API de OpenAI y terminar con la ruta chat/completions, por ejemplo https://api.groq.com/openai/v1/chat/completions

En la traducción de Saladict, debe configurar: https://api.groq.com/openai/v1/

apiKey

Generalmente una cadena larga de caracteres utilizada para autenticar sus solicitudes. Puede encontrarla en la configuración de cuenta de su plataforma de servicio de modelo de IA. El formato varía según la plataforma, y las apiKey inválidas o sin saldo suficiente fallarán en la prueba.

Ejemplo: sk-O6FclmECYFJyTB664b6681D06eEb47919b8570Be1fA2B434

Prompt

El prompt es la instrucción utilizada durante una traducción única. Si no comprende el propósito de estas instrucciones, es mejor mantener los valores predeterminados. Si necesita hacer ajustes, tenga en cuenta:

• {{from}} representa el idioma del párrafo, {{to}} el idioma objetivo, y {{text}} el contenido textual del párrafo. Estos marcadores de posición deben conservarse.

Nombre del modelo

Más precisamente, se refiere a la cadena del nombre del modelo enviada durante la solicitud. Los formatos de nombres de modelos varían según las plataformas, y diferentes nombres de modelos representan diferentes selecciones de modelos. Por lo tanto, la facturación y los límites de tasa también difieren. Por favor, seleccione e ingrese estrictamente según la documentación de la plataforma, especialmente si desea controlar con precisión la versión del modelo. Por ejemplo, phi3:14b-medium-4k-instruct-q4_0 en ollama representa la versión media (14B parámetros, tamaño Medium) del modelo de código abierto Phi3 de Microsoft con ventana de contexto de 4K, instruction-tuning completado, versión de cuantización Q4_0. Evite usar por error modelos base o non-instruct/chat. Estos modelos no han sido especialmente entrenados en datos de diálogo, siguen menos bien las instrucciones y es probable que no devuelvan traducciones correctas.

Pasos de registro de ChatGPT

1. Preparar una cuenta de ChatGPT Prepare una cuenta de ChatGPT y asegúrese de poder acceder normalmente a https://chat.openai.com y mantener conversaciones.

2. Crear una Secret Key

• Acceda a https://platform.openai.com/account/api-keys
• Haga clic en el botón [Create new secret key]. Una ventana emergente mostrará la Secret Key
• Copie la Secret Key

3. Ingresar la Secret Key de OpenAI en la traducción de Saladict Ingrese la Secret Key en [Configuración]-[Cuentas de diccionario]-[ChatGPT] de la traducción de Saladict.

¿Qué otros servicios son compatibles con la API de OpenAI?

A continuación se presentan los principales servicios compatibles con la API de OpenAI. Puede consultar su documentación para configurar la traducción de Saladict.

Despliegue local de modelos de código abierto con Ollama

• Instalación, configuración e inicio de Ollama

1. Descargue e instale Ollama desde el sitio oficial
2. Permita el cross-origin e inicie
   1. macOS: Ejecute launchctl setenv OLLAMA_ORIGINS "*" en la terminal, luego inicie la aplicación.
   2. Windows: En Panel de control-Propiedades del sistema-Variables de entorno-Variables de usuario, cree dos nuevas variables: nombre OLLAMA_HOST valor 0.0.0.0, nombre OLLAMA_ORIGINS valor *, luego inicie la aplicación.
   3. Linux: Ejecute OLLAMA_ORIGINS="*" ollama serve en la terminal.

• Configuración del servicio de traducción: apiKey: ollama Modelo: Vea las Tags específicas en la biblioteca de modelos, ej: qwen:14b-chat-v1.5-q4_1 Punto final de API personalizado: http://localhost:11434/v1/ Si está ejecutando el servicio ollama en otro host en su LAN, reemplace localhost con la dirección IP de su host. Ajuste la tasa de ejecución simultánea según el rendimiento del host de ejecución y el modelo utilizado.

• Documentación de referencia https://github.com/ollama/ollama/blob/main/docs/api.md https://github.com/ollama/ollama/issues/2335 Para despliegues con LM-Studio, consulte su documentación. La configuración es similar, pero primero debe descargar y ejecutar el modelo.

Plataforma oficial Groq

• apiKey: Obtenga la clave en esta página.
• Modelos: Al momento de escribir esto, hay cuatro modelos: llama3-8b-8192, llama3-70b-8192, mixtral-8x7b-32768, gemma-7b-it. Pruebe y elija según sus necesidades de traducción. Actualmente, estos modelos son buenos para la traducción del chino al inglés, pero no se recomiendan para el inglés al chino.
• Punto final de API personalizado: https://api.groq.com/openai/v1/
• Límite de tasa: Puede verificar los límites de solicitudes de su cuenta en esta página. Si el modelo elegido tiene 30 REQUESTS PER MINUTE, recomendamos establecer 1 o 2 solicitudes máximas por segundo. Evite configuraciones demasiado altas.

Plataforma oficial Deepseek

• apiKey: Obtenga la clave en esta página.
• Modelo: Al momento de escribir esto, solo se recomienda el modelo deepseek-chat para traducción.
• Punto final de API personalizado: https://api.deepseek.com/

Plataforma proxy OpenRouter

• apiKey: Obtenga la clave en esta página.
• Modelos: Consulte la lista de modelos en la página de modelos. Ejemplo: anthropic/claude-3-haiku
• Punto final de API personalizado: https://openrouter.ai/api/v1/
• Límite de tasa: Vea aquí. Al momento de escribir esto, con un saldo de cuenta de 10 dólares, puede hacer 10 solicitudes por segundo, 20 QPS con 20 dólares, etc. Aunque el paralelismo puede ser alto, la plataforma también utiliza recursos de las plataformas oficiales y comparte un gran pool de límites, por lo que las solicitudes pueden fallar si muchos usuarios hacen solicitudes simultáneamente. Esto no es una limitación de OpenRouter; estas solicitudes fallidas tienen un código de respuesta HTTP 200, pero el Payload devuelto contiene una explicación de límite de tasa. En la traducción inmersiva, no se muestra ninguna traducción (traducción vacía si el texto devuelto no se puede analizar). En este caso, el plugin actualmente no maneja estos errores de traducción vacía y los reintentos son difíciles. Ante esta situación, debe cambiar el servicio de traducción y volver a traducir. Por supuesto, también puede construir su propio proxy API para manejar esta situación.

Otros

Las otras plataformas son similares - preste atención a la información de apiKey, nombre de modelo, dirección de solicitud y límites de tasa.