OpenAI 兼容服務

概念

OpenAI 推出了 ChatGPT 之後，出現了很多中轉站和新的 AI 服務，而這些服務為了方便已經在使用 OpenAI 的用戶，會提供與 OpenAI 兼容的調用方式。

配置說明

自定義 API 接口地址

您的自定義AI模型服務的API接口基礎請求地址，該接口地址要求兼容OpenAI接口格式，以chat/completions路徑結尾，例如 https://api.groq.com/openai/v1/chat/completions。

那麼您應該在沙拉查詞中配置為：https://api.groq.com/openai/v1/

apiKey

通常是一個長字符串，用於驗證您的請求身份，可以在您的AI模型服務平台的帳號密鑰設置頁中找到，不同平台使用的格式是不同的，錯誤、欠費的apiKey無法測試成功。

例如sk-O6FclmECYFJyTB664b6681D06eEb47919b8570Be1fA2B434。

不同平台這個apiKey的名稱可能不同，例如OpenRouter平台叫做apiKey，而Groq平台叫做api_key，也有可能是secret_key，實際上都是一個意思

Prompt

Prompt是單段翻譯時使用的提示詞，如果您不理解這些提示詞��幹什麼的，保持預設即可。如果您確實需要調整那麼請注意：

注意 {{from}} 表示段落的語言，{{to}} 表示目標語言，{{text}} 表示段落的文本內容，這些佔位符需要保留。

準確來說，指的是請求時發送的模型名字符串。不同平台的模型名格式不同，不同模型名代表了不同模型選擇，因此計費和速率控制等都不同，請嚴格依據平台文檔選擇並填入，尤其是對於那些想要精準控制模型版本的人。例如ollama中的phi3:14b-medium-4k-instruct-q4_0代表了微軟的開源模型Phi3的中杯版本（14B參數，Medium大小）上下文窗口4K大小、指令微調後Q4_0量化方法的版本。注意不要誤使用base模型或者非instruct/chat模型，這些模型沒有專門針對對話數據進行訓練，指令跟隨效果不佳，很有可能無法正常返回譯文。

ChatGPT 申請步驟

準備一個 ChatGPT 帳號請自行準備一個 ChatGPT 帳號，確保您能正常打開 https://chat.openai.com 且能正常對話。
創建 Secret Key

打開 https://platform.openai.com/account/api-keys
點擊【Create new secret key】按鈕，會出現一個彈窗，裡面顯示了 Secret Key
複製 Secret Key

在沙拉查詞中填寫 OpenAI 的 Secret Key 將 Secret Key 填寫進沙拉查詞的【設定】-【詞典帳號】-【ChatGPT】中。

還有哪些服務是兼容 OpenAI 接口的？

以下列舉了一些主流的兼容 OpenAI 接口的服務，您可以參考這些服務的文檔來配置沙拉查詞。

Ollama 本地部署開源模型

安裝配置並啟動 Ollama

從官網下載安裝 Ollama
設置允許跨域並啟動
1. macOS：命令行執行 launchctl setenv OLLAMA_ORIGINS "*"，再啟動App。
2. Windows：控制面板-系統屬性-環境變數-用戶環境變數新建2個環境變數：變數名OLLAMA_HOST變數值0.0.0.0，變數名OLLAMA_ORIGINS變數值*，再啟動App。
3. Linux：命令行執行 OLLAMA_ORIGINS="*" ollama serve。

翻譯服務配置如下： apiKey: ollama 模型: 請見模型庫中模型的具體Tags，例如qwen:14b-chat-v1.5-q4_1 自定義 API 接口地址: http://localhost:11434/v1/ 如果您是在局域網內其他主機運行的ollama服務，那麼請將localhost替換為您的主機IP地址。並發速率按照運行的主機算力和使用的模型自行斟酌。
參考文檔 https://github.com/ollama/ollama/blob/main/docs/api.md https://github.com/ollama/ollama/issues/2335 對於使用LM-Studio部署的，可以參考其文檔，配置方式類似，不過您需要先下載好模型並運行。

Groq官方平台

apiKey: 到這個頁面獲取密鑰。
模型: 截止到本文撰寫時，有四款模型：llama3-8b-8192、llama3-70b-8192、mixtral-8x7b-32768、gemma-7b-it，請根據自己的翻譯需求測試選擇。目前這些模型的中譯英效果尚可，但是英譯中效果不佳，不建議用於英譯中場景。
自定義 API 接口地址: https://api.groq.com/openai/v1/
速率控制: 您可以在這個頁面查看您帳戶的請求限速。如果選擇的模型的REQUESTS PER MINUTE是30，那麼建議設置每秒最大請求數為1或2，不要過高。

Deepseek官方平台

apiKey: 到這個頁面獲取密鑰。
模型：截止到本文撰寫時，只推薦該平台的deepseek-chat模型用於翻譯。
自定義 API 接口地址: https://api.deepseek.com/

OpenRouter中轉平台

apiKey: 到這個頁面獲取密鑰。
模型：到這個模型頁面查看模型列表。例如anthropic/claude-3-haiku.
自定義 API 接口地址: https://openrouter.ai/api/v1/
限速：請參��這裡。截止到本文撰寫時，如果您帳號裡餘額是10美元，那麼您每秒可以發出10次請求，20美元則是20QPS，依次類推。儘管並發可以很高，但由於平台也是租用官方平台的資源，共享一個大的限速池，所以如果同時使用的人的請求數較多，也會造成請求失敗，這種情況並非OpenRouter平台的限制，這種請求失敗的HTTP響應碼是200，但是返回的Payload是限速錯誤說明，沉浸式翻譯表現為不顯示譯文（即返回文本無法解析下，譯文為空），這種情況下外掛暫時沒做相應的空譯文異常處理，也不方便重試，遇到這種情況只能更換翻譯服務重新翻譯。當然，您也可以自建API中轉處理這種情況。

其他

其他平台大同小異，無非是獲取 apiKey、模型名稱、請求地址，注意速率限制等資訊。

OpenAI 兼容服務

目錄