OpenAI 호환 서비스
개념
OpenAI가 ChatGPT를 출시한 이후, 많은 프록시 서비스와 새로운 AI 서비스가 등장했습니다. 이러한 서비스들은 이미 OpenAI를 사용하고 있는 사용자들의 편의를 위해 OpenAI와 호환되는 API를 제공합니다.
설정 설명
사용자 정의 API 엔드포인트 URL
사용자 정의 AI 모델 서비스의 API 엔드포인트 기본 URL입니다. 이 엔드포인트는 OpenAI API 형식과 호환되어야 하며, chat/completions 경로로 끝나야 합니다. 예: https://api.groq.com/openai/v1/chat/completions
Saladict 번역에서는 다음과 같이 설정해야 합니다: https://api.groq.com/openai/v1/
apiKey
일반적으로 요청 인증에 사용되는 긴 문자열입니다. AI 모델 서비스 플랫폼의 계정 설정 페이지에서 찾을 수 있습니다. 플랫폼마다 형식이 다르며, 유효하지 않거나 잔액이 부족한 apiKey는 테스트에 실패합니다.
예: sk-O6FclmECYFJyTB664b6681D06eEb47919b8570Be1fA2B434
플랫폼에 따라 이 apiKey의 명칭이 다를 수 있습니다. 예를 들어, OpenRouter 플랫폼에서는 apiKey, Groq 플랫폼에서는 api_key, 또는 secret_key라고도 하지만 본질적으로는 같은 것입니다.
프롬프트
프롬프트는 단일 번역 시 사용되는 지시문입니다. 이러한 지시문의 목적을 이해하지 못하는 경우 기본값을 유지하는 것이 좋습니다. 조정이 필요한 경우 다음 사항에 주의하세요:
{{from}}
은 단락의 언어,{{to}}
는 목표 언어,{{text}}
는 단락의 텍스트 내용을 나타내는 플레이스홀더입니다. 이들은 반드시 유지해야 합니다.
모델명
정확히 말하면, 요청 시 전송되는 모델명 문자열을 의미합니다. 플랫폼마다 모델명 형식이 다르며, 다른 모델명은 다른 모델 선택을 나타냅니다. 따라서 과금과 속도 제한도 다릅니다. 플랫폼 문서에 따라 엄격하게 선택하고 입력하세요. 특히 모델 버전을 정확하게 제어하고 싶은 경우 중요합니다. 예를 들어, ollama의 phi3:14b-medium-4k-instruct-q4_0
는 Microsoft의 오픈소스 모델 Phi3의 미디엄 버전(14B 파라미터, Medium 크기), 컨텍스트 윈도우 4K 크기, instruction-tuning 완료, Q4_0 양자화 방식의 버전을 나타냅니다. base 모델이나 non-instruct/chat 모델을 실���로 사용하지 않도록 주의하세요. 이러한 모델들은 대화 데이터로 특별히 훈련되지 않았기 때문에, 지시를 따르는 효과가 낮고 정상적인 번역을 반환하지 못할 가능성이 높습니다.
ChatGPT 신청 단계
-
ChatGPT 계정 준비 ChatGPT 계정을 준비하고 https://chat.openai.com 에 정상적으로 접속하여 대화할 수 있는지 확인하세요.
-
Secret Key 생성
- https://platform.openai.com/account/api-keys 접속
- [Create new secret key] 버튼 클릭. 팝업에 Secret Key가 표시됩니다
- Secret Key 복사
- Saladict 번역에 OpenAI Secret Key 입력 Secret Key를 Saladict 번역의 [설정]-[사전 계정]-[ChatGPT]에 입력합니다.
OpenAI API와 호환되는 다른 서비스는 어떤 것이 있나요?
다음은 주요 OpenAI API 호환 서비스들입니다. 이러한 서비스들의 문서를 참고하여 Saladict 번역을 설정할 수 있습니다.
Ollama 로컬 오픈소스 모델 배포
- Ollama 설치 및 설정, 시작
- 공식 웹사이트에서 Ollama 다운로드 및 설치
- 크로스 오리진을 허용하고 시작
- macOS: 터미널에서
launchctl setenv OLLAMA_ORIGINS "*"
실행 후 앱 시작. - Windows: 제어판-시스템 속성-환경 변수-사용자 환경 변수에 2개의 환경 변수 새로 생성: 변수명
OLLAMA_HOST
값0.0.0.0
, 변수명OLLAMA_ORIGINS
값*
, 그 후 앱 시작. - Linux: 터미널에서
OLLAMA_ORIGINS="*" ollama serve
실행.
- macOS: 터미널에서
-
번역 서비스 설정: apiKey: ollama 모델: 모델 라이브러리의 구체적인 Tags 참조. 예:
qwen:14b-chat-v1.5-q4_1
사용자 정의 API 엔드포인트: http://localhost:11434/v1/ LAN 내의 다른 호스트에서 ollama 서비스를 실행하는 경우, localhost를 해당 호스트의 IP 주소로 대체하세요. 동시 실행 속도는 실행 호스트의 성능과 사용하는 모델에 따라 조정하세요. -
참고 문서 https://github.com/ollama/ollama/blob/main/docs/api.md https://github.com/ollama/ollama/issues/2335 LM-Studio로 배포하는 경우, 해당 문서를 참조하세요. 설정 방법은 비슷하지만, 먼저 모델을 다운로드하고 실행해야 합니다.
Groq 공식 플랫폼
- apiKey: 이 페이지에서 키를 얻으세요.
- 모델: 본문 작성 시점에 4개의 모델이 있습니다: llama3-8b-8192, llama3-70b-8192, mixtral-8x7b-32768, gemma-7b-it. 번역 요구사항에 따라 테스트하고 선택하세요. 현재 이러한 모델들은 중국어에서 영어로의 번역은 좋지만, 영어에서 중국어로의 번역은 충분하지 않아 영중 번역에는 권장되지 않습니다.
- 사용자 정의 API 엔드포인트: https://api.groq.com/openai/v1/
- 속도 제한: 이 페이지에서 계정의 요청 제한을 확인할 수 있습니다. 선택한 모델의 REQUESTS PER MINUTE가 30인 경우, 초당 최대 요청 수를 1 또는 2로 설정하는 것이 좋습니다. 너무 높은 설정은 피하세요.
Deepseek 공식 플랫폼
- apiKey: 이 페이지에서 키를 얻으세요.
- 모델: 본문 작성 시점에는 번역용으로 deepseek-chat 모델만 권장됩니다.
- 사용자 정의 API 엔드포인트: https://api.deepseek.com/
OpenRouter 프록시 플랫폼
- apiKey: 이 페이지에서 키를 얻으세요.
- 모델: 모델 페이지에서 모델 목록을 확인하세요. 예: anthropic/claude-3-haiku
- 사용자 정의 API 엔드포인트: https://openrouter.ai/api/v1/
- 속도 제한: 여기를 참조하세요. 본문 작성 시점에서, 계정 잔액이 10달러인 경우 초당 10개 요청, 20달러면 20 QPS와 같이 설정됩니다. 병렬 처리�� 높게 설정할 수 있지만, 플랫폼도 공식 플랫폼의 리소스를 빌려 사용하고 큰 제한 풀을 공유하기 때문에, 동시에 많은 사용자가 요청을 하면 요청이 실패할 수 있습니다. 이는 OpenRouter 플랫폼의 제한이 아니며, 이러한 요청 실패의 HTTP 응답 코드는 200이지만 반환되는 Payload는 속도 제한 오류 설명입니다. 몰입형 번역에서는 번역문이 표시되지 않습니다(반환된 텍스트를 분석할 수 없는 경우 번역문이 비어 있음). 이러한 경우, 플러그인은 현재 빈 번역문의 예외 처리를 하지 않으며 재시도도 어렵습니다. 이런 상황에 직면하면 번역 서비스를 변경하여 다시 번역해야 합니다. 물론, 자체 API 프록시를 구축하여 이 상황에 대처할 수도 있습니다.
기타
다른 플랫폼도 비슷합니다 - apiKey, 모델명, 요청 주소, 속도 제한 등의 정보에 주의하세요.