시작하기
전체 VPS 앱
AI 및 에이전트

Ollama: 내 서버에서 실행하는 공개 AI 모델

서버 자체의 프로세서와 메모리로 실행되는 언어 모델과 대화용 웹 채팅을 제공합니다. 프롬프트가 외부 API로 전송되지 않습니다.

Ollama 서버 주문 VPS 요금제 보기

Ollama 소개

Ollama는 공개 가중치 언어 모델을 명령 하나로 내려받아 실행하는 오픈 소스 도구입니다. 라이브러리에는 Llama, Gemma, Mistral, Qwen, DeepSeek 등 다양한 크기의 모델 제품군이 있으며, 다른 프로그램에서 호출할 수 있는 간단한 HTTP API를 제공합니다.

개발자는 토큰당 비용 없이 기능을 시험해 보는 데 사용하고, 기업은 내부 문서나 고객 데이터처럼 자체 인프라 밖으로 나가면 안 되는 텍스트를 다룰 때 사용합니다.

노트북이 아닌 서버에서 실행하면 팀 전체와 애플리케이션이 언제든 모델을 사용할 수 있습니다. 대신 하드웨어의 제약이 있습니다. 모델 크기는 서버 메모리에 따라 제한되고, 생성 속도는 프로세서에 따라 달라집니다. 모델은 디스크에 파일로 저장되므로 디스크 용량에 따라 보관할 수 있는 모델 수도 정해집니다.

주요 활용 사례

데이터를 외부로 보내지 않는 채팅

민감한 텍스트에 관한 질문도 브라우저 채팅에서 할 수 있습니다. 프롬프트는 내 서버에서 처리됩니다.

내 앱 뒤에서 동작하는 모델

백엔드에서 모델을 호출해 요약, 분류, 정보 추출에 활용하세요. 요청마다 API 요금이 청구되지 않습니다.

여러 공개 모델 비교

여러 모델을 내려받아 실제 업무를 어떻게 처리하는지 비교한 뒤 선택하세요.

주문 후

Ollama는 서버 첫 시작 시 웹 채팅과 함께 설치되며 웹 채팅은 http://서버-주소:3000/ 에서 열립니다. 방화벽에서 3000 포트가 열려 있습니다. Rivervo 패널에 표시된 이메일과 비밀번호로 로그인하세요. 모델은 서버에서 내려받습니다. 패널에 해당 명령(예: ollama pull llama3.2)이 표시되며, 내려받은 모델은 채팅에 나타납니다.

서버에 맞는 모델 고르기

서버에서 실행할 수 있는 모델 크기는 메모리에 따라 달라집니다. Ollama 문서의 대략적인 기준은 7B 모델에 RAM 8GB 이상, 13B 모델에 16GB, 33B 모델에 32GB입니다. GPU가 없으면 모델은 프로세서에서 실행되므로 코어가 많을수록 답변이 빨라집니다. 셸에서 모델을 내려받으면 Open WebUI에 나타납니다.

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Open WebUI에 내 도메인과 HTTPS 연결하기

기본 상태의 Open WebUI는 서버 IP 주소에서 일반 HTTP로 응답합니다. ai.example.com 같은 이름과 인증서를 사용하려면 DNS에서 해당 이름의 A 레코드를 만들어 서버의 IPv4 주소를 가리키게 한 뒤, 앞단에 Caddy를 두세요. Caddy는 무료 Let's Encrypt 인증서를 스스로 발급받고 갱신합니다. 아래 명령은 앱 서버에서 사용하는 Ubuntu 24.04 기준입니다.

패널에서 서버 방화벽의 TCP 80, 443 포트를 여세요. Caddy가 Let's Encrypt 인증서를 발급받고 사이트를 제공하는 데 필요합니다.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

도메인이 동작하면 3000 포트를 직접 열어 둘 필요가 없습니다. /opt/ollama/compose.yml에서 "3000:…"을 "127.0.0.1:3000:…"으로 바꾸고 docker compose up -d를 실행한 뒤 방화벽에서 3000 포트를 삭제하세요. 이후 Open WebUI는 HTTPS로만 접속할 수 있습니다.

Ollama 업데이트

/opt/ollama/compose.yml의 이미지는 정확한 버전으로 고정되어 있어 docker compose pull만 실행하면 같은 버전을 다시 받습니다. 업데이트하려면 image: 줄의 버전을 원하는 버전으로 바꾸고(먼저 릴리스 노트를 확인하세요), 이미지를 받은 뒤 컨테이너를 다시 만드세요. 데이터는 Docker 볼륨에 있으므로 그대로 유지됩니다.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Ollama 백업

패널에서 서버 전체의 매일 백업을 켤 수 있으며(요금제 가격의 +20%, 최근 7개 사본 보관), 그중 어느 사본에서든 서버를 복원할 수 있습니다. 그래도 앱 데이터를 파일로 따로 복사해 두는 것이 좋습니다. 다른 서버로 옮기거나 나머지를 모두 되돌리지 않고 복원할 수 있기 때문입니다.

Open WebUI의 채팅, 사용자, 설정은 ollama_open_webui 볼륨에 있습니다. 내려받은 모델은 ollama_ollama에 있으며 언제든 다시 받을 수 있으므로 보통 파일 백업에서 제외합니다.

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

진행 방식

  1. 서버 주문 페이지에서 Ollama을(를) 고르고, 메모리가 충분한 요금제를 선택하세요.
  2. 앱은 서버의 첫 시작 때 설치되며, 보통 몇 분이면 끝납니다.
  3. 패널에서 서버를 열면 주소와 로그인 정보가 있습니다.

Ollama 관련 질문

최소 사양은 메모리 8GB, 디스크 80GB로, 수십억 파라미터 규모의 작은 모델을 여유 있게 실행할 수 있습니다. 모델에는 대략 파일 크기만큼의 여유 메모리가 필요하므로 큰 모델에는 메모리와 디스크가 더 큰 요금제가 필요합니다.
속도는 모델 크기와 서버의 프로세서 코어 수에 따라 달라집니다. 작은 모델은 실사용에 충분한 속도로 답하고, 큰 모델은 눈에 띄게 느립니다. 작은 모델로 시작하고 품질이 부족할 때만 더 큰 모델로 옮기세요.
네. x86과 ARM 요금제 모두에서 이용할 수 있어, 메모리를 많이 쓰는 모델 작업에는 ARM도 좋은 선택입니다.
Ollama API(11434 포트)는 서버에서 외부로 공개되지 않으며 Docker 안의 Open WebUI에서만 접근할 수 있습니다. 직접 작성한 코드에서 호출하려면 그 코드를 같은 서버의 같은 Docker 네트워크에서 실행하거나, 포트를 `"127.0.0.1:11434:11434"`로 공개하고 SSH 터널을 사용하세요. 비밀번호가 없으므로 인터넷에 열지 마세요.
회원가입이 꺼져 있어(`ENABLE_SIGNUP: "false"`) 외부인은 가입할 수 없습니다. Open WebUI 관리자 패널에서 직접 사용자를 추가하세요.