Ollama:ご自身のサーバーでオープンなAIモデル
言語モデルはサーバー自身のCPUとメモリで動作し、Webチャットから対話できます。プロンプトが外部のAPIに送信されることはありません。
Ollamaについて
Ollamaは、オープンウェイトの言語モデルをコマンドひとつでダウンロード・実行できるオープンソースのツールです。ライブラリにはLlama、Gemma、Mistral、Qwen、DeepSeekなどのモデルファミリーがさまざまなサイズで揃っており、ほかのプログラムから呼び出せるシンプルなHTTP APIも備えています。
開発者はトークン単位の料金を気にせず機能を試作するために、企業は社内文書や顧客データなど自社インフラの外に出せないテキストを扱うために利用しています。
ノートPCではなくサーバーで動かせば、チーム全員やアプリケーションからいつでもモデルを利用できます。その代わりハードウェアの制約があり、モデルのサイズはサーバーのメモリで、生成速度はCPUで決まります。モデルはディスク上にファイルとして保存されるため、保持できるモデルの数はディスク容量にも左右されます。
主な使い道
データを外部に送らないチャット
機密性の高いテキストについてもブラウザーのチャットで質問できます。プロンプトはご自身のサーバー上で処理されます。
自社アプリのバックエンドにモデルを
バックエンドからモデルを呼び出して、要約・分類・情報抽出に活用できます。リクエストごとのAPI料金はかかりません。
さまざまなオープンモデルを比較
複数のモデルをダウンロードし、実際の業務でどう動くかを比べてから選べます。
ご注文後の流れ
Ollamaはサーバーの初回起動時に、http://your-server-address:3000/ のWebチャットと一緒にインストールされます。ファイアウォールではポート3000が開放されています。Rivervoコントロールパネルに表示されるメールアドレスとパスワードでログインしてください。モデルはサーバー上でダウンロードします。そのためのコマンドはパネルに表示され(例:ollama pull llama3.2)、ダウンロード後はチャットにモデルが表示されます。
サーバーに合ったモデルの選び方
サーバーで動かせるモデルの大きさはメモリで決まります。Ollamaのドキュメントでは、目安として7BモデルにはRAM 8GB以上、13Bモデルには16GB、33Bモデルには32GBが必要とされています。GPUがない場合はCPUでモデルを実行するため、コア数が多いほど応答が速くなります。シェルからモデルをダウンロードすると、Open WebUIに表示されます。
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listOpen WebUIに独自ドメインとHTTPSを設定
初期状態のOpen WebUIは、サーバーのIPアドレスで通常のHTTPにより応答します。ai.example.comのような名前と証明書を設定するには、DNSでその名前のAレコードをサーバーのIPv4アドレスに向けて作成し、前段にCaddyを配置します。CaddyはLet's Encryptの無料証明書を自動で取得・更新します。以下のコマンドは、当社のアプリサーバーで使用しているUbuntu 24.04向けです。
パネルで、サーバーのファイアウォールのTCPポート80と443を開放してください。CaddyがLet's Encryptの証明書を取得し、サイトを配信するために必要です。
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyドメインで接続できるようになれば、ポート3000を直接使う必要はありません。/opt/ollama/compose.ymlで"3000:…"を"127.0.0.1:3000:…"に変更してdocker compose up -dを実行し、ファイアウォールからポート3000を削除してください。これでOpen WebUIにはHTTPS経由でのみアクセスできるようになります。
Ollamaのアップデート
/opt/ollama/compose.ymlのイメージは特定のバージョンに固定されているため、docker compose pullだけでは同じバージョンを再取得するだけです。アップデートするには、image:行のバージョンを目的のものに変更し(先にリリースノートをご確認ください)、イメージを取得してコンテナを再作成します。データはDockerボリュームに保存されており、そのまま保持されます。
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dOllamaのバックアップ
パネルでは、サーバー全体の毎日自動バックアップ(プラン料金の+20%、直近7世代を保持)を有効にでき、どの世代からでもサーバーを復元できます。それでも、アプリのデータをファイルとしてコピーしておくと便利です。別のサーバーへ移したり、他の部分を巻き戻さずに復元したりできます。
Open WebUIのチャット、ユーザー、設定はollama_open_webuiボリュームにあります。ダウンロードしたモデルはollama_ollamaにあり、再ダウンロードできるため、通常はファイルのバックアップから除外します。
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start仕組み
- サーバーの注文ページでOllamaを選び、十分なメモリのあるプランを選びます。
- アプリはサーバーの初回起動時にインストールされます。通常は数分で完了します。
- パネルでサーバーを開くと、アドレスとログイン情報が表示されています。