Bắt đầu
Tất cả ứng dụng VPS
AI và agent

Ollama: mô hình AI mở trên máy chủ của riêng bạn

Mô hình ngôn ngữ chạy bằng chính CPU và bộ nhớ của máy chủ, kèm giao diện chat trên web, nên prompt không bị gửi tới API bên ngoài.

Đặt máy chủ với Ollama Xem các gói VPS

Về Ollama

Ollama là công cụ mã nguồn mở để tải và chạy các mô hình ngôn ngữ open-weight chỉ bằng một lệnh. Thư viện của Ollama có các dòng mô hình như Llama, Gemma, Mistral, Qwen và DeepSeek với nhiều kích thước, đồng thời cung cấp HTTP API đơn giản để các chương trình khác gọi tới.

Lập trình viên dùng Ollama để thử nghiệm tính năng mà không mất phí theo token, còn doanh nghiệp dùng khi văn bản không được phép rời khỏi hạ tầng của mình, ví dụ tài liệu nội bộ hay dữ liệu khách hàng.

Chạy trên máy chủ thay vì laptop giúp cả nhóm và các ứng dụng của bạn dùng được mô hình bất kỳ lúc nào. Đổi lại là yêu cầu phần cứng: kích thước mô hình bị giới hạn bởi bộ nhớ máy chủ, tốc độ sinh văn bản phụ thuộc vào CPU. Mô hình được lưu dưới dạng tệp trên ổ đĩa, nên dung lượng ổ đĩa cũng giới hạn số mô hình bạn giữ được.

Mọi người dùng nó để làm gì

Chat không gửi dữ liệu ra ngoài

Đặt câu hỏi về văn bản nhạy cảm trong giao diện chat trên trình duyệt, yên tâm rằng prompt được xử lý trên máy chủ của bạn.

Mô hình phía sau ứng dụng của bạn

Gọi mô hình từ backend để tóm tắt, phân loại hoặc trích xuất thông tin, không mất phí API cho từng yêu cầu.

Thử nhiều mô hình mở

Tải vài mô hình và so sánh cách chúng xử lý công việc thực tế của bạn trước khi chọn.

Sau khi đặt mua

Ollama được cài lên máy chủ của bạn ngay lần khởi động đầu tiên, kèm giao diện chat web tại http://dia-chi-may-chu:3000/; cổng 3000 đã được mở trong tường lửa. Đăng nhập bằng email và mật khẩu hiển thị trong bảng điều khiển Rivervo. Mô hình được tải về trên máy chủ: bảng điều khiển hiển thị lệnh để tải (ví dụ ollama pull llama3.2), sau đó mô hình xuất hiện trong chat.

Chọn mô hình cho máy chủ

Máy chủ chạy được mô hình lớn đến đâu phụ thuộc vào bộ nhớ. Tài liệu của Ollama đưa ra mức tham khảo: ít nhất 8 GB RAM cho mô hình 7B, 16 GB cho mô hình 13B và 32 GB cho mô hình 33B. Không có GPU thì mô hình chạy trên CPU, nên càng nhiều nhân thì trả lời càng nhanh. Tải mô hình từ shell, sau đó mô hình xuất hiện trong Open WebUI:

docker exec ollama ollama pull llama3.2
docker exec ollama ollama list

Tên miền riêng và HTTPS cho Open WebUI

Mặc định Open WebUI trả lời trên địa chỉ IP của máy chủ qua HTTP thường. Để đặt tên như ai.example.com kèm chứng chỉ, hãy tạo bản ghi A cho tên đó trỏ tới địa chỉ IPv4 của máy chủ trong DNS của bạn, rồi đặt Caddy phía trước: Caddy tự lấy chứng chỉ Let's Encrypt miễn phí và tự gia hạn. Các lệnh dưới đây dành cho Ubuntu 24.04 mà máy chủ ứng dụng của chúng tôi đang chạy.

Trong bảng điều khiển, mở cổng TCP 80 và 443 trong tường lửa của máy chủ: Caddy cần chúng để lấy chứng chỉ Let's Encrypt và phục vụ website.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
    reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddy

Khi tên miền đã hoạt động, không cần dùng trực tiếp cổng 3000 nữa: trong /opt/ollama/compose.yml đổi "3000:…" thành "127.0.0.1:3000:…", chạy docker compose up -d và xóa cổng 3000 khỏi tường lửa. Khi đó Open WebUI chỉ truy cập được qua HTTPS.

Cập nhật Ollama

Các image trong /opt/ollama/compose.yml được cố định ở phiên bản cụ thể, nên chỉ chạy docker compose pull sẽ tải lại đúng phiên bản cũ. Để cập nhật, đổi phiên bản trong dòng image: sang phiên bản bạn muốn (đọc release notes trước), rồi pull và tạo lại container. Dữ liệu nằm trong Docker volume và được giữ nguyên.

cd /opt/ollama
nano compose.yml        # the new version in the image: line
docker compose pull
docker compose up -d

Sao lưu Ollama

Trong panel, bạn có thể bật sao lưu hằng ngày toàn bộ máy chủ (+20% giá gói, giữ 7 bản gần nhất) và khôi phục máy chủ từ bất kỳ bản nào. Dù vậy, vẫn nên có một bản sao dữ liệu của ứng dụng dưới dạng file: bạn có thể chuyển nó sang máy chủ khác hoặc khôi phục mà không phải quay lui mọi thứ khác.

Chat, người dùng và cài đặt của Open WebUI nằm trong volume ollama_open_webui; mô hình đã tải nằm trong ollama_ollama và có thể tải lại dễ dàng, nên thường không đưa vào bản sao lưu tệp:

cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
  tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose start

Cách hoạt động

  1. Chọn Ollama trên trang đặt mua máy chủ và chọn gói có đủ RAM.
  2. Ứng dụng được cài lên máy chủ ngay lần khởi động đầu tiên, thường trong vài phút.
  3. Mở máy chủ trong bảng điều khiển: địa chỉ và thông tin đăng nhập nằm ở đó.

Câu hỏi về Ollama

Tối thiểu là 8 GB bộ nhớ và 80 GB ổ đĩa, đủ thoải mái cho các mô hình nhỏ vài tỷ tham số. Mỗi mô hình cần lượng bộ nhớ trống xấp xỉ kích thước tệp của nó, nên mô hình lớn hơn cần gói có nhiều bộ nhớ và ổ đĩa hơn.
Tốc độ phụ thuộc vào kích thước mô hình và số nhân CPU của máy chủ. Mô hình nhỏ trả lời ở tốc độ dùng được; mô hình lớn chậm hơn rõ rệt, nên hãy bắt đầu với mô hình nhỏ và chỉ nâng lên khi cần chất lượng cao hơn.
Có, Ollama có trên cả gói x86 và ARM, nên ARM là lựa chọn hợp lý cho công việc với mô hình cần nhiều bộ nhớ.
API của Ollama (cổng 11434) không được mở ra ngoài máy chủ, chỉ Open WebUI trong Docker truy cập được. Để gọi từ code của bạn, hãy chạy code đó trên cùng máy chủ, trong cùng mạng Docker, hoặc mở cổng dưới dạng `"127.0.0.1:11434:11434"` và dùng SSH tunnel. Không mở cổng này ra internet: API không có mật khẩu.
Chức năng đăng ký đã bị tắt (`ENABLE_SIGNUP: "false"`), nên người lạ không thể đăng ký. Bạn tự thêm người dùng trong trang quản trị của Open WebUI.

Ứng dụng khác trong mục AI và agent