Ollama: mô hình AI mở trên máy chủ của riêng bạn
Mô hình ngôn ngữ chạy bằng chính CPU và bộ nhớ của máy chủ, kèm giao diện chat trên web, nên prompt không bị gửi tới API bên ngoài.
Về Ollama
Ollama là công cụ mã nguồn mở để tải và chạy các mô hình ngôn ngữ open-weight chỉ bằng một lệnh. Thư viện của Ollama có các dòng mô hình như Llama, Gemma, Mistral, Qwen và DeepSeek với nhiều kích thước, đồng thời cung cấp HTTP API đơn giản để các chương trình khác gọi tới.
Lập trình viên dùng Ollama để thử nghiệm tính năng mà không mất phí theo token, còn doanh nghiệp dùng khi văn bản không được phép rời khỏi hạ tầng của mình, ví dụ tài liệu nội bộ hay dữ liệu khách hàng.
Chạy trên máy chủ thay vì laptop giúp cả nhóm và các ứng dụng của bạn dùng được mô hình bất kỳ lúc nào. Đổi lại là yêu cầu phần cứng: kích thước mô hình bị giới hạn bởi bộ nhớ máy chủ, tốc độ sinh văn bản phụ thuộc vào CPU. Mô hình được lưu dưới dạng tệp trên ổ đĩa, nên dung lượng ổ đĩa cũng giới hạn số mô hình bạn giữ được.
Mọi người dùng nó để làm gì
Chat không gửi dữ liệu ra ngoài
Đặt câu hỏi về văn bản nhạy cảm trong giao diện chat trên trình duyệt, yên tâm rằng prompt được xử lý trên máy chủ của bạn.
Mô hình phía sau ứng dụng của bạn
Gọi mô hình từ backend để tóm tắt, phân loại hoặc trích xuất thông tin, không mất phí API cho từng yêu cầu.
Thử nhiều mô hình mở
Tải vài mô hình và so sánh cách chúng xử lý công việc thực tế của bạn trước khi chọn.
Sau khi đặt mua
Ollama được cài lên máy chủ của bạn ngay lần khởi động đầu tiên, kèm giao diện chat web tại http://dia-chi-may-chu:3000/; cổng 3000 đã được mở trong tường lửa. Đăng nhập bằng email và mật khẩu hiển thị trong bảng điều khiển Rivervo. Mô hình được tải về trên máy chủ: bảng điều khiển hiển thị lệnh để tải (ví dụ ollama pull llama3.2), sau đó mô hình xuất hiện trong chat.
Chọn mô hình cho máy chủ
Máy chủ chạy được mô hình lớn đến đâu phụ thuộc vào bộ nhớ. Tài liệu của Ollama đưa ra mức tham khảo: ít nhất 8 GB RAM cho mô hình 7B, 16 GB cho mô hình 13B và 32 GB cho mô hình 33B. Không có GPU thì mô hình chạy trên CPU, nên càng nhiều nhân thì trả lời càng nhanh. Tải mô hình từ shell, sau đó mô hình xuất hiện trong Open WebUI:
docker exec ollama ollama pull llama3.2
docker exec ollama ollama listTên miền riêng và HTTPS cho Open WebUI
Mặc định Open WebUI trả lời trên địa chỉ IP của máy chủ qua HTTP thường. Để đặt tên như ai.example.com kèm chứng chỉ, hãy tạo bản ghi A cho tên đó trỏ tới địa chỉ IPv4 của máy chủ trong DNS của bạn, rồi đặt Caddy phía trước: Caddy tự lấy chứng chỉ Let's Encrypt miễn phí và tự gia hạn. Các lệnh dưới đây dành cho Ubuntu 24.04 mà máy chủ ứng dụng của chúng tôi đang chạy.
Trong bảng điều khiển, mở cổng TCP 80 và 443 trong tường lửa của máy chủ: Caddy cần chúng để lấy chứng chỉ Let's Encrypt và phục vụ website.
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
ai.example.com {
reverse_proxy 127.0.0.1:3000
}
EOF
systemctl reload caddyKhi tên miền đã hoạt động, không cần dùng trực tiếp cổng 3000 nữa: trong /opt/ollama/compose.yml đổi "3000:…" thành "127.0.0.1:3000:…", chạy docker compose up -d và xóa cổng 3000 khỏi tường lửa. Khi đó Open WebUI chỉ truy cập được qua HTTPS.
Cập nhật Ollama
Các image trong /opt/ollama/compose.yml được cố định ở phiên bản cụ thể, nên chỉ chạy docker compose pull sẽ tải lại đúng phiên bản cũ. Để cập nhật, đổi phiên bản trong dòng image: sang phiên bản bạn muốn (đọc release notes trước), rồi pull và tạo lại container. Dữ liệu nằm trong Docker volume và được giữ nguyên.
cd /opt/ollama
nano compose.yml # the new version in the image: line
docker compose pull
docker compose up -dSao lưu Ollama
Trong panel, bạn có thể bật sao lưu hằng ngày toàn bộ máy chủ (+20% giá gói, giữ 7 bản gần nhất) và khôi phục máy chủ từ bất kỳ bản nào. Dù vậy, vẫn nên có một bản sao dữ liệu của ứng dụng dưới dạng file: bạn có thể chuyển nó sang máy chủ khác hoặc khôi phục mà không phải quay lui mọi thứ khác.
Chat, người dùng và cài đặt của Open WebUI nằm trong volume ollama_open_webui; mô hình đã tải nằm trong ollama_ollama và có thể tải lại dễ dàng, nên thường không đưa vào bản sao lưu tệp:
cd /opt/ollama && docker compose stop
docker run --rm -v ollama_open_webui:/data -v /root:/backup alpine \
tar czf /backup/open-webui-$(date +%F).tgz -C /data .
docker compose startCách hoạt động
- Chọn Ollama trên trang đặt mua máy chủ và chọn gói có đủ RAM.
- Ứng dụng được cài lên máy chủ ngay lần khởi động đầu tiên, thường trong vài phút.
- Mở máy chủ trong bảng điều khiển: địa chỉ và thông tin đăng nhập nằm ở đó.