Ollama install ubuntu 20.04

Dari Dokumentasi Robie
Revisi sejak 27 November 2024 06.09 oleh Robie (bicara | kontrib)
Loncat ke navigasi Loncat ke pencarian

Sumber: https://www.jeremymorgan.com/blog/generative-ai/local-llm-ubuntu/

Pastikan:

  • OS bisa linux server, seperti ubuntu server.
  • Memory RAM pastikan cukup untuk menyimpan model-nya. Model llama3 butuh memory paling tidak 8GB.
  • Kalau mau lebih enak/lebih cepat sebaiknya pakai GPU, seperti nvidia telsa yang agak baru.


Install aplikasi pendukung 

sudo su
apt install curl


Download 

curl -fsSL https://ollama.com/install.sh | sh

Sebagai user biasa run & download model 

ollama serve
ollama pull llama3
ollama run llama3

Install docker

sudo apt-get install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin


OPTIONAL: Sebagai super user, 

sudo su
sudo snap install --beta open-webui

Install webui pake ini 

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Contoh

curl http://localhost:11434/api/generate -d '{
  "model" : "llama3",
  "prompt" : "tell me a joke",
  "stream" : false
  }'

Download model ollama Indonesia


Referensi

Diperoleh dari "https://wiki.robiehakim.my.id/index.php?title=Ollama_install_ubuntu_20.04&oldid=1806"