Tidak semua kebutuhan AI harus mengandalkan API berbayar di cloud. Untuk eksperimen, privasi data, atau sekadar belajar, kamu bisa menjalankan model AI open source langsung di laptop sendiri — gratis, offline, dan datamu tidak pernah keluar dari mesinmu. Tool yang membuat ini mudah adalah Ollama.

Kenapa Local LLM?

  • Privasi. Data sensitif tidak dikirim ke server pihak ketiga. Penting untuk dokumen rahasia atau data klien.
  • Gratis. Tidak ada biaya per token. Pakai sebanyak yang kamu mau.
  • Offline. Tetap jalan tanpa internet — cocok buat yang koneksinya tidak stabil.
  • Belajar. Bereksperimen bebas tanpa khawatir tagihan membengkak.

Mulai dengan Ollama

Ollama membungkus kerumitan menjalankan model jadi beberapa perintah sederhana. Setelah instalasi, kamu cukup menarik model dan langsung memakainya:

# Tarik dan jalankan model
ollama run llama3.2

# Atau model yang lebih ringan untuk laptop biasa
ollama run phi3

Model akan diunduh sekali, lalu tersimpan lokal. Setelah itu kamu bisa chat langsung dari terminal atau memanggilnya lewat API lokal di localhost:11434.

Memanggil dari Kode

Ollama mengekspos API yang kompatibel sehingga mudah diintegrasikan ke aplikasi:

// Contoh request ke Ollama lokal
const res = await fetch('http://localhost:11434/api/generate', {
    method: 'POST',
    body: JSON.stringify({
        model: 'llama3.2',
        prompt: 'Jelaskan apa itu REST API dalam 3 kalimat',
        stream: false,
    }),
});
const data = await res.json();
console.log(data.response);

Realistis Soal Hardware

Model lokal butuh RAM dan idealnya GPU. Panduan kasar:

  • Model kecil (3B parameter): jalan di laptop 8–16GB RAM, lambat tapi bisa.
  • Model menengah (7–8B): nyaman dengan 16GB+ RAM atau GPU.
  • Model besar (70B): butuh hardware serius — bukan untuk laptop biasa.

Jangan berharap kualitas setara model cloud terbesar. Tapi untuk banyak tugas — merangkum, draft tulisan, tanya jawab sederhana, prototipe RAG — model lokal sudah lebih dari cukup.

Kesimpulan

Local LLM dengan Ollama membuka pintu bereksperimen dengan AI tanpa biaya dan tanpa mengorbankan privasi. Mulai dari model kecil, rasakan kemampuannya, dan kamu akan paham kapan butuh cloud dan kapan lokal sudah cukup. Untuk developer yang ingin belajar AI dengan serius, ini titik awal yang ideal.