Jalankan model AI canggih seperti Llama 3, Mistral, atau Phi-3 langsung di perangkat Anda sendiri untuk privasi, kecepatan, dan akses offline.
Performa AI lokal sangat bergantung pada perangkat keras. Semakin besar spesifikasi Anda, terutama RAM dan VRAM GPU, semakin besar dan cepat model yang bisa Anda jalankan.
Krusial untuk memuat bobot model. Kurang RAM akan membuat sistem sangat lambat atau gagal memuat model besar.
Bagian terpenting untuk akselerasi. Proses inferensi (menjalankan AI) jauh lebih cepat di GPU.
Model AI berukuran besar, jadi pastikan Anda memiliki ruang yang cukup.
Terdapat beberapa cara untuk menginstal AI lokal, mulai dari yang paling mudah hingga yang lebih teknis. Pilih yang paling sesuai dengan tingkat kenyamanan Anda.
Ollama menyederhanakan proses instalasi dan menjalankan model AI menjadi beberapa perintah sederhana di terminal. Sangat direkomendasikan untuk pemula.
Langkah 1: Unduh dan Instal Ollama
Kunjungi situs web resmi Ollama dan unduh installer untuk sistem operasi Anda (Windows, macOS, atau Linux). Jalankan installer dan ikuti petunjuknya.
Kunjungi Ollama.comLangkah 2: Jalankan Model Pertama Anda via Terminal
Buka Command Prompt (Windows), Terminal (macOS/Linux), lalu ketik perintah berikut untuk mengunduh dan menjalankan model Llama 3 (8B):
ollama run llama3
Ollama akan otomatis mengunduh model jika belum ada, lalu Anda bisa langsung memulai percakapan di terminal.
Perintah Berguna Lainnya:
Untuk melihat daftar model yang sudah Anda unduh:
ollama list
Untuk menjalankan model lain, misalnya Mistral:
ollama run mistral
Jika Anda lebih suka antarmuka visual daripada baris perintah, LM Studio adalah pilihan yang tepat. Aplikasi ini memungkinkan Anda mencari, mengunduh, dan menjalankan model dalam satu tempat.
Langkah 1: Unduh dan Instal LM Studio
Kunjungi situs resmi LM Studio dan unduh versi yang sesuai untuk sistem operasi Anda.
Kunjungi LMStudio.aiLangkah 2: Cari dan Unduh Model
Setelah membuka aplikasi, gunakan kolom pencarian di halaman utama untuk menemukan model yang Anda inginkan (misalnya, "Phi-3 Mini"). Anda akan melihat berbagai versi (kuantisasi) dari model tersebut. Pilih salah satu (versi Q4_K_M biasanya merupakan keseimbangan yang baik antara ukuran dan kualitas) lalu klik "Download".
Langkah 3: Mulai Percakapan
Setelah unduhan selesai, pergi ke tab "Chat" (ikon percakapan di sebelah kiri). Pilih model yang baru saja Anda unduh dari menu dropdown di bagian atas, dan Anda siap untuk mulai mengobrol dengan AI Anda.
Metode ini memberikan fleksibilitas penuh dan cocok jika Anda ingin mengintegrasikan model AI ke dalam aplikasi Anda sendiri. Anda memerlukan Python dan familiar dengan pustaka seperti PyTorch dan Transformers dari Hugging Face.
Langkah 1: Siapkan Lingkungan Python
Pastikan Anda memiliki Python 3.8+ terinstal. Sangat disarankan untuk membuat virtual environment:
python -m venv ai-env
source ai-env/bin/activate # macOS/Linux
.\ai-env\Scripts\activate # Windows
Langkah 2: Instal Pustaka Penting
Instal PyTorch (sesuaikan dengan versi CUDA Anda jika menggunakan GPU NVIDIA) dan pustaka Transformers.
# Kunjungi situs PyTorch untuk perintah instalasi yang sesuai dengan sistem Anda
# Contoh untuk CUDA 12.1:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
# Instal pustaka lainnya
pip install transformers accelerate
Langkah 3: Jalankan Model dengan Skrip Python
Buat file Python (misal: `run_ai.py`) dan gunakan kode berikut untuk mengunduh dan menjalankan model dari Hugging Face Hub.
from transformers import pipeline
import torch
# Ganti 'model_name' dengan model yang Anda inginkan
model_name = "microsoft/Phi-3-mini-4k-instruct"
# Buat pipeline untuk text generation
# device_map="auto" akan otomatis menggunakan GPU jika tersedia
pipe = pipeline(
"text-generation",
model=model_name,
device_map="auto",
torch_dtype=torch.bfloat16,
trust_remote_code=True,
)
# Buat template pesan
messages = [
{"role": "user", "content": "Sebutkan 3 fakta menarik tentang Indonesia"},
]
# Jalankan model
outputs = pipe(
messages,
max_new_tokens=256,
)
# Cetak hasilnya
print(outputs[0]["generated_text"][-1]['content'])