Panduan Lengkap: Cara Install & Jalankan QwQ-32B Lokal di Windows, macOS, dan Linux

Bayangkan memiliki model AI canggih yang berjalan langsung di komputer Anda sendiri—tanpa tagihan API, tanpa biaya cloud, serta privasi data yang terjaga sepenuhnya. Dengan QwQ-32B dari Alibaba, semua ini dapat menjadi kenyataan di meja kerja Anda. Panduan ini akan memandu langkah demi langkah instalasi lokal QwQ-32B untuk Windows, macOS, dan Linux. Manfaat utama menjalankan QwQ-32B di perangkat sendiri:

1. Privasi: Semua data tetap di komputer Anda.
2. Hemat Biaya: Hindari biaya API berulang.
3. Kustomisasi: Sesuaikan model dengan dataset pribadi.
4. Fleksibilitas: Mudah beralih antar berbagai model seperti Llama 3 atau Mistral.

Kebutuhan Perangkat Keras

Mac
- Prosesor: Apple Silicon M1 Pro/Max
- RAM: Minimal 24 GB (48 GB lebih ideal)
- Penyimpanan: >=100 GB kosong

Windows
- Prosesor: Multi-core modern dengan AVX2/AVX512
- GPU: RTX 3060 12 GB (quantized) atau RTX 4090 24 GB (full precision)
- RAM: Minimal 32 GB
- Penyimpanan: >=100 GB

Linux
- Prosesor: Multi-core AVX2/AVX512, ARM juga didukung
- GPU: RTX 3090/4090 24 GB atau A6000
- RAM: Minimal 32 GB
- Penyimpanan: >=100 GB

Cara Install di Windows

1. Kunjungi ollama.com dan unduh versi Windows.
2. Jalankan file .exe, ikuti panduan instalasi.
3. Buka Terminal (cari melalui Start menu).
4. Jalankan perintah:
ollama run qwq
atau versi ringan:
ollama run qwq:32b-preview-q4_K_M
5. Tes dengan mengetik pertanyaan sederhana.

Cara Install di macOS

1. Buka Terminal.
2. Jalankan:
ollama run qwq
3. Untuk Mac memori besar:
ollama run qwq:32b-preview-q5_1
4. Gunakan Activity Monitor untuk memantau RAM.

Cara Install di Linux

1. Install Ollama:
curl -fsSL https://ollama.com/install.sh | sh
2. Verifikasi instalasi:
ollama
3. Unduh model:
ollama pull qwq:32b
4. Jalankan:
ollama run qwq:32b

Opsional: Antarmuka Web dengan Docker

1. Install Docker Desktop.
2. Jalankan container:
docker run -d -p 8080:8080 --gpus all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3. Buka http://localhost:8080 di browser.

Alternatif Cloud

Jika perangkat Anda kurang kuat, daftar NodeShift, luncurkan GPU instance A100/A6000, dan jalankan:
curl -sL nodeshift.com/qwq32b-install | bash

Customisasi Model

Buat versi kustom:
ollama create qwq-custom -f Modelfile

Kesimpulan

Menjalankan QwQ-32B secara lokal memberikan kendali penuh atas AI, privasi data, dan efisiensi biaya. Proses serupa juga berlaku untuk model lain di Ollama seperti Llama 3 atau Mistral.

Iklan Morfotech: Ingin solusi AI yang lebih terintegrasi untuk bisnis Anda? Tim ekspert Morfotech siap bantu. Konsultasikan kebutuhan AI, integrasi model lokal, hingga pengembangan aplikasi khusus. Hubungi Morfotech di +62 811-2288-8001 atau kunjungi https://morfotech.id untuk penawaran terbaik.