AI Wyra Smart Docs
Masalah
Ketergantungan pada API cloud (seperti OpenAI) memunculkan risiko kebocoran data sensitif dari dokumen pengguna, ditambah dengan potensi biaya operasional (token) yang membengkak untuk analisis data skala besar.
Solusi Saya
Membangun ekosistem AI murni lokal menggunakan LangChain sebagai orkestrator, Llama 3.2 (via Ollama) sebagai LLM utama, ChromaDB untuk Vector Storage yang cepat, dan FastAPI untuk melayani request di backend.
Tantangan Yang Saya Hadapi
Tantangan terbesar adalah mengoptimalkan performa AI pada resource hardware yang sangat terbatas (CPU i3 / RAM 8GB), serta mengatasi konflik dependencies Python yang ketat di sistem operasi Linux/Ubuntu (aturan PEP 668).
How i Fix it?
Saya menerapkan isolasi environment menggunakan venv dan membungkus seluruh layanan backend ke dalam kontainer Docker, sambil secara strategis menjalankan Ollama di jaringan host (network_mode: host) untuk mencegah bottleneck pada memori.
Hasil yang Dicapai
Menghasilkan API SmartDocs yang stabil, aman, dan portabel (Docker-ready). Sistem ini sekarang bisa di-deploy secara instan ke perangkat apa pun di masa depan tanpa perlu konfigurasi environment ulang.