Bonsai 27B WebGPU Kernels — 1-bit LLM läuft lokal im Browser (Hugging Face Space, webml-community)
Dennis BeckerMeinung
Über Quantisierung ist das 27B-Modell nur noch 3,8 GB groß und kann direkt im Browser laufen. Spannend welche Entwicklungen es in lokalen Modellen gibt (durch Custom WebGPU Kernel, die lustigerweise von Fable 5 und GPT 5.6 geschrieben werden).