Pag-aangkop ng Phi-3 gamit ang QLoRA
Pag-aangkop ng Phi-3 Mini language model ng Microsoft gamit ang QLoRA (Quantum Low-Rank Adaptation).
Makakatulong ang QLoRA upang mapabuti ang pag-unawa sa mga usapan at ang paggawa ng mga tugon.
Upang mag-load ng mga modelo sa 4bits gamit ang transformers at bitsandbytes, kailangan mong mag-install ng accelerate at transformers mula sa source at tiyaking ang iyong bitsandbytes library ay nasa pinakabagong bersyon.
Mga Halimbawa
- Matuto Pa Gamit ang Sample Notebook na Ito
- Halimbawa ng Python FineTuning Sample
- Halimbawa ng Hugging Face Hub Fine Tuning gamit ang LORA
- Halimbawa ng Hugging Face Hub Fine Tuning gamit ang QLORA
Paunawa:
Ang dokumentong ito ay isinalin gamit ang mga serbisyo ng AI na nakabatay sa makina. Bagama't sinisikap naming maging tumpak, pakitandaan na ang mga awtomatikong pagsasalin ay maaaring maglaman ng mga pagkakamali o hindi tumpak na impormasyon. Ang orihinal na dokumento sa kanyang katutubong wika ang dapat ituring na mapagkakatiwalaang pinagmulan. Para sa mahalagang impormasyon, inirerekomenda ang propesyonal na pagsasalin ng tao. Hindi kami mananagot sa anumang hindi pagkakaunawaan o maling interpretasyon na dulot ng paggamit ng pagsasaling ito.