Finjustering av Phi-3 med QLoRA
Finjustering av Microsofts Phi-3 Mini-språkmodell ved hjelp av QLoRA (Quantum Low-Rank Adaptation).
QLoRA vil bidra til å forbedre forståelsen av samtaler og generering av svar.
For å laste inn modeller i 4bits med transformers og bitsandbytes, må du installere accelerate og transformers fra kildekoden og sørge for at du har den nyeste versjonen av bitsandbytes-biblioteket.
Eksempler
- Lær mer med denne eksempelsnotatboken
- Eksempel på Python Finjusteringsskript
- Eksempel på finjustering med Hugging Face Hub og LORA
- Eksempel på finjustering med Hugging Face Hub og QLORA
Ansvarsfraskrivelse:
Dette dokumentet er oversatt ved hjelp av maskinbaserte AI-oversettelsestjenester. Selv om vi streber etter nøyaktighet, vær oppmerksom på at automatiserte oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på sitt opprinnelige språk bør anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for eventuelle misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.