Skip to content

Latest commit

 

History

History
73 lines (38 loc) · 3.03 KB

MLX_Inference.md

File metadata and controls

73 lines (38 loc) · 3.03 KB

Inference Phi-3 med Apple MLX Framework

Hva er MLX Framework

MLX er et rammeverk for maskinlæring på Apple Silicon, utviklet av Apple sitt maskinlæringsforskningslag.

MLX er laget av maskinlæringsforskere for maskinlæringsforskere. Rammeverket er designet for å være brukervennlig, men samtidig effektivt for både trening og bruk av modeller. Selve designet av rammeverket er også konseptuelt enkelt. Målet er å gjøre det lett for forskere å utvide og forbedre MLX, slik at nye ideer raskt kan utforskes.

LLM-er kan akselereres på Apple Silicon-enheter gjennom MLX, og modeller kan kjøres lokalt på en svært praktisk måte.

Bruke MLX for å kjøre inferens med Phi-3-mini

1. Sett opp ditt MLX-miljø

  1. Python 3.11.x
  2. Installer MLX-biblioteket
pip install mlx-lm

2. Kjøre Phi-3-mini i Terminal med MLX

python -m mlx_lm.generate --model microsoft/Phi-3-mini-4k-instruct --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

Resultatet (mitt miljø er Apple M1 Max, 64GB) er:

Terminal

3. Kvantisering av Phi-3-mini med MLX i Terminal

python -m mlx_lm.convert --hf-path microsoft/Phi-3-mini-4k-instruct

Merk: Modellen kan kvantiseres med mlx_lm.convert, og standard kvantisering er INT4. Dette eksempelet kvantiserer Phi-3-mini til INT4.

Modellen kan kvantiseres med mlx_lm.convert, og standard kvantisering er INT4. I dette eksempelet kvantiseres Phi-3-mini til INT4. Etter kvantiseringen lagres den i standardkatalogen ./mlx_model.

Vi kan teste den kvantiserte modellen med MLX fra terminalen:

python -m mlx_lm.generate --model ./mlx_model/ --max-token 2048 --prompt  "<|user|>\nCan you introduce yourself<|end|>\n<|assistant|>"

Resultatet er:

INT4

4. Kjøre Phi-3-mini med MLX i Jupyter Notebook

Notebook

Merk: Vennligst les dette eksempelet klikk på denne lenken

Ressurser

  1. Lær mer om Apple MLX Framework https://ml-explore.github.io

  2. Apple MLX GitHub Repo https://github.com/ml-explore

Ansvarsfraskrivelse:
Dette dokumentet er oversatt ved hjelp av maskinbaserte AI-oversettingstjenester. Selv om vi tilstreber nøyaktighet, vær oppmerksom på at automatiserte oversettelser kan inneholde feil eller unøyaktigheter. Det originale dokumentet på sitt opprinnelige språk bør anses som den autoritative kilden. For kritisk informasjon anbefales profesjonell menneskelig oversettelse. Vi er ikke ansvarlige for misforståelser eller feiltolkninger som oppstår ved bruk av denne oversettelsen.