README.md

Phi Kuvar: Praktični Primeri sa Microsoftovim Phi Modelima

Phi je serija AI modela otvorenog koda koje je razvila kompanija Microsoft.

Phi je trenutno najmoćniji i najisplativiji mali jezički model (SLM), sa odličnim rezultatima u višejezičnosti, rezonovanju, generisanju teksta/četa, kodiranju, slikama, zvuku i drugim scenarijima.

Možete implementirati Phi u oblaku ili na uređajima na ivici mreže, a lako možete kreirati generativne AI aplikacije sa ograničenim računalnim resursima.

Pratite ove korake da biste započeli sa korišćenjem ovih resursa:

1. Forkujte Repozitorijum: Kliknite
2. Klonirajte Repozitorijum: git clone https://github.com/microsoft/PhiCookBook.git
3. Pridružite se Microsoft AI Discord zajednici i upoznajte stručnjake i kolege programere

Sadržaj

• Uvod

  • Dobrodošli u Phi Porodicu
  • Podešavanje vašeg okruženja
  • Razumevanje Ključnih Tehnologija
  • AI Bezbednost za Phi Modele
  • Podrška za Phi Hardver
  • Phi Modeli i Dostupnost na Različitim Platformama
  • Korišćenje Guidance-ai i Phi
  • GitHub Marketplace Modeli
  • Azure AI Katalog Modela

• Izvođenje Phi u različitim okruženjima

  • Hugging Face
  • GitHub Modeli
  • Azure AI Foundry Katalog Modela
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Izvođenje Phi Porodice

  • Izvođenje Phi na iOS-u
  • Izvođenje Phi na Androidu

• Inferencija Phi na Jetsonu

  • Inferencija Phi na AI PC-ju
  • Inferencija Phi sa Apple MLX Frameworkom
  • Inferencija Phi na lokalnom serveru
  • Inferencija Phi na udaljenom serveru koristeći AI Toolkit
  • Inferencija Phi sa Rust-om
  • Inferencija Phi--Vision lokalno
  • Inferencija Phi sa Kaito AKS, Azure kontejnerima (zvanična podrška)

• Kvantifikacija porodice Phi

  • Kvantifikacija Phi-3.5 / 4 koristeći llama.cpp
  • Kvantifikacija Phi-3.5 / 4 koristeći generativne AI ekstenzije za onnxruntime
  • Kvantifikacija Phi-3.5 / 4 koristeći Intel OpenVINO
  • Kvantifikacija Phi-3.5 / 4 koristeći Apple MLX Framework

• Evaluacija Phi

  • Odgovorna AI
  • Azure AI Foundry za evaluaciju
  • Korišćenje Promptflow-a za evaluaciju

• RAG sa Azure AI Search

  • Kako koristiti Phi-4-mini i Phi-4-multimodal (RAG) sa Azure AI Search

• Primeri razvoja aplikacija sa Phi

  • Tekstualne i chat aplikacije
    • Primeri za Phi-4 🆕
      • [📓] Chat sa Phi-4-mini ONNX modelom
      • Chat sa lokalnim Phi-4 ONNX modelom u .NET-u
      • Chat .NET konzolna aplikacija sa Phi-4 ONNX koristeći Semantic Kernel
    • Primeri za Phi-3 / 3.5
      • Lokalni chatbot u pretraživaču koristeći Phi3, ONNX Runtime Web i WebGPU
      • OpenVino Chat
      • Multi Model - Interaktivni Phi-3-mini i OpenAI Whisper
      • MLFlow - Kreiranje omota i korišćenje Phi-3 sa MLFlow
      • Optimizacija modela - Kako optimizovati Phi-3-min model za ONNX Runtime Web sa Olive
      • WinUI3 aplikacija sa Phi-3 mini-4k-instruct-onnx
      • WinUI3 Multi Model AI aplikacija za beleške - primer
      • Fino podešavanje i integracija prilagođenih Phi-3 modela sa Prompt flow
      • Fino podešavanje i integracija prilagođenih Phi-3 modela sa Prompt flow u Azure AI Foundry
      • Evaluacija fino podešenih Phi-3 / Phi-3.5 modela u Azure AI Foundry, fokusirajući se na Microsoftove principe odgovorne AI

• [📓] Phi-3.5-mini-instruct primer za predviđanje jezika (kineski/engleski) - Phi-3.5-Instruct WebGPU RAG Četbot - Korišćenje Windows GPU-a za kreiranje Prompt flow rešenja sa Phi-3.5-Instruct ONNX - Korišćenje Microsoft Phi-3.5 tflite za kreiranje Android aplikacije - Q&A .NET primer korišćenjem lokalnog ONNX Phi-3 modela sa Microsoft.ML.OnnxRuntime - Konzolna čet aplikacija u .NET-u sa Semantic Kernel-om i Phi-3

  • Azure AI Inference SDK Primeri zasnovani na kodu

    • Phi-4 Primeri 🆕
      • [📓] Generisanje koda projekta korišćenjem Phi-4-multimodal
    • Phi-3 / 3.5 Primeri
      • Kreirajte svoj Visual Studio Code GitHub Copilot Chat sa Microsoft Phi-3 porodicom
      • Napravite svog Visual Studio Code Copilot agenta za čet sa Phi-3.5 pomoću GitHub modela

  • Napredni primeri zaključivanja

    • Phi-4 Primeri 🆕
      • [📓] Phi-4-mini primeri zaključivanja

  • Demo prikazi

    • Phi-4-mini demo prikazi hostovani na Hugging Face Spaces
    • Phi-4-multimodal demo prikazi hostovani na Hugging Face Spaces

  • Vizuelni primeri

    • Phi-4 Primeri 🆕
      • [📓] Korišćenje Phi-4-multimodal za čitanje slika i generisanje koda
    • Phi-3 / 3.5 Primeri
      • [📓]Phi-3-vision - Tekst sa slike u tekst
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Embedding
      • DEMO: Phi-3 Reciklaža
      • Phi-3-vision - Vizuelni jezički asistent - sa Phi3-Vision i OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision primer za više okvira ili više slika
      • Phi-3 Vision lokalni ONNX model korišćenjem Microsoft.ML.OnnxRuntime .NET
      • Meni baziran Phi-3 Vision lokalni ONNX model korišćenjem Microsoft.ML.OnnxRuntime .NET

  • Audio primeri

    • Phi-4 Primeri 🆕
      • [📓] Ekstrakcija audio transkripta korišćenjem Phi-4-multimodal
      • [📓] Phi-4-multimodal Audio Primer
      • [📓] Phi-4-multimodal Primer za prevod govora
      • .NET konzolna aplikacija korišćenjem Phi-4-multimodal Audio za analizu audio fajla i generisanje transkripta

  • MOE Primeri

    • Phi-3 / 3.5 Primeri
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) primer za društvene mreže
      • [📓] Izgradnja Retrieval-Augmented Generation (RAG) pipeline-a sa NVIDIA NIM Phi-3 MOE, Azure AI Search, i LlamaIndex

  • Primeri za pozivanje funkcija

    • Phi-4 Primeri 🆕
      • [📓] Korišćenje pozivanja funkcija sa Phi-4-mini

  • Primeri za mešanje multimodala

    • Phi-4 Primeri 🆕

• [📓] Korišćenje Phi-4-multimodal kao tehnološki novinar

  • .NET konzolna aplikacija koja koristi Phi-4-multimodal za analizu slika

• Fino podešavanje uzoraka Phi

  • Scenariji za fino podešavanje
  • Fino podešavanje naspram RAG
  • Fino podešavanje: Neka Phi-3 postane stručnjak za industriju
  • Fino podešavanje Phi-3 pomoću AI Toolkit za VS Code
  • Fino podešavanje Phi-3 pomoću Azure Machine Learning Service
  • Fino podešavanje Phi-3 pomoću Lora
  • Fino podešavanje Phi-3 pomoću QLora
  • Fino podešavanje Phi-3 pomoću Azure AI Foundry
  • Fino podešavanje Phi-3 pomoću Azure ML CLI/SDK
  • Fino podešavanje pomoću Microsoft Olive
  • Fino podešavanje pomoću Microsoft Olive Hands-On Lab
  • Fino podešavanje Phi-3-vision pomoću Weights and Bias
  • Fino podešavanje Phi-3 pomoću Apple MLX Framework
  • Fino podešavanje Phi-3-vision (zvanična podrška)
  • Fino podešavanje Phi-3 pomoću Kaito AKS, Azure Containers (zvanična podrška)
  • Fino podešavanje Phi-3 i 3.5 Vision

• Praktične radionice

  • Istraživanje najsavremenijih modela: LLM-ovi, SLM-ovi, lokalni razvoj i još mnogo toga
  • Otključavanje potencijala NLP-a: Fino podešavanje pomoću Microsoft Olive

• Akademski istraživački radovi i publikacije

  • Udžbenici su sve što vam treba II: tehnički izveštaj za phi-1.5
  • Tehnički izveštaj za Phi-3: Visoko sposobni jezički model lokalno na vašem telefonu
  • Tehnički izveštaj za Phi-4
  • Optimizacija malih jezičkih modela za funkcije u vozilu
  • (WhyPHI) Fino podešavanje PHI-3 za odgovaranje na pitanja sa višestrukim izborom: metodologija, rezultati i izazovi

Korišćenje Phi modela

Phi na Azure AI Foundry

Možete naučiti kako da koristite Microsoft Phi i kako da izgradite E2E rešenja na različitim hardverskim uređajima. Da biste sami iskusili Phi, započnite sa isprobavanjem modela i prilagođavanjem Phi za svoje scenarije koristeći Azure AI Foundry Azure AI Model Catalog. Više možete saznati u odeljku Početak sa Azure AI Foundry.

Igralište Svaki model ima posvećeno igralište za testiranje modela Azure AI Playground.

Phi na GitHub modelima

Možete naučiti kako da koristite Microsoft Phi i kako da izgradite E2E rešenja na različitim hardverskim uređajima. Da biste sami iskusili Phi, započnite sa isprobavanjem modela i prilagođavanjem Phi za svoje scenarije koristeći GitHub Model Catalog. Više možete saznati u odeljku Početak sa GitHub Model Catalog.

Igralište Svaki model ima posvećen prostor za testiranje modela.

Phi na Hugging Face-u

Model možete pronaći i na Hugging Face

Prostor za testiranje Hugging Chat prostor za testiranje

Odgovorna AI

Microsoft je posvećen tome da pomogne svojim korisnicima da odgovorno koriste naše AI proizvode, deleći svoja saznanja i gradeći partnerske odnose zasnovane na poverenju putem alata kao što su Beleške o transparentnosti i Procene uticaja. Mnogi od ovih resursa mogu se pronaći na https://aka.ms/RAI.
Microsoftov pristup odgovornoj AI zasnovan je na našim principima AI: pravičnosti, pouzdanosti i sigurnosti, privatnosti i zaštiti, inkluzivnosti, transparentnosti i odgovornosti.

Veliki modeli prirodnog jezika, slike i govora - poput onih korišćenih u ovom primeru - mogu potencijalno da se ponašaju na nepravedan, nepouzdan ili uvredljiv način, što može dovesti do štetnih posledica. Molimo vas da se konsultujete sa Beleškom o transparentnosti za Azure OpenAI uslugu kako biste bili informisani o rizicima i ograničenjima.

Preporučeni pristup za ublažavanje ovih rizika je uključivanje sigurnosnog sistema u vašu arhitekturu koji može otkriti i sprečiti štetno ponašanje. Azure AI Content Safety pruža nezavisan sloj zaštite, sposoban da detektuje štetan sadržaj generisan od strane korisnika ili AI u aplikacijama i uslugama. Azure AI Content Safety uključuje API-je za tekst i slike koji omogućavaju detekciju štetnog materijala. Unutar Azure AI Foundry-a, Content Safety usluga omogućava vam da pregledate, istražujete i isprobate uzorke koda za detekciju štetnog sadržaja u različitim modalitetima. Sledeća dokumentacija za brzo pokretanje vodi vas kroz proces slanja zahteva ovoj usluzi.

Još jedan aspekt koji treba uzeti u obzir je ukupna performansa aplikacije. Kod aplikacija sa više modaliteta i modela, performansa podrazumeva da sistem radi kako vi i vaši korisnici očekujete, uključujući i to da ne generiše štetne rezultate. Važno je proceniti performanse vaše aplikacije koristeći Evaluatore za performanse i kvalitet, kao i za rizik i sigurnost. Takođe imate mogućnost da kreirate i procenjujete sa prilagođenim evaluatorima.

Možete proceniti vašu AI aplikaciju u razvojnom okruženju koristeći Azure AI Evaluation SDK. Na osnovu testnog skupa podataka ili cilja, generacije vaše generativne AI aplikacije se kvantitativno mere pomoću ugrađenih ili prilagođenih evaluatora po vašem izboru. Da biste započeli sa Azure AI Evaluation SDK-om za evaluaciju vašeg sistema, možete pratiti vodič za brzo pokretanje. Nakon što izvršite evaluaciju, možete vizualizovati rezultate u Azure AI Foundry.

Zaštitni znakovi

Ovaj projekat može sadržati zaštitne znakove ili logotipe za projekte, proizvode ili usluge. Ovlašćena upotreba Microsoft zaštitnih znakova ili logotipa podložna je i mora slediti Microsoftova Pravila o zaštitnim znakovima i brendu.
Korišćenje Microsoft zaštitnih znakova ili logotipa u modifikovanim verzijama ovog projekta ne sme izazvati konfuziju niti implicirati sponzorstvo od strane Microsofta. Svaka upotreba zaštitnih znakova ili logotipa trećih strana podleže pravilima tih trećih strana.

Одрицање од одговорности:
Овај документ је преведен коришћењем машинских AI услуга за превођење. Иако се трудимо да обезбедимо тачност, молимо вас да имате у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на његовом изворном језику треба сматрати меродавним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било каква погрешна тумачења или неразумевања настала коришћењем овог превода.