README.md

Phi Cookbook: Praktické příklady s modely Phi od Microsoftu

Phi je série open source AI modelů vyvinutých společností Microsoft.

Phi je v současnosti nejvýkonnější a nejefektivnější malý jazykový model (SLM), který dosahuje skvělých výsledků v oblastech jako jsou vícejazyčné aplikace, logické úvahy, generování textu/chatu, kódování, obrázky, audio a další scénáře.

Model Phi lze nasadit do cloudu nebo na okrajová zařízení, a snadno s ním můžete vytvářet generativní AI aplikace i s omezeným výpočetním výkonem.

Postupujte podle těchto kroků, abyste mohli začít využívat tyto zdroje:

1. Forkněte si repozitář: Klikněte
2. Klonujte repozitář: git clone https://github.com/microsoft/PhiCookBook.git
3. Připojte se ke komunitě Microsoft AI na Discordu a setkejte se s experty a dalšími vývojáři

Obsah

• Úvod

  • Vítejte v rodině Phi
  • Nastavení prostředí
  • Pochopení klíčových technologií
  • Bezpečnost AI pro modely Phi
  • Podpora hardwaru pro Phi
  • Modely Phi a jejich dostupnost na různých platformách
  • Používání Guidance-ai a Phi
  • Modely na GitHub Marketplace
  • Katalog modelů Azure AI

• Inference Phi v různých prostředích

  • Hugging face
  • Modely na GitHubu
  • Katalog modelů Azure AI Foundry
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Inference rodiny Phi

  • Inference Phi na iOS
  • Inference Phi na Androidu

• Inference Phi na Jetsonu

  • Inference Phi na AI PC
  • Inference Phi s frameworkem Apple MLX
  • Inference Phi na lokálním serveru
  • Inference Phi na vzdáleném serveru pomocí AI Toolkit
  • Inference Phi v Rustu
  • Inference Phi--Vision lokálně
  • Inference Phi s Kaito AKS, Azure Containers (oficiální podpora)

• Kvantifikace rodiny Phi

  • Kvantifikace Phi-3.5 / 4 pomocí llama.cpp
  • Kvantifikace Phi-3.5 / 4 pomocí generativních AI rozšíření pro onnxruntime
  • Kvantifikace Phi-3.5 / 4 pomocí Intel OpenVINO
  • Kvantifikace Phi-3.5 / 4 pomocí frameworku Apple MLX

• Vyhodnocení Phi

  • Zodpovědná AI
  • Azure AI Foundry pro vyhodnocení
  • Použití Promptflow pro vyhodnocení

• RAG s Azure AI Search

  • Jak používat Phi-4-mini a Phi-4-multimodal (RAG) s Azure AI Search

• Ukázky vývoje aplikací Phi

  • Textové a chatovací aplikace
    • Ukázky Phi-4 🆕
      • [📓] Chat s Phi-4-mini ONNX modelem
      • Chat s lokálním modelem Phi-4 ONNX v .NET
      • Chat .NET konzolová aplikace s Phi-4 ONNX pomocí Semantic Kernel
    • Ukázky Phi-3 / 3.5
      • Lokální chatbot v prohlížeči s Phi3, ONNX Runtime Web a WebGPU
      • OpenVino Chat
      • Multi Model - Interaktivní Phi-3-mini a OpenAI Whisper
      • MLFlow - Vytvoření wrapperu a použití Phi-3 s MLFlow
      • Optimalizace modelu - Jak optimalizovat model Phi-3-mini pro ONNX Runtime Web pomocí Olive
      • WinUI3 aplikace s Phi-3 mini-4k-instruct-onnx
      • Ukázková aplikace pro poznámky s AI ve WinUI3
      • Doladění a integrace vlastních modelů Phi-3 s Prompt flow
      • Doladění a integrace vlastních modelů Phi-3 s Prompt flow v Azure AI Foundry
      • Vyhodnocení doladěného modelu Phi-3 / Phi-3.5 v Azure AI Foundry se zaměřením na principy zodpovědné AI společnosti Microsoft

• [📓] Ukázkový příklad jazykové predikce Phi-3.5-mini-instruct (čínština/angličtina) - Phi-3.5-Instruct WebGPU RAG Chatbot - Použití GPU ve Windows k vytvoření Prompt Flow řešení s Phi-3.5-Instruct ONNX - Vytvoření Android aplikace pomocí Microsoft Phi-3.5 tflite - Příklad Q&A .NET s lokálním modelem ONNX Phi-3 za použití Microsoft.ML.OnnxRuntime - Konzolová chatovací .NET aplikace se Semantic Kernel a Phi-3

  • Azure AI Inference SDK Ukázky kódu

    • Phi-4 Ukázky 🆕
      • [📓] Generování projektového kódu pomocí Phi-4-multimodal
    • Phi-3 / 3.5 Ukázky
      • Vytvořte si vlastní Visual Studio Code GitHub Copilot Chat s rodinou Microsoft Phi-3
      • Vytvoření vlastního Visual Studio Code Chat Copilot Agenta s Phi-3.5 za použití GitHub modelů

  • Pokročilé příklady uvažování

    • Phi-4 Ukázky 🆕
      • [📓] Phi-4-mini ukázky uvažování

  • Dema

    • Phi-4-mini dema hostovaná na Hugging Face Spaces
    • Phi-4-multimodal dema hostovaná na Hugging Face Spaces

  • Ukázky pro Vision

    • Phi-4 Ukázky 🆕
      • [📓] Použití Phi-4-multimodal k čtení obrázků a generování kódu
    • Phi-3 / 3.5 Ukázky
      • [📓]Phi-3-vision-Image text to text
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Embedding
      • DEMO: Phi-3 Recycling
      • Phi-3-vision - Vizualní jazykový asistent - s Phi3-Vision a OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision ukázka pro více snímků nebo obrázků
      • Phi-3 Vision Lokální ONNX Model za použití Microsoft.ML.OnnxRuntime .NET
      • Menu založené na Phi-3 Vision Lokálním ONNX Modelu za použití Microsoft.ML.OnnxRuntime .NET

  • Ukázky pro Audio

    • Phi-4 Ukázky 🆕
      • [📓] Extrahování audio přepisů pomocí Phi-4-multimodal
      • [📓] Phi-4-multimodal Ukázka pro Audio
      • [📓] Phi-4-multimodal Ukázka překladu řeči
      • .NET konzolová aplikace využívající Phi-4-multimodal Audio k analýze audio souboru a generování přepisu

  • Ukázky MOE

    • Phi-3 / 3.5 Ukázky
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) Ukázka pro sociální média
      • [📓] Vytvoření Retrieval-Augmented Generation (RAG) Pipeline s NVIDIA NIM Phi-3 MOE, Azure AI Search a LlamaIndex

  • Ukázky pro volání funkcí

    • Phi-4 Ukázky 🆕
      • [📓] Použití volání funkcí s Phi-4-mini

  • Ukázky pro multimodální mixování

    • Phi-4 Ukázky 🆕

• [📓] Použití Phi-4-multimodal jako technologický novinář

  • .NET konzolová aplikace používající Phi-4-multimodal k analýze obrázků

• Doladění vzorků Phi

  • Scénáře doladění
  • Doladění vs RAG
  • Doladění: Udělejte z Phi-3 odborníka na průmysl
  • Doladění Phi-3 pomocí AI Toolkit pro VS Code
  • Doladění Phi-3 pomocí Azure Machine Learning Service
  • Doladění Phi-3 pomocí Lora
  • Doladění Phi-3 pomocí QLora
  • Doladění Phi-3 pomocí Azure AI Foundry
  • Doladění Phi-3 pomocí Azure ML CLI/SDK
  • Doladění s Microsoft Olive
  • Doladění s Microsoft Olive – Praktická laboratoř
  • Doladění Phi-3-vision pomocí Weights and Bias
  • Doladění Phi-3 pomocí Apple MLX Framework
  • Doladění Phi-3-vision (oficiální podpora)
  • Doladění Phi-3 s Kaito AKS, Azure Containers (oficiální podpora)
  • Doladění Phi-3 a 3.5 Vision

• Praktické laboratoře

  • Zkoumání nejmodernějších modelů: LLMs, SLMs, lokální vývoj a další
  • Odemknutí potenciálu NLP: Doladění s Microsoft Olive

• Akademické výzkumné práce a publikace

  • Textbooks Are All You Need II: phi-1.5 technická zpráva
  • Phi-3 Technická zpráva: Vysoce schopný jazykový model lokálně na vašem telefonu
  • Phi-4 Technická zpráva
  • Optimalizace malých jazykových modelů pro funkční volání ve vozidlech
  • (WhyPHI) Doladění PHI-3 pro odpovědi na otázky s výběrem z možností: Metodologie, výsledky a výzvy

Použití modelů Phi

Phi na Azure AI Foundry

Můžete se naučit, jak používat Microsoft Phi a jak vytvářet kompletní řešení na různých hardwarových zařízeních. Chcete-li si Phi vyzkoušet, začněte s modely a přizpůsobte Phi pro své scénáře pomocí Azure AI Foundry Azure AI Model Catalog. Více se dozvíte v úvodu Azure AI Foundry.

Playground
Každý model má vlastní prostředí pro testování: Azure AI Playground.

Phi na GitHub Modelech

Můžete se naučit, jak používat Microsoft Phi a jak vytvářet kompletní řešení na různých hardwarových zařízeních. Chcete-li si Phi vyzkoušet, začněte s modelem a přizpůsobte Phi pro své scénáře pomocí GitHub Model Catalog. Více se dozvíte v úvodu GitHub Model Catalog.

Playground
Každý model má vyhrazené hřiště pro testování modelu.

Phi na Hugging Face

Model můžete najít také na Hugging Face

Hřiště
Hugging Chat hřiště

Odpovědná AI

Microsoft se zavazuje pomáhat svým zákazníkům používat naše AI produkty odpovědně, sdílet své poznatky a budovat důvěryhodná partnerství prostřednictvím nástrojů, jako jsou Poznámky o transparentnosti a Hodnocení dopadu. Mnoho těchto zdrojů lze najít na https://aka.ms/RAI.
Přístup společnosti Microsoft k odpovědné AI je založen na našich zásadách AI: spravedlnost, spolehlivost a bezpečnost, soukromí a zabezpečení, inkluzivita, transparentnost a odpovědnost.

Velké modely pro zpracování přirozeného jazyka, obrazu a řeči – jako ty použité v tomto příkladu – se mohou potenciálně chovat nespravedlivě, nespolehlivě nebo urážlivě, což může způsobit škody. Přečtěte si Poznámku o transparentnosti služby Azure OpenAI, abyste byli informováni o rizicích a omezeních.

Doporučeným přístupem k omezení těchto rizik je zahrnout do své architektury bezpečnostní systém, který dokáže detekovat a předcházet škodlivému chování. Azure AI Content Safety poskytuje nezávislou vrstvu ochrany, která dokáže detekovat škodlivý obsah generovaný uživateli i AI v aplikacích a službách. Azure AI Content Safety zahrnuje textové a obrazové API, která umožňují detekovat škodlivý materiál. V rámci Azure AI Foundry umožňuje služba Content Safety zobrazit, prozkoumat a vyzkoušet ukázkový kód pro detekci škodlivého obsahu napříč různými modalitami. Následující dokumentace rychlého startu vás provede vytvořením požadavků na tuto službu.

Dalším aspektem, který je třeba vzít v úvahu, je celkový výkon aplikace. U multimodálních a multimodelových aplikací chápeme výkon jako schopnost systému fungovat podle vašich očekávání a očekávání uživatelů, včetně prevence generování škodlivých výstupů. Je důležité posoudit výkon vaší aplikace pomocí Hodnotitelů výkonu a kvality a Hodnotitelů rizik a bezpečnosti. Máte také možnost vytvořit a vyhodnotit vlastní hodnotitele.

Vaši AI aplikaci můžete vyhodnotit ve svém vývojovém prostředí pomocí Azure AI Evaluation SDK. Na základě testovací sady dat nebo cíle jsou generace vaší generativní AI aplikace kvantitativně měřeny pomocí vestavěných nebo vámi zvolených vlastních hodnotitelů. Pro začátek s Azure AI Evaluation SDK k vyhodnocení vašeho systému můžete sledovat průvodce rychlým startem. Po provedení hodnotícího běhu můžete vizualizovat výsledky v Azure AI Foundry.

Ochranné známky

Tento projekt může obsahovat ochranné známky nebo loga projektů, produktů či služeb. Použití ochranných známek nebo log Microsoftu je povoleno pouze v souladu s Pokyny pro používání ochranných známek a značek Microsoftu.
Použití ochranných známek nebo log Microsoftu v upravených verzích tohoto projektu nesmí způsobit záměnu nebo naznačovat sponzorství ze strany Microsoftu. Jakékoliv použití ochranných známek nebo log třetích stran podléhá zásadám těchto třetích stran.

Upozornění:
Tento dokument byl přeložen pomocí strojových AI překladatelských služeb. Ačkoli se snažíme o přesnost, mějte na paměti, že automatizované překlady mohou obsahovat chyby nebo nepřesnosti. Původní dokument v jeho rodném jazyce by měl být považován za závazný zdroj. Pro důležité informace se doporučuje profesionální lidský překlad. Nenese odpovědnost za jakékoli nedorozumění nebo nesprávné výklady vyplývající z použití tohoto překladu.