README.md

Sách Hướng Dẫn Phi: Ví Dụ Thực Tế với Các Mô Hình Phi của Microsoft

Phi là một loạt các mô hình AI mã nguồn mở được phát triển bởi Microsoft.

Hiện tại, Phi là mô hình ngôn ngữ nhỏ (SLM) mạnh mẽ và tiết kiệm chi phí nhất, đạt kết quả rất tốt trong nhiều ngôn ngữ, lý luận, tạo văn bản/chat, mã hóa, hình ảnh, âm thanh và các kịch bản khác.

Bạn có thể triển khai Phi trên đám mây hoặc các thiết bị biên, và dễ dàng xây dựng các ứng dụng AI tạo sinh với sức mạnh tính toán hạn chế.

Hãy làm theo các bước sau để bắt đầu sử dụng các tài nguyên này:

1. Fork kho lưu trữ: Nhấn vào
2. Clone kho lưu trữ: git clone https://github.com/microsoft/PhiCookBook.git
3. Tham gia cộng đồng Microsoft AI Discord và gặp gỡ các chuyên gia cũng như nhà phát triển khác

Mục Lục

• Giới thiệu

  • Chào mừng đến với Gia Đình Phi
  • Cài đặt môi trường của bạn
  • Hiểu các công nghệ chính
  • An toàn AI cho các mô hình Phi
  • Hỗ trợ phần cứng cho Phi
  • Mô hình Phi & Khả năng sử dụng trên các nền tảng
  • Sử dụng Guidance-ai và Phi
  • Các mô hình trên GitHub Marketplace
  • Danh mục Mô hình Azure AI

• Suy luận Phi trong các môi trường khác nhau

  • Hugging face
  • Các mô hình GitHub
  • Danh mục Mô hình Azure AI Foundry
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Suy luận Gia Đình Phi

  • Suy luận Phi trên iOS
  • Suy luận Phi trên Android

• Inference Phi trên Jetson

  • Inference Phi trên AI PC
  • Inference Phi với Apple MLX Framework
  • Inference Phi trên máy chủ cục bộ
  • Inference Phi trên máy chủ từ xa sử dụng AI Toolkit
  • Inference Phi với Rust
  • Inference Phi--Vision trên cục bộ
  • Inference Phi với Kaito AKS, Azure Containers (hỗ trợ chính thức)

• Định lượng Phi Family

  • Định lượng Phi-3.5 / 4 bằng llama.cpp
  • Định lượng Phi-3.5 / 4 bằng Generative AI extensions cho onnxruntime
  • Định lượng Phi-3.5 / 4 bằng Intel OpenVINO
  • Định lượng Phi-3.5 / 4 bằng Apple MLX Framework

• Đánh giá Phi

  • AI Trách nhiệm
  • Azure AI Foundry để đánh giá
  • Sử dụng Promptflow để đánh giá

• RAG với Azure AI Search

  • Cách sử dụng Phi-4-mini và Phi-4-multimodal (RAG) với Azure AI Search

• Các mẫu phát triển ứng dụng Phi

  • Ứng dụng văn bản & trò chuyện
    • Các mẫu Phi-4 🆕
      • [📓] Trò chuyện với mô hình Phi-4-mini ONNX
      • Trò chuyện với mô hình Phi-4 ONNX cục bộ bằng .NET
      • Ứng dụng console .NET trò chuyện với Phi-4 ONNX sử dụng Semantic Kernel
    • Các mẫu Phi-3 / 3.5
      • Chatbot cục bộ trong trình duyệt sử dụng Phi-3, ONNX Runtime Web và WebGPU
      • OpenVino Chat
      • Mô hình đa năng - Tương tác giữa Phi-3-mini và OpenAI Whisper
      • MLFlow - Xây dựng wrapper và sử dụng Phi-3 với MLFlow
      • Tối ưu hóa mô hình - Cách tối ưu hóa mô hình Phi-3-mini cho ONNX Runtime Web với Olive
      • Ứng dụng WinUI3 với Phi-3 mini-4k-instruct-onnx
      • Ứng dụng ghi chú AI đa mô hình mẫu trên WinUI3
      • Tinh chỉnh và tích hợp mô hình Phi-3 tùy chỉnh với Prompt flow
      • Tinh chỉnh và tích hợp mô hình Phi-3 tùy chỉnh với Prompt flow trong Azure AI Foundry
      • Đánh giá mô hình Phi-3 / Phi-3.5 đã tinh chỉnh trong Azure AI Foundry tập trung vào các nguyên tắc AI Trách nhiệm của Microsoft

• [📓] Mẫu dự đoán ngôn ngữ Phi-3.5-mini-instruct (Trung/Anh) - Phi-3.5-Instruct WebGPU RAG Chatbot - Sử dụng GPU Windows để tạo giải pháp Prompt flow với Phi-3.5-Instruct ONNX - Sử dụng Microsoft Phi-3.5 tflite để tạo ứng dụng Android - Ví dụ Hỏi & Đáp .NET sử dụng mô hình ONNX Phi-3 cục bộ với Microsoft.ML.OnnxRuntime - Ứng dụng chat console .NET với Semantic Kernel và Phi-3

  • Mẫu mã SDK Azure AI Inference

    • Mẫu Phi-4 🆕
      • [📓] Tạo mã dự án bằng Phi-4-multimodal
    • Mẫu Phi-3 / 3.5
      • Tự tạo Visual Studio Code GitHub Copilot Chat với Microsoft Phi-3 Family
      • Tạo Visual Studio Code Chat Copilot Agent của riêng bạn với Phi-3.5 bằng GitHub Models

  • Mẫu suy luận nâng cao

    • Mẫu Phi-4 🆕
      • [📓] Mẫu Suy luận Phi-4-mini

  • Demo

    • Demo Phi-4-mini được lưu trữ trên Hugging Face Spaces
    • Demo Phi-4-multimodal được lưu trữ trên Hugging Face Spaces

  • Mẫu Vision

    • Mẫu Phi-4 🆕
      • [📓] Sử dụng Phi-4-multimodal để đọc hình ảnh và tạo mã
    • Mẫu Phi-3 / 3.5
      • [📓]Phi-3-vision-Image text to text
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Embedding
      • DEMO: Phi-3 Tái chế
      • Phi-3-vision - Trợ lý ngôn ngữ trực quan - với Phi3-Vision và OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Mẫu đa khung hình hoặc đa hình ảnh Phi-3.5 Vision
      • Phi-3 Vision Mô hình ONNX cục bộ sử dụng Microsoft.ML.OnnxRuntime .NET
      • Menu dựa trên Mô hình ONNX cục bộ Phi-3 Vision sử dụng Microsoft.ML.OnnxRuntime .NET

  • Mẫu âm thanh

    • Mẫu Phi-4 🆕
      • [📓] Trích xuất bản chép âm thanh bằng Phi-4-multimodal
      • [📓] Mẫu âm thanh Phi-4-multimodal
      • [📓] Mẫu dịch giọng nói Phi-4-multimodal
      • Ứng dụng console .NET sử dụng Phi-4-multimodal để phân tích tệp âm thanh và tạo bản chép

  • Mẫu MOE

    • Mẫu Phi-3 / 3.5
      • [📓] Mẫu mạng xã hội Mô hình MoE Phi-3.5
      • [📓] Xây dựng Pipeline RAG (Retrieval-Augmented Generation) với NVIDIA NIM Phi-3 MOE, Azure AI Search và LlamaIndex

  • Mẫu gọi hàm

    • Mẫu Phi-4 🆕
      • [📓] Sử dụng Function Calling Với Phi-4-mini

  • Mẫu trộn đa phương thức

    • Mẫu Phi-4 🆕

• [📓] Sử dụng Phi-4-multimodal như một nhà báo công nghệ

  • Ứng dụng .NET console sử dụng Phi-4-multimodal để phân tích hình ảnh

• Tinh chỉnh các mẫu Phi

  • Các kịch bản tinh chỉnh
  • So sánh giữa Tinh chỉnh và RAG
  • Tinh chỉnh để Phi-3 trở thành chuyên gia trong ngành
  • Tinh chỉnh Phi-3 với AI Toolkit trong VS Code
  • Tinh chỉnh Phi-3 với Azure Machine Learning Service
  • Tinh chỉnh Phi-3 với Lora
  • Tinh chỉnh Phi-3 với QLora
  • Tinh chỉnh Phi-3 với Azure AI Foundry
  • Tinh chỉnh Phi-3 với Azure ML CLI/SDK
  • Tinh chỉnh với Microsoft Olive
  • Thực hành tinh chỉnh với Microsoft Olive
  • Tinh chỉnh Phi-3-vision với Weights and Bias
  • Tinh chỉnh Phi-3 với Apple MLX Framework
  • Tinh chỉnh Phi-3-vision (hỗ trợ chính thức)
  • Tinh chỉnh Phi-3 với Kaito AKS, Azure Containers (hỗ trợ chính thức)
  • Tinh chỉnh Phi-3 và 3.5 Vision

• Thực hành

  • Khám phá các mô hình tiên tiến: LLMs, SLMs, phát triển cục bộ và hơn thế nữa
  • Mở khóa tiềm năng NLP: Tinh chỉnh với Microsoft Olive

• Các bài nghiên cứu và ấn phẩm học thuật

  • Textbooks Are All You Need II: báo cáo kỹ thuật phi-1.5
  • Báo cáo kỹ thuật Phi-3: Một mô hình ngôn ngữ mạnh mẽ chạy cục bộ trên điện thoại của bạn
  • Báo cáo kỹ thuật Phi-4
  • Tối ưu hóa các mô hình ngôn ngữ nhỏ cho việc gọi hàm trong xe
  • (WhyPHI) Tinh chỉnh PHI-3 cho trả lời câu hỏi trắc nghiệm: Phương pháp, kết quả và thách thức

Sử dụng các mô hình Phi

Phi trên Azure AI Foundry

Bạn có thể tìm hiểu cách sử dụng Microsoft Phi và xây dựng các giải pháp E2E trên các thiết bị phần cứng khác nhau của mình. Để trải nghiệm Phi, hãy bắt đầu bằng cách thử nghiệm các mô hình và tùy chỉnh Phi theo các kịch bản của bạn bằng Azure AI Foundry Azure AI Model Catalog. Bạn có thể tìm hiểu thêm tại phần Bắt đầu với Azure AI Foundry.

Playground
Mỗi mô hình đều có một playground riêng để thử nghiệm: Azure AI Playground.

Phi trên GitHub Models

Bạn có thể tìm hiểu cách sử dụng Microsoft Phi và xây dựng các giải pháp E2E trên các thiết bị phần cứng khác nhau của mình. Để trải nghiệm Phi, hãy bắt đầu bằng cách thử nghiệm mô hình và tùy chỉnh Phi theo các kịch bản của bạn bằng GitHub Model Catalog. Bạn có thể tìm hiểu thêm tại phần Bắt đầu với GitHub Model Catalog.

Playground
Mỗi mô hình đều có một playground để kiểm tra mô hình.

Phi trên Hugging Face

Bạn cũng có thể tìm thấy mô hình này trên Hugging Face

Playground
Hugging Chat playground

AI có trách nhiệm

Microsoft cam kết hỗ trợ khách hàng sử dụng các sản phẩm AI của chúng tôi một cách có trách nhiệm, chia sẻ những bài học kinh nghiệm và xây dựng mối quan hệ đối tác dựa trên sự tin tưởng thông qua các công cụ như Ghi chú Minh bạch và Đánh giá Tác động. Nhiều tài nguyên này có thể được tìm thấy tại https://aka.ms/RAI.
Cách tiếp cận của Microsoft đối với AI có trách nhiệm được dựa trên các nguyên tắc AI của chúng tôi, bao gồm công bằng, đáng tin cậy và an toàn, quyền riêng tư và bảo mật, tính bao trùm, minh bạch, và trách nhiệm.

Các mô hình ngôn ngữ tự nhiên, hình ảnh và giọng nói quy mô lớn - như những mô hình được sử dụng trong ví dụ này - có thể hành xử theo cách không công bằng, không đáng tin cậy, hoặc gây xúc phạm, dẫn đến những tác hại. Vui lòng tham khảo Ghi chú minh bạch của dịch vụ Azure OpenAI để hiểu rõ về các rủi ro và hạn chế.

Cách tiếp cận được khuyến nghị để giảm thiểu những rủi ro này là tích hợp một hệ thống an toàn trong kiến trúc của bạn, có khả năng phát hiện và ngăn chặn hành vi gây hại. Azure AI Content Safety cung cấp một lớp bảo vệ độc lập, có khả năng phát hiện nội dung gây hại do người dùng hoặc AI tạo ra trong các ứng dụng và dịch vụ. Azure AI Content Safety bao gồm các API văn bản và hình ảnh cho phép bạn phát hiện tài liệu có tính chất gây hại. Trong Azure AI Foundry, dịch vụ Content Safety cho phép bạn xem, khám phá và thử nghiệm mã mẫu để phát hiện nội dung gây hại trên các loại dữ liệu khác nhau. Tài liệu hướng dẫn nhanh sau đây sẽ hướng dẫn bạn cách gửi yêu cầu đến dịch vụ này.

Một khía cạnh khác cần cân nhắc là hiệu suất tổng thể của ứng dụng. Với các ứng dụng đa mô hình và đa phương thức, hiệu suất được hiểu là hệ thống hoạt động như bạn và người dùng mong đợi, bao gồm việc không tạo ra các đầu ra có hại. Điều quan trọng là đánh giá hiệu suất của ứng dụng tổng thể bằng cách sử dụng các bộ đánh giá Hiệu suất và Chất lượng cũng như Rủi ro và An toàn. Bạn cũng có thể tạo và đánh giá với các bộ đánh giá tùy chỉnh.

Bạn có thể đánh giá ứng dụng AI của mình trong môi trường phát triển bằng cách sử dụng Azure AI Evaluation SDK. Với tập dữ liệu kiểm tra hoặc mục tiêu, các đầu ra từ ứng dụng AI tạo sinh của bạn sẽ được đo lường định lượng bằng các bộ đánh giá tích hợp hoặc tùy chỉnh theo lựa chọn của bạn. Để bắt đầu với Azure AI Evaluation SDK để đánh giá hệ thống của bạn, bạn có thể tham khảo hướng dẫn nhanh. Sau khi thực hiện một lần chạy đánh giá, bạn có thể hình dung kết quả trong Azure AI Foundry.

Thương hiệu

Dự án này có thể chứa các thương hiệu hoặc logo cho các dự án, sản phẩm, hoặc dịch vụ. Việc sử dụng hợp pháp các thương hiệu hoặc logo của Microsoft phải tuân thủ và phù hợp với Hướng dẫn về Thương hiệu & Nhãn hiệu của Microsoft.
Việc sử dụng thương hiệu hoặc logo của Microsoft trong các phiên bản đã chỉnh sửa của dự án này không được gây nhầm lẫn hoặc ngụ ý rằng Microsoft tài trợ cho dự án. Bất kỳ việc sử dụng thương hiệu hoặc logo của bên thứ ba nào đều phải tuân theo chính sách của bên thứ ba đó.

Tuyên bố miễn trừ trách nhiệm:
Tài liệu này đã được dịch bằng các dịch vụ dịch thuật AI tự động. Mặc dù chúng tôi cố gắng đảm bảo độ chính xác, xin lưu ý rằng các bản dịch tự động có thể chứa lỗi hoặc không chính xác. Tài liệu gốc bằng ngôn ngữ ban đầu nên được coi là nguồn thông tin chính thức. Đối với các thông tin quan trọng, chúng tôi khuyến nghị sử dụng dịch thuật chuyên nghiệp từ con người. Chúng tôi không chịu trách nhiệm cho bất kỳ sự hiểu lầm hoặc diễn giải sai nào phát sinh từ việc sử dụng bản dịch này.