Donosimo Guidance na serverless endpoint ponudu Phi-3.5-mini u okviru Azure AI Foundry, omogućavajući predvidivije rezultate kroz definisanje strukture prilagođene aplikaciji. Sa Guidance-om, možete eliminisati skupe ponovne pokušaje i, na primer, ograničiti model da bira iz unapred definisanih lista (npr. medicinski kodovi), ograničiti izlaze na direktne citate iz pruženog konteksta ili pratiti bilo koji regex. Guidance vodi model token po token u inference steku, smanjujući troškove i latenciju za 30-50%, što ga čini jedinstvenim i vrednim dodatkom za Phi-3-mini serverless endpoint.
Guidance-AI je okvir dizajniran da pomogne programerima u kreiranju i implementaciji AI modela na efikasan način. Fokusira se na pružanje alata i najboljih praksi za izgradnju robusnih AI aplikacija.
Kombinovanjem sa Phi modeli kao usluga (MaaS), pruža moćno rešenje za implementaciju malih jezičkih modela (SLMs) koji su i ekonomični i visokih performansi.
Guidance-AI je programski okvir osmišljen da pomogne programerima da bolje kontrolišu i usmeravaju velike jezičke modele (LLMs). Omogućava precizno strukturiranje izlaza, smanjujući latenciju i troškove u poređenju sa tradicionalnim metodama promptinga ili finog podešavanja.
- Efikasna kontrola: Omogućava programerima da kontrolišu kako jezički model generiše tekst, osiguravajući visok kvalitet i relevantne rezultate.
- Smanjenje troškova i latencije: Optimizuje proces generisanja da bude ekonomičniji i brži.
- Fleksibilna integracija: Radi sa različitim backend-ovima, uključujući Transformers, llama.cpp, AzureAI, VertexAI i OpenAI.
- Bogate strukture izlaza: Podržava složene strukture izlaza poput uslovnih izraza, petlji i upotrebe alata, olakšavajući generisanje jasnih i lako čitljivih rezultata.
- Kompatibilnost: Omogućava da jedan Guidance program bude izvršen na više backend-ova, povećavajući fleksibilnost i jednostavnost korišćenja.
- Ograničeno generisanje: Korišćenje regularnih izraza i gramatika bez konteksta za vođenje izlaza modela.
- Integracija alata: Automatsko kombinovanje kontrole i generisanja, kao što je korišćenje kalkulatora unutar zadatka generisanja teksta.
Za više detaljnih informacija i primera, možete pogledati Guidance-AI GitHub repozitorijum.
- Ekonomičnost: Dizajnirani da budu pristupačni, a da zadrže visoke performanse.
- Niska latencija: Idealni za aplikacije u realnom vremenu koje zahtevaju brze odgovore.
- Fleksibilnost: Mogu se implementirati u različitim okruženjima, uključujući cloud, edge i offline scenarije.
- Prilagodljivost: Modeli se mogu fino podesiti sa podacima specifičnim za određenu oblast kako bi se poboljšale performanse.
- Sigurnost i usklađenost: Izgrađeni prema principima AI kompanije Microsoft, osiguravajući odgovornost, transparentnost, pravičnost, pouzdanost, bezbednost, privatnost i inkluzivnost.
Phi modeli su dostupni kroz sistem naplate po potrošnji putem inference API-ja, što omogućava jednostavnu integraciju u vaše aplikacije bez značajnih početnih troškova.
Da biste započeli sa Phi modelima, možete istražiti Azure AI katalog modela ili GitHub Marketplace Models, koji nudi unapred izrađene i prilagodljive modele. Pored toga, možete koristiti alate kao što je Azure AI Foundry za razvoj i implementaciju vaših AI aplikacija.
Primer Notebook-a za početak rada sa Guidance
Одрицање од одговорности:
Овај документ је преведен помоћу услуга машинског превођења које користе вештачку интелигенцију. Иако настојимо да обезбедимо тачност, имајте у виду да аутоматски преводи могу садржати грешке или нетачности. Оригинални документ на изворном језику треба сматрати ауторитативним извором. За критичне информације препоручује се професионални превод од стране људи. Не сносимо одговорност за било какве неспоразуме или погрешна тумачења која могу настати услед коришћења овог превода.