examples/raw_audio_example.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import openai\n",
    "from example_config import SECRET_KEY\n",
    "openai.api_key = SECRET_KEY"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from knowledgegpt.extractors.audio_to_text_extractor import AudioToTextExtractor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = \"audio.mp3\"\n",
    "query = \"Basketbolda gelmis gecmis en iyi oyuncu kim?\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "extract_from_audio = AudioToTextExtractor(audio_path=url, model_lang=\"tr\", is_turbo=True, embedding_extractor=\"hf\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Transcribing audio...\n",
      "Computing embeddings...\n",
      "model_lang tr\n",
      "Selected 43 document sections:\n",
      "38\n",
      "61\n",
      "115\n",
      "66\n",
      "29\n",
      "88\n",
      "30\n",
      "24\n",
      "126\n",
      "28\n",
      "121\n",
      "69\n",
      "104\n",
      "40\n",
      "82\n",
      "123\n",
      "33\n",
      "119\n",
      "142\n",
      "127\n",
      "124\n",
      "130\n",
      "89\n",
      "77\n",
      "95\n",
      "25\n",
      "14\n",
      "46\n",
      "0\n",
      "141\n",
      "11\n",
      "8\n",
      "144\n",
      "98\n",
      "59\n",
      "73\n",
      "102\n",
      "85\n",
      "145\n",
      "62\n",
      "103\n",
      "79\n",
      "80\n",
      "Cümleyi doğru bir şekilde cevaplayın ve cevap metin içinde yoksa \"bilmiyorum\" diyin.\n",
      "\n",
      "Metin:\n",
      "\n",
      "* Yani şimdi NBA tarihinin gelmiş geçmiş en iyi oyun kurucusu 13 sezon 12 kez All-Star, 4 kez asist kralı, 2 kez top çalma kralı, 3 kez MVP, 2 kez de ikinci oldu, 3 kez de final MVP'si.\n",
      "* 3 kez şampiyonluk, 2 kez final MVP'si, 3 kez lig MVP'si, 9 kez NBA'in en iyi 5'i, 4 kez de MVP ikincisi.\n",
      "* O zaman basketbol çok daha farklı oynanıyordu.\n",
      "* Bence gelmiş geçmiş en iyi beyaz oyuncu.\n",
      "* 2 kez de NBA'in en iyi savunma beşine çünkü o pozisyonu genelde Bill Russell alabiliyordu.\n",
      "* Şimdi LeBron James'i içeride diyecek ki LeBron hiç öyle bir uzunluğa oynamadı.\n",
      "* Resmi olmasa da quintel double yapan tek oyuncu ve o quintel double maçının scout'unu tutan arkadaş Harvey Pollack da ölene kadar NBA'i scouting ve statistics sisteminin danışmanıydı.\n",
      "* 2 NBA şampiyonluğu, 1 kez final MVP'si, 4 kez lig MVP'si, 2 kez ikinci bitirdi.\n",
      "* Yani daha NBA izini çıkmadan.\n",
      "* 7 kez NBA'in en iyi beşine seçildi.\n",
      "* 10 kez NBA'in en iyi 5'i.\n",
      "* 1 numara beni izleyenler zaten tahmin ediyor ama 3 numaraya, yani LeBron James'in ben şey huyunun ona çok puan kaybettirdiğini düşünüyorum.\n",
      "* 6 finalinde MVP'si oldu.\n",
      "* 5 NBA şampiyonluğu 9 kez de NBA'nin en iyi 5'i.\n",
      "* LeBron James 4 kez final MVP'si oldu.\n",
      "* 10 kez sayı kralı oldu.\n",
      "* 59 sayı, 32 rebound, 14 asist, 24 blok ve 11 top çalma ve biz onu 6.'ya koyuyoruz.\n",
      "* Ya Jordan sakatlanırsa ne olacak bu NBA'in hali diye.\n",
      "* 28 playoff maçında Luca Doncic.\n",
      "* 1988 yılında MVP yılın savunmacısı ve sayı kralı oldu.\n",
      "* 6 NBA, 1 NCAA şampiyonluğu var, 2 de altın madalyası.\n",
      "* Genel şık yüzdesi 5.5 rebound, 5.9 asist, 3.2 top çalma.\n",
      "* Tamam Anthony Davis güzel hoş da.\n",
      "* Ondan ben LeBron'u 3.ye koyacağım.\n",
      "* Ve o 2 şampiyonlukta da final MVP'si oldu.\n",
      "* 7 kez sayı kralı, 11 kez rebound kralı ve 1 kez de asist kralı.\n",
      "* LeBron James ve Kobe Bryant, Michael Jordan, Magic Johnson, Larry Bird ve Wild Chamberlain.\n",
      "* James Worthy.\n",
      "* Merhaba sevgili NBA severler, yeni kanalımıza hoş geldiniz NBA Digitale.\n",
      "* 179 playoff maçında bu ortalamayı tutturmuş Michael Jordan.\n",
      "* Ve hücumda hakikaten The Goat Of All Time olmayı çok da hak etmiyordu ama reboundlarda, savunmada, takım oyununda muhteşemdi.\n",
      "* Bill Russell, Aki Malajuan, Jerry West, Elgin Baylor, Oscar Robertson, Hondo Pavlocek.\n",
      "* LeBron'ın 28.7 playoff ortalaması, Kobe'nin 25.6 playoff ortalaması.\n",
      "* Tabii ki birinci sırada Michael Jordan var.\n",
      "* 12 kez All-Star seçildi.\n",
      "* Yaşlanmış tecrübeli bir yıldızın buyout'unu başka bir takım kullanıyor, onu serbest bırakıyor.\n",
      "* Michael Jordan 6 kez final oynadı.\n",
      "* Kobe Bryant, Şak'ın Moses Malone gibi olduğu dönemde oynuyordu.\n",
      "* Şu an izninizle The Goat, Michael Jordan.\n",
      "* Yani çok rahat 7 olabilirdi ama bakın kimler geçti onu? Julius Irving, Dr.\n",
      "* 6 finali de kazandı.\n",
      "* Kobe'ye de vefatından dolayı bir sempati de değil ama şimdi LeBron 18 kez All Star oldu, Kobe de 18 kez All Star oldu.\n",
      "* LeBron 4 kez MVP oldu, Kobe sadece 1 kez MVP oldu.\n",
      "\n",
      " Q: Basketbolda gelmis gecmis en iyi oyuncu kim?\n",
      " A:\n",
      "all_done!\n"
     ]
    }
   ],
   "source": [
    "answer, prompts, messages = extract_from_audio.extract(query=query, max_tokens=1300)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Cevap metin içinde yok, \"bilmiyorum\" diyorum.'"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "answer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Neden bilmiyorsun, oldukça fazla ınput verdim. En azından hangi oyuncular hangi yönleriyle ön plana çıkıyor anlatır mısın? Tartışmanın merkezindeki oyuncular kimler?\n",
      "all_done!\n"
     ]
    }
   ],
   "source": [
    "answer, prompts, messages = extract_from_audio.extract(query=\"Neden bilmiyorsun, oldukça fazla ınput verdim. En azından hangi oyuncular hangi yönleriyle ön plana çıkıyor anlatır mısın? Tartışmanın merkezindeki oyuncular kimler?\", max_tokens=800)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "\"Metinde birçok oyuncu ve onların başarılarından bahsedilmiş olsa da, tartışmanın merkezindeki oyuncular Michael Jordan, LeBron James ve Kobe Bryant'dır. Bu üç oyuncu, basketbol tarihinde en çok tartışılan ve en çok hayran kitlesine sahip olan oyunculardır. Metinde bu oyuncuların kariyerleri, başarıları ve istatistikleri hakkında birçok bilgi verilmiştir. Örneğin, Michael Jordan 6 kez NBA şampiyonluğu kazanmış, 5 kez NBA MVP'si seçilmiş ve 10 kez NBA'nin en iyi 5 oyuncusu seçilmiştir. LeBron James ise 4 kez NBA şampiyonluğu kazanmış, 4 kez NBA MVP'si seçilmiş ve 17 kez All-Star seçilmiştir. Kobe Bryant ise 5 kez NBA şampiyonluğu kazanmış, 1 kez NBA MVP'si seçilmiş ve 18 kez All-Star seçilmiştir.\""
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "answer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'role': 'system', 'content': 'you are a helpful assistant'},\n",
       " {'role': 'user',\n",
       "  'content': 'Cümleyi doğru bir şekilde cevaplayın ve cevap metin içinde yoksa \"bilmiyorum\" diyin.\\n\\nMetin:\\n\\n* Yani şimdi NBA tarihinin gelmiş geçmiş en iyi oyun kurucusu 13 sezon 12 kez All-Star, 4 kez asist kralı, 2 kez top çalma kralı, 3 kez MVP, 2 kez de ikinci oldu, 3 kez de final MVP\\'si.\\n* 3 kez şampiyonluk, 2 kez final MVP\\'si, 3 kez lig MVP\\'si, 9 kez NBA\\'in en iyi 5\\'i, 4 kez de MVP ikincisi.\\n* O zaman basketbol çok daha farklı oynanıyordu.\\n* Bence gelmiş geçmiş en iyi beyaz oyuncu.\\n* 2 kez de NBA\\'in en iyi savunma beşine çünkü o pozisyonu genelde Bill Russell alabiliyordu.\\n* Şimdi LeBron James\\'i içeride diyecek ki LeBron hiç öyle bir uzunluğa oynamadı.\\n* Resmi olmasa da quintel double yapan tek oyuncu ve o quintel double maçının scout\\'unu tutan arkadaş Harvey Pollack da ölene kadar NBA\\'i scouting ve statistics sisteminin danışmanıydı.\\n* 2 NBA şampiyonluğu, 1 kez final MVP\\'si, 4 kez lig MVP\\'si, 2 kez ikinci bitirdi.\\n* Yani daha NBA izini çıkmadan.\\n* 7 kez NBA\\'in en iyi beşine seçildi.\\n* 10 kez NBA\\'in en iyi 5\\'i.\\n* 1 numara beni izleyenler zaten tahmin ediyor ama 3 numaraya, yani LeBron James\\'in ben şey huyunun ona çok puan kaybettirdiğini düşünüyorum.\\n* 6 finalinde MVP\\'si oldu.\\n* 5 NBA şampiyonluğu 9 kez de NBA\\'nin en iyi 5\\'i.\\n* LeBron James 4 kez final MVP\\'si oldu.\\n* 10 kez sayı kralı oldu.\\n* 59 sayı, 32 rebound, 14 asist, 24 blok ve 11 top çalma ve biz onu 6.\\'ya koyuyoruz.\\n* Ya Jordan sakatlanırsa ne olacak bu NBA\\'in hali diye.\\n* 28 playoff maçında Luca Doncic.\\n* 1988 yılında MVP yılın savunmacısı ve sayı kralı oldu.\\n* 6 NBA, 1 NCAA şampiyonluğu var, 2 de altın madalyası.\\n* Genel şık yüzdesi 5.5 rebound, 5.9 asist, 3.2 top çalma.\\n* Tamam Anthony Davis güzel hoş da.\\n* Ondan ben LeBron\\'u 3.ye koyacağım.\\n* Ve o 2 şampiyonlukta da final MVP\\'si oldu.\\n* 7 kez sayı kralı, 11 kez rebound kralı ve 1 kez de asist kralı.\\n* LeBron James ve Kobe Bryant, Michael Jordan, Magic Johnson, Larry Bird ve Wild Chamberlain.\\n* James Worthy.\\n* Merhaba sevgili NBA severler, yeni kanalımıza hoş geldiniz NBA Digitale.\\n* 179 playoff maçında bu ortalamayı tutturmuş Michael Jordan.\\n* Ve hücumda hakikaten The Goat Of All Time olmayı çok da hak etmiyordu ama reboundlarda, savunmada, takım oyununda muhteşemdi.\\n* Bill Russell, Aki Malajuan, Jerry West, Elgin Baylor, Oscar Robertson, Hondo Pavlocek.\\n* LeBron\\'ın 28.7 playoff ortalaması, Kobe\\'nin 25.6 playoff ortalaması.\\n* Tabii ki birinci sırada Michael Jordan var.\\n* 12 kez All-Star seçildi.\\n* Yaşlanmış tecrübeli bir yıldızın buyout\\'unu başka bir takım kullanıyor, onu serbest bırakıyor.\\n* Michael Jordan 6 kez final oynadı.\\n* Kobe Bryant, Şak\\'ın Moses Malone gibi olduğu dönemde oynuyordu.\\n* Şu an izninizle The Goat, Michael Jordan.\\n* Yani çok rahat 7 olabilirdi ama bakın kimler geçti onu? Julius Irving, Dr.\\n* 6 finali de kazandı.\\n* Kobe\\'ye de vefatından dolayı bir sempati de değil ama şimdi LeBron 18 kez All Star oldu, Kobe de 18 kez All Star oldu.\\n* LeBron 4 kez MVP oldu, Kobe sadece 1 kez MVP oldu.\\n\\n Q: Basketbolda gelmis gecmis en iyi oyuncu kim?\\n A:'},\n",
       " {'role': 'assistant',\n",
       "  'content': 'Cevap metin içinde yok, \"bilmiyorum\" diyorum.'},\n",
       " {'role': 'user',\n",
       "  'content': 'Neden bilmiyorsun, oldukça fazla ınput verdim. En azından hangi oyuncular hangi yönleriyle ön plana çıkıyor anlatır mısın? Tartışmanın merkezindeki oyuncular kimler?'},\n",
       " {'role': 'assistant',\n",
       "  'content': \"Metinde birçok oyuncu ve onların başarılarından bahsedilmiş olsa da, tartışmanın merkezindeki oyuncular Michael Jordan, LeBron James ve Kobe Bryant'dır. Bu üç oyuncu, basketbol tarihinde en çok tartışılan ve en çok hayran kitlesine sahip olan oyunculardır. Metinde bu oyuncuların kariyerleri, başarıları ve istatistikleri hakkında birçok bilgi verilmiştir. Örneğin, Michael Jordan 6 kez NBA şampiyonluğu kazanmış, 5 kez NBA MVP'si seçilmiş ve 10 kez NBA'nin en iyi 5 oyuncusu seçilmiştir. LeBron James ise 4 kez NBA şampiyonluğu kazanmış, 4 kez NBA MVP'si seçilmiş ve 17 kez All-Star seçilmiştir. Kobe Bryant ise 5 kez NBA şampiyonluğu kazanmış, 1 kez NBA MVP'si seçilmiş ve 18 kez All-Star seçilmiştir.\"}]"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "messages"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "knowledgegpt-env",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.16"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}