Chap_4_1stemming_lemmatizer.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Chap4.1stemming_lemmatizer.ipynb",
      "provenance": [],
      "authorship_tag": "ABX9TyPfBLkl/IK19SyWHO3YPRTx",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/raqueeb/nlp_bangla/blob/master/Chap4_1stemming_lemmatizer.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6F_sygcbH6fa"
      },
      "source": [
        "## বাংলায় স্টেমিং এবং লেমাটাইজেশন\r\n",
        "\r\n",
        "আমি আবারও আপনাদেরকে অনুরোধ করবো, এই স্টেমিং এবং লেমাটাইজেশন এর মতো 'প্রি-প্রসেসিং' স্টেপ নিয়ে বেশি মাথা না ঘামাতে। আমাদের ট্রান্সফর্মার উদাহরণে দেখবেন, এই ধরনের 'প্রি-প্রসেসিং' পুরো মডেলের অ্যাক্যুরেসি অতোটা দেবে না, বরং এগুলো ছাড়া পুরো টেক্সটের 'কনটেক্সট' মডেলে দেয়া সম্ভব না। আমি বরং 'আন-ফিল্টারড' - যা আছে তাই দিতে চাইবো ট্রান্সফরমার মডেলে। যতো ডাটা ততো মিষ্টি। এতো এতো ডাটাই আমাদের এই কাজগুলোকে বাহুল্য করে তুলবে। এটাই পার্থক্য মেশিন লার্নিং এর সাথে ডিপ লার্নিংয়ের। আগে মেশিন লার্নিংয়ে 'হ্যান্ড ক্রাফটেড ফিচার ইঞ্জিনিয়ারিং' শিখিয়েছি শুরুর বইয়ে। সেদিক থেকে - ডিপ লার্নিং এ এতো এতো ডাটা থেকে সে ফিচারগুলো অর্থাৎ কনটেক্সট বুঝে নেবে। আমি ভুল বলছি কিনা বলুন?\r\n",
        "\r\n",
        "## হাজারো টেক্সট ক্লিনিং টুল\r\n",
        "\r\n",
        "মনে আছে আপনাদের? বিশেষ করে হাতেকলমে পাইথন ডিপ লার্নিং বইয়ে সেন্টিমেন্ট অ্যানালাইসিস করতে গিয়ে 'ওয়ার্ডটুভেক', এবং ফেসবুকের 'ফাস্টটেক্সট' ট্রেনিং করতে গিয়ে হাজারো টেক্সট ক্লিনিং টুল ব্যবহার করছিলাম। স্টপওয়ার্ড ফেলে দেয়া, টোকেনাইজ করা, যতিচিহ্ন ফেলে দেয়া, ইত্যাদি ইত্যাদি। 'স্টেমিং' এবং 'লেমেটাইজেশন' আছে এর মধ্যে। সামনে এনএলপি সুনামি আসছে - অর্থাৎ বিশাল বিশাল ডাটাই এই সব করে দেবে। সেটা নিয়ে আলাপ করবো 'ট্রান্সফরমার' চ্যাপ্টারে। তবে সেখানে যাওয়ার আগে এগুলো দেখতে ক্ষতি নেই। স্টেমিং এর কাজ কী?\r\n",
        "\r\n",
        "## স্টেমিং এর উদাহরণ\r\n",
        "\r\n",
        "প্রতিটা শব্দের একটা মূল অর্শথাৎ 'রুট' শব্দ থাকে। সেটার আসেপাশে অক্ষর লাগিয়ে আমরা অনেককিছু বানিয়ে ফেলি। উদাহরণ দেখি কয়েকটা। অনেকগুলো টুল আছে পাইথনে। 'ইনস্টল' করে দেখি আসলে কী কাজ করে তারা। হাতেকলমে। শুরুতে এই কাজগুলো আমরা ব্যবহার করতাম স্পেলিং চেকারের পেছনে। তাও অনেকদিন আগের কথা।\r\n",
        "\r\n",
        "তবে, এটা ঠিক এগুলো নিয়ে প্রচুর কাজ হয়েছে গত দশকে। \r\n",
        "\r\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "AW8Velfmzt_V",
        "outputId": "51b25a29-7afa-4efe-d19b-337165d9fa84"
      },
      "source": [
        "!pip install bangla-stemmer"
      ],
      "execution_count": 5,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting bangla-stemmer\n",
            "  Downloading https://files.pythonhosted.org/packages/bangla_stemmer-1.0-py3-none-any.whl\n",
            "Successfully installed bangla-stemmer-1.0\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "GY89F8-G045f",
        "outputId": "2ed92d2e-32db-4db4-82fa-b9562391711a"
      },
      "source": [
        "from bangla_stemmer.stemmer import stemmer\r\n",
        "wordlist = ['বাড়িতে', 'আমাকে', 'নামাবার']\r\n",
        "stmr = stemmer.BanglaStemmer()\r\n",
        "stm = stmr.stem(wordlist)\r\n",
        "print(stm)"
      ],
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "applied first rules..\n",
            "applied first rules..\n",
            "applied fourth rules..\n",
            "['বাড়ি', 'আমা', 'নামা']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_KwKaG0_UFPb"
      },
      "source": [
        "## আরেকটা স্টেমার\r\n",
        "\r\n",
        "এরকম অনেকগুলো অ্যাপ্লিকেশন পাবেন পাইথনহোস্টে।"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "hJqEPanPBgSe",
        "outputId": "c044bccf-7ca3-452e-f6a2-86de70092fbe"
      },
      "source": [
        "!pip install py_bangla_stemmer"
      ],
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting py_bangla_stemmer\n",
            "  Downloading https://files.pythonhosted.org/packages/py-bangla-stemmer-0.5.1.tar.gz\n",
            "Successfully installed py-bangla-stemmer-0.5.1\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "id": "sAaFJHpKBisR",
        "outputId": "ba5d1bb1-0998-49ae-d469-3c6303f30a93"
      },
      "source": [
        "from py_bangla_stemmer import BanglaStemmer\r\n",
        "\r\n",
        "stemmer = BanglaStemmer()\r\n",
        "stemmer.stem(' সেটাই')"
      ],
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            },
            "text/plain": [
              "'সে'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 20
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "id": "l59mXYHeBojT",
        "outputId": "0e4440db-e230-4953-b041-b8f1580b3477"
      },
      "source": [
        "stemmer.stem('জনপ্রিয়তা')"
      ],
      "execution_count": 21,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            },
            "text/plain": [
              "'জনপ্রি'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 21
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 35
        },
        "id": "VHBwkM3GSgIq",
        "outputId": "7cd6e608-a24a-4097-eef6-dd93365b963e"
      },
      "source": [
        "stemmer.stem('বাংলায়')"
      ],
      "execution_count": 22,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            },
            "text/plain": [
              "'বাংলা'"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 22
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Y9EGoGQQUg8e"
      },
      "source": [
        "## বাংলায় লেমেটাইজেশন\r\n",
        "\r\n",
        "নিচের কয়েকটা উদাহরণ দেখুন। একই শব্দ, 'কনটেক্সট' অর্থাৎ অর্থ পাল্টাচ্ছে অন্য শব্দের সাথে। উদাহরণের কিছু সাহায্য নিয়েছি 'এ নিউরাল লেমাটাইজার ফর বেঙ্গলি' পেপারটা থেকে।\r\n",
        "\r\n",
        "| শব্দ | কনটেক্সট                                                        | লেমাটাইজেশন                                       |\r\n",
        "|-----|----------------------------------------------------------------|---------------------------------------------------|\r\n",
        "| তার | ১. এদিক দিয়ে ইলেকট্রিক তার গিয়েছে। ২. এটা তার বই।               | ১.তার, wire; ২. তাহার (আরেকজনের)                        |\r\n",
        "| কর  | ১. তোমার কাজ কর। ২. তব কর পল্লব। ৩. তোমার আয়ের কর কতো দিতে হলো? | ১. করা, একটা কাজ করা ২. করজোড়ে, করপুট, হাত ৩. আয়কর |\r\n",
        "| কমল | ১. কাটা হেরি ক্ষান্ত কেন কমল তুলিতে। ২. খাবারের দাম কমল।          | ১. পদ্ম, ফুল ২. কমে যাওয়া                           |"
      ]
    }
  ]
}