0103-wordcloud-klue-re-pecab-input.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "1kpwaWyzo1Yr"
   },
   "source": [
    "🌱 인프런 📚 모두의 한국어 텍스트 분석과 자연어처리 with 파이썬 🐍 https://inf.run/FX4TP\n",
    "\n",
    "\n",
    "[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/corazzon/python-text-analysis/blob/main/0103-wordcloud-klue-re-pecab-input.ipynb)\n",
    "\n",
    "\n",
    "## 라이브러리 로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 355,
     "status": "ok",
     "timestamp": 1695271559331,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "7jEmmKL0o1Ys"
   },
   "outputs": [],
   "source": [
    "# 필요 라이브러리를 로드합니다.\n",
    "import pandas as pd\n",
    "import numpy as np\n",
    "import seaborn as sns\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "3MzjjX3ho1Ys"
   },
   "source": [
    "## 데이터 로드\n",
    "* [KLUE Benchmark](https://klue-benchmark.com/)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 5409,
     "status": "ok",
     "timestamp": 1695271566048,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "KcQPUnbffUI2",
    "outputId": "d92097d1-a035-4d18-9dca-bb46aea09a75"
   },
   "outputs": [],
   "source": [
    "# read_json 으로 url 데이터 불러오기\n",
    "url = \"https://raw.githubusercontent.com/KLUE-benchmark/KLUE/main/klue_benchmark/ynat-v1.1/ynat-v1.1_train.json\"\n",
    "# df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 1000
    },
    "executionInfo": {
     "elapsed": 349,
     "status": "ok",
     "timestamp": 1695271568453,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "watneInTfUI3",
    "outputId": "13bdf723-77cf-40c4-fba9-30dc071f3665"
   },
   "outputs": [],
   "source": [
    "# head\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 53
    },
    "executionInfo": {
     "elapsed": 389,
     "status": "ok",
     "timestamp": 1695271573422,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "180tH-aefUI3",
    "outputId": "fd2fa040-db62-4ce5-eab8-d61480e5b970"
   },
   "outputs": [],
   "source": [
    "# duplicated 로 중복데이터가 있는지 확인합니다.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 743,
     "status": "ok",
     "timestamp": 1695271577548,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "YXAtNDKco1Yv",
    "outputId": "50d8f3da-4837-4d03-bbb6-c3ab92f1e428",
    "scrolled": false
   },
   "outputs": [],
   "source": [
    "# 결측치를 확인합니다.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 텍스트 길이 분석"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 단어 길이 \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 토큰 개수\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "RXCQLJKGo1Y3"
   },
   "source": [
    "## 워드클라우드 시각화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 275
    },
    "executionInfo": {
     "elapsed": 3503,
     "status": "ok",
     "timestamp": 1695271582242,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "5nVg77PDfUI4",
    "outputId": "55e1bca2-cce8-418b-c237-8eabffd27289"
   },
   "outputs": [],
   "source": [
    "# 텍스트 하나로 만들기\n",
    "# news_title"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 공식문서의 튜토리얼을 보고 wordcloud를 그리는 함수를 만들어 봅니다.\n",
    "# 이때 폰트 설정시 폰트명이 아닌 폰트의 설치 경로를 입력해 주셔야 합니다.\n",
    "# 윈도우 : r\"C:\\Windows\\Fonts\\malgun.ttf\" 해당 경로에 폰트가 있는지 확인을 해주세요.\n",
    "# 맥 : r\"/Library/Fonts/AppleGothic.ttf\"\n",
    "# 나눔고딕 등의 폰트를 설치했다면 : '/Library/Fonts/NanumBarunGothic.ttf'\n",
    "\n",
    "# !apt -qq -y install fonts-nanum\n",
    "\n",
    "import platform\n",
    "\n",
    "# 운영체제에 따른 한글 폰트 경로 설정\n",
    "if platform.system() == 'Windows':\n",
    "    # Windows 운영체제의 경우\n",
    "    font_path = r'C:\\Windows\\Fonts\\malgun.ttf'\n",
    "elif platform.system() == 'Darwin':\n",
    "    # macOS의 경우\n",
    "    font_path = r'/Library/Fonts/AppleGothic.ttf'\n",
    "else:\n",
    "    # Linux 또는 기타 운영체제의 경우 (예: 'NanumBarunGothic')\n",
    "    font_path = r'/usr/share/fonts/truetype/nanum/NanumBarunGothic.ttf'"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 불용어 처리 시 의미가 왜곡되지 않도록 주의가 필요"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 2248,
     "status": "ok",
     "timestamp": 1695271586406,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "XLvHkfU6fUI4",
    "outputId": "78160c5a-2082-456d-bd3f-233d02c1c24f"
   },
   "outputs": [],
   "source": [
    "from wordcloud import WordCloud\n",
    "\n",
    "stopwords = ['하지만', '그리고', '그런데', '저는','제가',\n",
    "             '그럼', '이런', '저런', '합니다',\n",
    "             '많은', '많이', '정말', '너무', '수', '등', '것']\n",
    "\n",
    "# def display_word_cloud(data, width=1200, height=500):\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 402
    },
    "executionInfo": {
     "elapsed": 7525,
     "status": "ok",
     "timestamp": 1695271597293,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "QKrkc55cp7ES",
    "outputId": "e88577f2-58da-4661-9c36-1ba2f6bd3b93"
   },
   "outputs": [],
   "source": [
    "# display_word_cloud(news_title)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "rtKchVhCfUI4"
   },
   "source": [
    "## 정규표현식으로 전처리"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 309,
     "status": "ok",
     "timestamp": 1695272087690,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "WvgfJ7vmo1Y3"
   },
   "outputs": [],
   "source": [
    "# 숫자 제거하기 [0-9], \\d\n",
    "# 문자만 남기기 [^ㄱ-ㅎㅏ-ㅣ가-힣 a-zA-Z]\n",
    "# df[\"title\"]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "TmiWIjO4fUI5"
   },
   "source": [
    "## 정규표현식 전처리 후 워드클라우드 시각화"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 402
    },
    "executionInfo": {
     "elapsed": 7962,
     "status": "ok",
     "timestamp": 1695272099626,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "v_CSXIzqfUI5",
    "outputId": "4100d1b5-40d7-437a-f921-6c6f7bdd131e"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "SuLl7tn9fUI5"
   },
   "source": [
    "## 형태소 분석기로 특정 품사만 추출하기\n",
    "\n",
    "* [hyunwoongko/pecab: Pecab: Pure python Korean morpheme analyzer based on Mecab](https://github.com/hyunwoongko/pecab)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "lMpNB0ehfUI5"
   },
   "outputs": [],
   "source": [
    "# !pip install pecab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "executionInfo": {
     "elapsed": 453,
     "status": "ok",
     "timestamp": 1695273154499,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "181v0LBcJyFs",
    "outputId": "7769ef18-ac52-4937-ac82-acd44322590d"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "executionInfo": {
     "elapsed": 1776,
     "status": "ok",
     "timestamp": 1695273221170,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "hNXv9oYlfUI5"
   },
   "outputs": [],
   "source": [
    "# 명사추출하기\n",
    "# df['title_nouns']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/",
     "height": 402
    },
    "executionInfo": {
     "elapsed": 4419,
     "status": "ok",
     "timestamp": 1695273468758,
     "user": {
      "displayName": "Joeun Park",
      "userId": "17163383815352082166"
     },
     "user_tz": -540
    },
    "id": "n-LvUnTCfUI5",
    "outputId": "8c94cf25-7d82-44ec-a98e-5d854a17a102"
   },
   "outputs": [],
   "source": [
    "# display_word_cloud(\" \".join(df['title_nouns']))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 워드클라우드 마스크처리\n",
    "\n",
    "* https://github.com/amueller/word_cloud/blob/main/examples/masked.py"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 마스크 이미지 다운로드"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Cl39E_Y9Hk8N"
   },
   "outputs": [],
   "source": [
    "import requests\n",
    "from PIL import Image\n",
    "\n",
    "# read the mask image\n",
    "# taken from\n",
    "# http://www.stencilry.org/stencils/movies/alice%20in%20wonderland/255fk.jpg\n",
    "mask_img_path = \"https://raw.githubusercontent.com/amueller/word_cloud/main/examples/alice_mask.png\"\n",
    "\n",
    "# 이미지 데이터를 받아옵니다\n",
    "response = requests.get(mask_img_path)\n",
    "\n",
    "# HTTP 요청이 성공했는지 확인합니다\n",
    "if response.status_code == 200:\n",
    "    # 응답으로 받은 데이터를 파일로 저장합니다\n",
    "    with open(\"alice_mask.png\", \"wb\") as file:\n",
    "        file.write(response.content)\n",
    "\n",
    "mask_img = np.array(Image.open(\"alice_mask.png\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 마스크 적용"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "id": "Cl39E_Y9Hk8N"
   },
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "colab": {
   "provenance": [
    {
     "file_id": "1-MwwinwnCWs-jNLNb-zgSamCblHGyyFf",
     "timestamp": 1695262013423
    }
   ]
  },
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "255.998px"
   },
   "toc_section_display": false,
   "toc_window_display": true
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}