Scrap+data+from+boring+INSEE+website.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Looking for revenu information by arrondissemnt using boring INSEE website\n",
    "\n",
    "Challenge: We would like to collect \"Médiane du revenu disponible par unité de consommation\" by arrondissement of paris. \n",
    "The French NSO provide this information on its web site by arrondissement (1 to 20 of them)\n",
    "https://www.insee.fr/fr/statistiques/1405599?geo=COM-75101\n",
    "https://www.insee.fr/fr/statistiques/1405599?geo=COM-75120\n",
    "\n",
    "So to avoid clicking 20 times and spend 20 minutes to find the information, lets use python and write some code (I wont disclose here the time it tooks me to write it, its the not point right ;)\n",
    "\n",
    "Usual tools, beautiful soup and regular expression:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": false
   },
   "outputs": [
       {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°01= 31804,7\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°02= 28664,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°03= 30322,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°04= 30299,5\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°05= 32336,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°06= 39079,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°07= 41676,2\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°08= 40140,7\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°09= 32167,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°10= 24242,9\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°11= 25620,4\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°12= 26477,8\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°13= 22993,8\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°14= 26821,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°15= 30203,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°16= 38679,0\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°17= 29395,7\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°18= 20246,5\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°19= 18609,4\n",
      "Médiane du revenu disponible par unité de consommation in Arrondissement n°20= 20076,7\n"
     ]
    }
   ],
   "source": [
    "from urllib.request import urlopen\n",
    "from bs4 import BeautifulSoup\n",
    "import re\n",
    "\n",
    "#the definition of the data you are looking for - i.e. as mentionned in the website table\n",
    "# e.g. \"Médiane du revenu disponible\" or \"Taux de pauvreté en 2013, en %\"\n",
    "lookfor=\"Médiane du revenu disponible par unité de consommation\"\n",
    "\n",
    "#Loop over arrondissemnt number (little trick add a 0 before 1-9)\n",
    "for i in range(1,21):\n",
    "    if i<10: \n",
    "        arrondissement=\"0\"+str(i)\n",
    "    else:\n",
    "        arrondissement=str(i)\n",
    "        \n",
    "    url= 'https://www.insee.fr/fr/statistiques/1405599?geo=COM-751'+arrondissement\n",
    "    html=urlopen(url).read()\n",
    "    soup=BeautifulSoup(html)\n",
    "\n",
    "    table = soup.find(\"table\")\n",
    "    for row in table.findAll(\"tr\"):\n",
    "        test=str(row.find_all('th', attrs={'class': 'ligne'}))\n",
    "        if lookfor in test: \n",
    "            number=re.sub(\"[^0-9^,]\", \"\", str(row.find_all('td')))\n",
    "            print(lookfor+' in Arrondissement n°'+arrondissement+\"= \"+number)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.4.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}