PROJECTDATAKAR

ProjetDatakar Est un projet python. Il y'a principalement des interactions avec le projet "test-data-engineer-090621" sur bigquery

Il est composé de 3 répertoires principaux à savoir :

• credentials : qui contient le fichier JSON credential pour se connecter à l'entrepôt de donnée
• data : qui contient les données parmi lesquelles on a : . Des tables de bigquery les données externe . Des données externes , les coordonnées géographiques des départements français . Des données tests , qui sont issus des expérimentations de croisements des départements aux meeting_points . Des résultats de requêtes , étant des réponses à l'exercice
• scripts : qui contient les scripts au paradigme orienté object dans des packages : . Le module connection , pour la connection à bigquery et le requêtage d'Api de géolocalisation . Le module experimentation qui contient des pistes étudié pour le croisement des départements aux meeting_points , notament l'extraction des tables de bigquery et le test de plusieurs librairies de manipulation de données pour le croisement des données . Le module solution qui comprend les réponses aux questions à savoir : les dates auxquelles les enseignants ayant données le plus de cours au 3ème trimestre de 2020 ont dispensés leur 50ème lesson et le nombre de leçons par départements en fonction des type de partenariats dans un intervalle de temps précis . . le module test qui comprend les unitaires sur chacun des scripts.

Installation

Pour faire fonctionner ce projet vous avez besoin tout d'abord d'installer python à sa version 12 si vous ne l'avez pas déjà sur votre machine.

Pour les utilisateurs d'Ubuntu

Se rendre dans le terminal et puis lancer les commandes :

sudo apt update

sudo apt upgrade

sudo apt install python3.12

Pour les utilisateurs de MAC OS

Se rendre dans le terminal et puis lancer les commandes :

 brew update

 brew upgrade

brew install python3.12

Pour les utilisateurs de windows , se rendre sur le site web de python et télécharger l installer.

Une fois l installation de python terminé vous pouvez

• soit vous rendre dans le répertoire de ce projet à la racine et lancer les commandes :

python3 -m venv .env

pour la création d'un environment virtuel

source ./env/bin/activate

ensuite ,pour l'activation de l'environment

pip install -r requirements.txt

ensuite pour l'installation des modules utilisés dans le projet

• soit ouvrir le projet avec l'IDE de votre choix (Pycharm, VSCode, etc) si vous l'avez ou le télécharger et configurez l'interpréteur python 3.12.

Usage

Pour voir les solutions du projet se rendre dans le répertoire scripts/ et lancer le script main.py soit avec l'IDE ou en ligne de commande

python3 main.py

Il faut se laisser guider par la console interactive.

Faire de même pour les tests dans ou bien les scripts d'experimentation dans experimentation Il est necessaire voir promordial de lancer le script d'extraction pour charger la base de données avant de procéder au croisement des données avec la classe ProcessLocationData

Contribution

Les demandes de tirage sont les bienvenues. Pour des changements majeurs, veuillez d'abord ouvrir un problème pour discuter de ce que vous aimeriez changer.

Veuillez vous assurer de mettre à jour les tests le cas échéant.

Rapport du projet

Ci-dessous , vous disposez d'un rapport expliquant le projet dans son ensemble DataEng_EmileAveko_Datakar_Report.docx