Backend Challenge

.eslintrc.json

@@ -0,0 +1,17 @@
+{
+    "env": {
+        "es2021": true,
+        "node": true
+    },
+    "extends": "eslint:recommended",
+    "parserOptions": {
+        "ecmaVersion": "latest",
+        "sourceType": "module"
+    },
+    "plugins": [
+        "prettier"
+    ],
+    "rules": {
+        "prettier/prettier": "error"
+    }
+}

.gitignore

@@ -1 +1,4 @@
 .idea/
+.env
+node_modules
+package-lock.json

.prettierrc

@@ -0,0 +1,6 @@
+{
+  "semi": false,
+  "singleQuote": true,
+  "semiColon": true,
+  "trailingComma": "es5"
+}

PROJETO.md

@@ -0,0 +1,57 @@
+## Aplicação back end de raspagem de dados
+
+Uma aplicação back end para raspagem de dados, coletando informações da tabela do Portal da Transparência do Governo Federal e inserindo em um banco
+de dados relacional.
+
+Foram usadas as tecnologias:
+- Node JS
+- MySQL
+- Express
+- Sequelize
+- Puppeteer
+- Thunder Client
+
+## Funcionamento da aplicação
+
+A aplicação funciona com o bot do Puppeteer para raspagem de dados, ou seja, para coleta de informações de algum site. Nesse caso, foi escolhida a página https://www.transparencia.gov.br/despesas/orgao?ordenarPor=orgaoSuperior&direcao=asc para alvo da raspagem. O servidor é iniciado e o bot é ativado para fazer a raspagem dos dados da tabela alvo. Se as informações foram coletadas com sucesso, elas são adicionadas ao banco de dados MySQL por meio do Sequelize. Caso algo tenha dado errado, o cliente receberá tal aviso e será guiado para que o erro seja solucionado. Ao fazer a requisição para a rota /api/dados, caso o banco de dados esteja vazio por conta de algum erro na raspagem ao início da aplicação, essa requisição fará a inserção dos dados no banco de dados. Caso esteja tudo certo, a requisição entregará os dados ao usuário.
+
+## Requisitos para rodar o projeto
+
+- Node JS instalado
+- MySQL instalado
+
+## Como clonar o repositório e testar o projeto
+
+Clone o projeto do Github :
+
+```sh
+$ git clone [email protected]:leonardomunsa/backend-challenge.gitt or git clone https://github.com/leonardomunsa/backend-challenge.git
+$ cd backend-challenge
+```
+
+#### Para que o banco de dados funcione:
+
+```
+- abra o arquivo config.json da pasta config
+- edite a variável de senha no objeto development para sua senha usada no usuário do MySQL*
+```
+A partir disso o projeto está configurado para conectar com o bando de dados a partir do sequelize
+*nunca commite esse documento com sua senha, apenas salve para uso do banco de dados
+
+#### Instale as dependências e inicie a aplicação para fazer as requisições:
+
+```sh
+$ npm install
+$ npx sequelize-cli db:create
+$ npx sequelize-cli db:migrate
+$ npm start
+```
+
+Se estiver tudo ok, a aplicação deve rodar no link:
+
+```bash
+http://localhost:8090
+```
+
+Teste para ver se está correto, adicione ingredientes ao bando de dados e entre no link http://localhost:8090/api/dados,
+o resultado deve ser, em formado json, as informações da tabela do site do Portal de Transparência do Governo.

config/config.json

@@ -0,0 +1,23 @@
+{
+  "development": {
+    "username": "root",
+    "password": null,
+    "database": "portal_gov",
+    "host": "127.0.0.1",
+    "dialect": "mysql"
+  },
+  "test": {
+    "username": "root",
+    "password": null,
+    "database": "portal_gov",
+    "host": "127.0.0.1",
+    "dialect": "mysql"
+  },
+  "production": {
+    "username": "root",
+    "password": null,
+    "database": "database_production",
+    "host": "127.0.0.1",
+    "dialect": "mysql"
+  }
+}

controllers/infosgovController.js

@@ -0,0 +1,17 @@
+const { getInfosGov } = require('../services/infosgovService');
+const { success } = require('../utils/dictionary');
+
+const getInfosGovController = async (req, res, next) => {
+  try {
+    const infos = await getInfosGov();
+
+    return res.status(success).json(infos);
+  } catch (error) {
+    console.log(`GET INFOS -> ${error.message}`);
+    next(error);
+  }
+};
+
+module.exports = {
+  getInfosGovController,
+};

index.js

@@ -0,0 +1,27 @@
+const express = require('express');
+require('dotenv').config();
+const { getInfosGovController } = require('./controllers/infosgovController');
+const { createInfosGov } = require('./services/infosgovService');
+const errorHandling = require('./utils/errorHandling');
+const { badRequest } = require('./utils/dictionary');
+
+const errorHandler = require('./middlewares/errorHandler');
+
+const app = express();
+const PORT = process.env.PORT || 8090;
+
+app.get('/api/dados', getInfosGovController);
+
+app.listen(
+  PORT,
+  () => console.log(`App running on port ${PORT}!`),
+  async () => {
+      await createInfosGov().catch(() => {
+        throw errorHandling(badRequest, 'Scrapping failed. Try restarting the server.');
+      });
+  }
+);
+
+app.use(errorHandler);
+
+module.exports = app;

middlewares/errorHandler.js

@@ -0,0 +1,8 @@
+module.exports = (err, _req, res, _next) => {
+  if (err.status) {
+    return res.status(err.status).json({ message: err.message });
+  }
+
+  console.log(err)
+  return res.status(500).json({ message: 'Internal Server Error' });
+};

migrations/20220310204522-create-infosgov.js

@@ -0,0 +1,52 @@
+'use strict';
+
+module.exports = {
+  up: async (queryInterface, Sequelize) => {
+    await queryInterface.createTable('infos_govs', {
+      id: {
+        allowNull: false,
+        autoIncrement: true,
+        primaryKey: true,
+        type: Sequelize.INTEGER 
+      },
+      mesAno: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'mes_ano' 
+      },
+      programaOrcamentario: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'programa_orcamentario'
+      },
+      acaoOrcamentaria: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'acao_orcamentaria'
+      },
+      valorEmpenhado: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'valor_empenhado'
+      },
+      valorLiquidado: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'valor_liquidado'
+      },
+      valorPago: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'valor_pago'
+      },
+      valorRestosAPagarPagos: {
+        allowNull: false,
+        type: Sequelize.STRING,
+        field: 'valor_restos_a_pagar_pagos'
+      },
+    });
+  },
+  down: async (queryInterface, _Sequelize) => {
+    await queryInterface.dropTable('infos_gov');
+  },
+};

models/index.js

@@ -0,0 +1,37 @@
+'use strict';
+
+const fs = require('fs');
+const path = require('path');
+const Sequelize = require('sequelize');
+const basename = path.basename(__filename);
+const env = process.env.NODE_ENV || 'development';
+const config = require(__dirname + '/../config/config.json')[env];
+const db = {};
+
+let sequelize;
+if (config.use_env_variable) {
+  sequelize = new Sequelize(process.env[config.use_env_variable], config);
+} else {
+  sequelize = new Sequelize(config.database, config.username, config.password, config);
+}
+
+fs
+  .readdirSync(__dirname)
+  .filter(file => {
+    return (file.indexOf('.') !== 0) && (file !== basename) && (file.slice(-3) === '.js');
+  })
+  .forEach(file => {
+    const model = require(path.join(__dirname, file))(sequelize, Sequelize.DataTypes);
+    db[model.name] = model;
+  });
+
+Object.keys(db).forEach(modelName => {
+  if (db[modelName].associate) {
+    db[modelName].associate(db);
+  }
+});
+
+db.sequelize = sequelize;
+db.Sequelize = Sequelize;
+
+module.exports = db;

models/infosgov.js

@@ -0,0 +1,42 @@
+module.exports = (sequelize, DataTypes) => {
+  const InfosGov = sequelize.define(
+    'InfosGov',
+    {
+      mesAno: {
+        type: DataTypes.STRING,
+        mesAno: 'mes_ano',
+      },
+      programaOrcamentario: {
+        type: DataTypes.STRING,
+        programaOrcamentario: 'programa_orcamentario',
+      },
+      acaoOrcamentaria: {
+        type: DataTypes.STRING,
+        acaoOrcamentaria: 'acao_orcamentaria',
+      },
+      valorEmpenhado: {
+        type: DataTypes.STRING,
+        valorEmpenhado: 'valor_empenhado'
+      },
+      valorLiquidado: {
+        type: DataTypes.STRING,
+        valorLiquidado: 'valor_liquidado'
+      },
+      valorPago: {
+        type: DataTypes.STRING,
+        valorPago: 'valor_pago'
+      },
+      valorRestosAPagarPagos: {
+        type: DataTypes.STRING,
+        valorRestosAPagarPagos: 'valor_restos_a_pagar_pagos'
+      },
+    },
+    {
+      timestamps: false,
+      tablename: 'infos_govs',
+      underscored: true,
+    }
+  );
+
+  return InfosGov;
+}

package.json

@@ -0,0 +1,33 @@
+{
+  "name": "backend-challenge",
+  "version": "1.0.0",
+  "description": "O web scraping (raspagem de rede, em tradução livre), também conhecido como extração de dados da web,\r é o nome dado ao processo de coleta de dados estruturados da web de maneira automatizada. Em geral,\r esse método é usado por pessoas, empresas que desejam usar a vasta quantidade de dados da web disponíveis\r publicamente para tomar decisões mais inteligentes.",
+  "main": "index.js",
+  "scripts": {
+    "test": "",
+    "start": "node index.js"
+  },
+  "repository": {
+    "type": "git",
+    "url": "git+https://github.com/agilize/backend-challenge.git"
+  },
+  "keywords": [],
+  "author": "",
+  "license": "ISC",
+  "bugs": {
+    "url": "https://github.com/agilize/backend-challenge/issues"
+  },
+  "homepage": "https://github.com/agilize/backend-challenge#readme",
+  "dependencies": {
+    "dotenv": "^16.0.0",
+    "express": "^4.17.3",
+    "mysql2": "^2.3.3",
+    "puppeteer": "^13.5.0",
+    "sequelize": "^6.17.0",
+    "sequelize-cli": "^6.4.1"
+  },
+  "devDependencies": {
+    "eslint": "^8.10.0",
+    "prettier": "2.5.1"
+  }
+}