refactor: 👽 Atualiza código para lidar com mudanças no padrão de disponibilização de BPA-i

[fernandesbrun]

Descrição

Até 03/2024 o FTP do Datasus disponibilizava os arquivos de BPA-i para todos os estados em arquivos únicos, independente do tamanho; para estados maiores, também eram disponibilizados arquivos particionados, mas que não eram utilizados pelo ETL de SM, visto que o arquivo completo já deveria conter os mesmos dados que o conjunto dos particionados.
Entretanto, a partir da disponibilização de abril/24 foi observado que, em casos de estados maiores, os arquivos completos não eram mais disponibilizados, sendo necessário um ajuste no ETL para que os arquivos particionados fossem baixados.

Objetivos

• Alterar ETL de BPA para listar tanto arquivos particionados quanto arquivos completos;
• Alterar função utilitária de listar arquivos para, caso sejam identificados arquivos particionados e completos para uma mesma combinação de UF/Competência, os arquivos completos sejam excluídos da listagem, garantindo que sempre o conjunto dos particionados seja baixado e evitando duplicações.