Workflow de automação para coleta dos erros

.github/workflows/contratos_erro.yml

@@ -0,0 +1,43 @@
+name: Tratar erros
+
+on:
+  workflow_run:
+    workflows: ["Atualizar contratos"]
+    types:
+      - completed
+  workflow_dispatch:
+
+permissions:
+  contents: write
+
+jobs:
+  update-cnpjs:
+    runs-on: ubuntu-latest
+
+    steps:
+      - name: Checkout repository
+        uses: actions/checkout@v4
+
+      - name: Set up Python
+        uses: actions/setup-python@v4
+        with:
+          python-version: '3.x'
+
+      - name: Install dependencies
+        run: |
+          python -m pip install --upgrade pip
+          pip install requests
+
+      - name: Run ERROS script
+        run: python Dados/Coleta_dados/coleta_contratosERRO.py
+
+      - name: Commit and push changes
+        env:
+          GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
+        run: |
+          git config --global user.name 'GitHub Actions'
+          git config --global user.email 'noreply.github.com'
+          git pull 
+          git add .
+          git commit -m "Atualização automática: $(date +'%Y-%m-%d %H:%M:%S')" || echo "Nada para commitar"
+          git push origin mateus

Dados/Coleta_dados/coleta_cnpjs.py

@@ -22,15 +22,15 @@ def lista_3_listas(lista):
 
 
 # retorna a lista das empresas contratadas
-CNPJs = lista_cnpjs("../../frontend/x_empresas_contratadas.csv") # inicializa a primeira função
+CNPJs = lista_cnpjs("frontend/x_empresas_contratadas.csv") # inicializa a primeira função
 listas_cnpjs = lista_3_listas(CNPJs) # inicializa a segunda função
 
 wait_time = 1
 posicao = int(sys.argv[1])
 
 print(len(listas_cnpjs[posicao])) # printa o tamanho da lista que iremos percorrer
 
-with open('../../frontend/infos_cnpj_OFICIAL1.json', sys.argv[2], encoding='utf-8') as f:
+with open('frontend/infos_cnpj_OFICIAL1.json', sys.argv[2], encoding='utf-8') as f:
     f.write(sys.argv[3])
     for index,cnpj in enumerate(listas_cnpjs[posicao]):
         wait_time =1

Dados/Coleta_dados/coleta_contratosERRO.py

@@ -87,7 +87,7 @@ def get_resultados(contrato):
 print(f"O tamanho da lista dos contratos é: {len(lista_contratos)}")
 #lista_contratoss= ["00348003000110-1-000004/2021","00394452000103-1-000319/2021","00394452000103-1-000719/2021","33583550000130-1-000004/2021","08829974000194-1-000007/2021","00394452000103-1-001017/2021"]
 
-with open("../../frontend/contratos_OFICIAL_versao3.json","a",encoding='utf-8') as f:
+with open("frontend/contratos_OFICIAL_versao3.json","a",encoding='utf-8') as f:
     f.write("\n")
     for contrato in lista_contratos:
         cnpj = contrato.split('-')[0]

Dados/info_empresa.py

@@ -2,7 +2,7 @@
 import pandas as pd
 
 # Carrega o arquivo JSON original
-with open('../../frontend/contratos_OFICIAL_versao3.json', 'r', encoding='utf-8') as file:
+with open('frontend/contratos_OFICIAL_versao3.json', 'r', encoding='utf-8') as file:
     dados = json.load(file)
 
 # Lista para armazenar os novos dicionários
@@ -34,9 +34,10 @@
 df.to_csv('x_empresas_contratadas.csv', index=False, encoding='utf-8')
 
 print("Arquivo CSV criado com sucesso!")
-
+'''
 # Salva a nova estrutura em um novo arquivo JSON
 with open('x_empresas_contratadas.json', 'w', encoding='utf-8') as outfile:
     json.dump(nova_estrutura, outfile,ensure_ascii=False, indent=4)
 
 print("Novo arquivo JSON criado com sucesso!")
+'''

Dados/ordenacao_dados.py

@@ -59,15 +59,15 @@ def read_file_contratos(df):
     contratos_fila = pd.DataFrame(new_rows)
 
     # Salvar o DataFrame resultante em um novo arquivo CSV
-    contratos_fila.to_csv('output_arquivo_json.csv', index=False)
+    #contratos_fila.to_csv('output_arquivo_json.csv', index=False)
 
     # Retornar o DataFrame resultante
     return contratos_fila
 
 def read_file_cnpj():
     #cnpj= pd.read_json('infos_cnpj_OFICIAL.json')
     #cadastros_cnpj = pd.read_csv('cnpj_oficial.csv', encoding='utf-8')
-    cadastros_cnpj= pd.read_json('infos_cnpj_OFICIAL.json')
+    cadastros_cnpj= pd.read_json('frontend/infos_cnpj_OFICIAL.json')
     cadastros_cnpj['Data de Início da Atividade'] = pd.to_datetime(cadastros_cnpj['Data de Início da Atividade'])
 
     # Extrair o ano e inserir a nova coluna imediatamente após 'Data de Início da Atividade'
@@ -144,7 +144,7 @@ def arredonda_valores(df):
 
 
 # Carregar o arquivo JSON
-with open('contratos_OFICIAL.json', 'r', encoding='utf-8') as file:
+with open('frontend/contratos_OFICIAL.json', 'r', encoding='utf-8') as file:
     data = json.load(file)
 
 # Substituir ';' por '/'
@@ -169,7 +169,7 @@ def arredonda_valores(df):
 contratos_merged= arredonda_valores(contratos_merged)
 
 # Salvar a base de dados combinada
-contratos_merged.to_csv('contratos_ordenados_completo.csv', index=False) # ajustei estava ('contratos_ordenados_completos.csv')
+contratos_merged.to_csv('frontend/contratos_ordenados_completo.csv', index=False) # ajustei estava ('contratos_ordenados_completos.csv')
 
 # Verificar diferenças
 diferencas = verificar_diferenca(contratos_merged)