remove excess logs

Author: tricktx

pipelines/utils/crawler_anatel/banda_larga_fixa/tasks.py

@@ -49,7 +49,9 @@ def join_tables_in_function(table_id: str, ano):
 )
 def get_max_date_in_table_microdados(table_id: str, ano: int):
     if table_id == "microdados":
-        log("Obtendo a data máxima do arquivo microdados da Anatel")
+        log(
+            f"{anatel_constants.INPUT_PATH.value}Acessos_Banda_Larga_Fixa_{ano}.csv"
+        )
         df = pd.read_csv(
             f"{anatel_constants.INPUT_PATH.value}Acessos_Banda_Larga_Fixa_{ano}.csv",
             sep=";",
@@ -60,8 +62,6 @@ def get_max_date_in_table_microdados(table_id: str, ano: int):
 
         df["data"] = pd.to_datetime(df["data"], format="%Y-%m")
 
-        log(df["data"].max())
-
         return df["data"].max()
 
     else:
@@ -79,15 +79,12 @@ def get_max_date_in_table_microdados(table_id: str, ano: int):
 
         df["data"] = pd.to_datetime(df["data"], format="%Y-%m")
 
-        log(df["data"].max())
-
         return df["data"].max()
 
 
 @task
 def get_year_and_unzip(day):
     if day is None:
-        log("Download dos dados...")
         unzip_file()
 
     return get_year()

pipelines/utils/crawler_anatel/banda_larga_fixa/utils.py

@@ -24,7 +24,7 @@ def download_zip_file():
     for recurso in r["resources"]:
         if recurso["format"] == "ZIP":
             download_url = recurso["url"]
-            print(
+            log(
                 f"Baixando {download_url} em {anatel_constants.INPUT_PATH.value}"
             )
 
@@ -48,7 +48,6 @@ def unzip_file():
     zip_file_path = os.path.join(
         anatel_constants.INPUT_PATH.value, "acessos_banda_larga_fixa.zip"
     )
-    log(os.listdir(anatel_constants.INPUT_PATH.value))
     try:
         with ZipFile(zip_file_path, "r") as zip_ref:
             zip_ref.extractall(anatel_constants.INPUT_PATH.value)

pipelines/utils/crawler_anatel/telefonia_movel/tasks.py

@@ -53,7 +53,6 @@ def join_tables_in_function(table_id, semestre, ano):
 )
 def get_max_date_in_table_microdados(table_id, ano, semestre):
     if table_id == "microdados":
-        log("Obtendo a data máxima da tabela microdados...")
         log(
             f"{anatel_constants.INPUT_PATH.value}Acessos_Telefonia_Movel_{ano}_{semestre}S.csv"
         )
@@ -67,8 +66,6 @@ def get_max_date_in_table_microdados(table_id, ano, semestre):
 
         df["data"] = pd.to_datetime(df["data"], format="%Y-%m")
 
-        log(df["data"].max())
-
         return df["data"].max()
 
     else:
@@ -86,8 +83,6 @@ def get_max_date_in_table_microdados(table_id, ano, semestre):
 
         df["data"] = pd.to_datetime(df["data"], format="%Y-%m")
 
-        log(df["data"].max())
-
         return df["data"].max()
 
 

pipelines/utils/crawler_anatel/telefonia_movel/utils.py

@@ -27,7 +27,7 @@ def download_zip_file():
     for recurso in r["resources"]:
         if recurso["format"] == "CSV":
             download_url = recurso["url"]
-            print(
+            log(
                 f"Baixando {download_url} em {anatel_constants.INPUT_PATH.value}"
             )
 
@@ -65,7 +65,6 @@ def unzip_file():
 # ! TASK MICRODADOS
 def clean_csv_microdados(ano, semestre, table_id):
     log("Download dos dados...")
-    log(anatel_constants.URL.value)
     os.system(f"mkdir -p {anatel_constants.INPUT_PATH.value}")
 
     df = pd.read_csv(
@@ -74,8 +73,6 @@ def clean_csv_microdados(ano, semestre, table_id):
         encoding="utf-8",
     )
 
-    log("Renomeando as colunas:")
-
     df.rename(
         columns=anatel_constants.RENAME_COLUMNS_MICRODADOS.value, inplace=True
     )
@@ -103,8 +100,6 @@ def clean_csv_microdados(ano, semestre, table_id):
 
 # ! TASK BRASIL
 def clean_csv_brasil(table_id):
-    log("Abrindo os dados do Brasil...")
-
     densidade = pd.read_csv(
         f"{anatel_constants.INPUT_PATH.value}Densidade_Telefonia_Movel.csv",
         sep=";",
@@ -131,7 +126,6 @@ def clean_csv_brasil(table_id):
         .str.replace(",", ".")
         .astype(float)
     )
-    log("Salvando os dados do Brasil...")
 
     densidade_brasil.to_csv(
         f"{anatel_constants.TABLES_OUTPUT_PATH.value[table_id]}densidade_brasil.csv",
@@ -144,7 +138,6 @@ def clean_csv_brasil(table_id):
 
 # ! TASK UF
 def clean_csv_uf(table_id):
-    log("Abrindo os dados por UF...")
     densidade = pd.read_csv(
         f"{anatel_constants.INPUT_PATH.value}Densidade_Telefonia_Movel.csv",
         sep=";",
@@ -169,7 +162,6 @@ def clean_csv_uf(table_id):
         .str.replace(",", ".")
         .astype(float)
     )
-    log("Salvando dados por UF")
     densidade_uf.to_csv(
         f"{anatel_constants.TABLES_OUTPUT_PATH.value[table_id]}densidade_uf.csv",
         index=False,
@@ -181,7 +173,6 @@ def clean_csv_uf(table_id):
 
 # ! TASK MUNICIPIO
 def clean_csv_municipio(table_id):
-    log("Abrindo os dados por município...")
     densidade = pd.read_csv(
         f"{anatel_constants.INPUT_PATH.value}Densidade_Telefonia_Movel.csv",
         sep=";",
@@ -203,7 +194,6 @@ def clean_csv_municipio(table_id):
         .str.replace(",", ".")
         .astype(float)
     )
-    log("Salvando os dados por município...")
     densidade_municipio.to_csv(
         f"{anatel_constants.TABLES_OUTPUT_PATH.value[table_id]}densidade_municipio.csv",
         index=False,