python script om toegelaten en vervallen middelen Ctgb uit xls sheets te importeren in pestileaks

[creepywaterbug]

Hallo,
Ik heb een python script geschreven waarmee de xls files van het ctgb worden gelezen en in de pestileaks db worden geladen. Voordat ik het script draai zet ik eerste de oorspronkelijke xls files van ctgb in excell om naar xlsx files. Ik weet niet waarom, maar met de oorspronkelijke files kreeg ik geen contact.

Het script doet naast het rechtoe rechtaan inladen drie finetune zaken:

1. De datumvelden in de xlsx files bestaan uit verschillende formaten (dd-mm-yyyy, 'dd-mm-yyyy' en excell datumgetallen). Het script converteert ze naar een standaard datum formaat dat in psql kan worden ingelezen (yyyy-mm-dd) of vult 'None' in als er een leeg veld of niet kloppende waarde is.
2. De kolom 'werkzame stof' is nader uitgerafeld in 'werkzamestof' en 'hoeveelheid' en in aparte tabellen gezet. Inhoud klopt nog steeds niet volledig.
3. De beide xls files komen in 1 grote tabel terecht en er wordt 1 kolom (toegelaten_janee) toegevoegd met een '1' voor de toegelaten middelen en een '0' voor de vervallen middelen.

Ik heb het script naar analogie van het script 'leesGewas.py' opgebouwd en alle bijbehorende benodigde py-files (admin.py, models.py ....) daarvoor aangevuld.

Inmiddels is de website van het ctgb volledig vernieuwd en is er weer een formulier interface voor het toelatingregister beschikbaar. Dus waarschijnlijk moet het werk opnieuw gebeuren.

Groet, waterbug