scripts-pde/qgis_sync_wincan.py

'''

    Met à jour les coordonnées des regards dans la base Wincan

    Les coordonnées sont issues des dossiers du répertoire 'itv_dir'
    Une fois traités, ces dossiers sont renommés 'XXXXXX' > 'I_XXXXXX'

    Plusieurs contrôles sont exécutés au cours de l'opération.
    Les erreurs suivantes sont bloquantes:
    - Le chantier correspondant n'existe pas dans Wincan
    - Le champ SI_Spare1 du tronçon analysé est NULL
    (ce qui signifie que la ligne n'a pas été traitée dans l'application Contrôles)
    - Regards présents dans le shapefile et pas dans Wincan
    - Regards présents dans Wincan et pas dans le shapefile
    - Regards en doublons dans le shapefile

    @author: olivier.massot, mai 2018
'''
import logging
import re
import sys

from path import Path
import shapefile

from core import logconf
from core.model import Sql
from core.pde import WincanDb, ITV_DIR, QGisPoint


logger = logging.getLogger("qgis_sync_wincan")
logconf.start("qgis_sync_wincan", logging.DEBUG)

IMPORT_DEPUIS = 24  # Ne cherche des données à importer que sur les X derniers mois (mettre à 0 pour ignorer)


# # POUR TESTER, décommenter les lignes suivantes
##-----------------------------------------------

WincanDb._path = Path(r"\\h2o\local\4-transversal\BDD\mdb_test\Wincan\parc_2007\DB\PARC_2007.mdb")
ITV_DIR = Path(__file__).parent / "resources" / "test_qgis_sync_wincan"
logger.handlers = [h for h in logger.handlers if (type(h) == logging.StreamHandler)]
logger.warning("<<<<<<<<<<<<<<   Mode TEST   >>>>>>>>>>>>>>>>>")

##-----------------------------------------------

# Connexion à Wincan
wincan_db = WincanDb(autocommit=False)

# Regex pour parser les noms de repertoires
rx = re.compile(r"^(I_)?(\d{5,6})(-S?\d{1,2})?[\s_]?(.*)$")  # tous
rxi = re.compile(r"^(\d{5,6})(-S?\d{1,2})?[\s_]?(.*)$")  # non importés


logger.info("Parcours des répertoires")
a_importer = [subdir for subdir in ITV_DIR.dirs() if rxi.search(subdir.name)]

if not a_importer:
    logger.info("Aucun nouveau dossier à importer")
    sys.exit()


for chantier_dir in a_importer:
    # Ici, les noms de chantier sont de la forme 000000, 000000-0, ou 000000-S0
    dir_name = chantier_dir.name
    logger.info("Traitement du répertoire: {}".format(chantier_dir.name))

    # check the existence of the chantier in WincanDb, and check if the chantier has been treated in Controles (SI_Spare1 = 1)
    if not wincan_db.exists(Sql.format("""SELECT SI_T.SI_AutoNumber
                                         FROM SI_T
                                         WHERE (((SI_T.SI_Spare1) is not null
                                         AND (SI_T.SI_JobNumber) Like {:text}))""", chantier_dir.name)):
        logger.error("Le chantier n'existe pas dans wincan, ou SI_Spare1 est null")
        continue

    shp_path = chantier_dir / "{}_p_Regards.shp".format(chantier_dir.name)

    logger.debug("> Lecture du fichier shapefile")
    sf = shapefile.Reader(shp_path)

    # should we check? :
    if sf.shapeType != 1:
        logger.error("Le fichier shapefile n'est pas de type POINT")
        continue

    sh_points = sf.shapeRecords()
    if not sh_points:
        logger.error("Le fichier shapefile ne contient aucune donnees")
        continue

    # Génère des objets 'Points' à partir des données du shapefile
    points = []
    for sh_point in sh_points:
        point = QGisPoint()
        point.number = sh_point.record[0]
        point.name = sh_point.record[1]
        point.x, point.y = sh_point.shape.points[0]
        points.append(point)


    logger.info("> Contrôle des données")
    shp_regards_name = set([point.number for point in points])

    # Vérifie l'absence de duplicats
    if len(shp_regards_name) != len(points):
        logger.error("Shapefile - Doublons dans les noms de regards")
        continue

    # Vérifie l'existence des regards dans WincanDb
    wincan_regards_name = set([])  # Le set garantit l'unicité des items

    wincan_regards_name |= {r.nom for r in wincan_db.read_all(Sql.format("""SELECT S_T.S_EndNode as nom
                                                            FROM S_T INNER JOIN SI_T ON S_T.S_ID = SI_T.SI_Section_ID
                                                            WHERE (S_T.S_EndNode Not Like 'T%' And S_T.S_EndNode Not Like 'BP%'
                                                            AND SI_T.SI_JobNumber Like {:text})""", chantier_dir.name))}

    wincan_regards_name |= {r.nom for r in wincan_db.read_all(Sql.format("""SELECT S_T.S_StartNode as nom
                                                            FROM S_T INNER JOIN SI_T ON S_T.S_ID = SI_T.SI_Section_ID
                                                            WHERE (S_T.S_StartNode Not Like 'T%' And S_T.S_StartNode Not Like 'BP%'
                                                            AND SI_T.SI_JobNumber Like {:text})""", chantier_dir.name))}

    for regard_name in shp_regards_name - wincan_regards_name:
        logger.error("Le regards suivant n'existe pas dans Wincan ({})".format(regard_name))
    for regard_name in wincan_regards_name - shp_regards_name:
        logger.error("Le regards suivant est absent du fichier shapefile ({})".format(regard_name))
    if shp_regards_name != wincan_regards_name:
        logger.info("Mise à jour annulée")
        continue

    # # Update the coordinates of the regards in WincanDb

    for point in points:
        q = wincan_db.execute(Sql.format("""UPDATE S_T INNER JOIN SI_T ON S_T.S_ID = SI_T.SI_Section_ID
                                            SET S_T.S_StartNodeCoord_X = {x}, S_T.S_StartNodeCoord_Y = {y}
                                            WHERE SI_T.SI_InspName Like {chantier:text} AND S_T.S_StartNode={num:text};
                                            """, chantier=chantier_dir.name + "%",
                                                 num=point.number,
                                                 x=point.x,
                                                 y=point.y))
        q = wincan_db.execute(Sql.format("""UPDATE S_T INNER JOIN SI_T ON S_T.S_ID = SI_T.SI_Section_ID
                                            SET S_T.S_EndNodeCoord_X = {x}, S_T.S_EndNodeCoord_Y = {y}
                                            WHERE SI_T.SI_InspName Like {chantier:text} AND S_T.S_EndNode={num:text};
                                            """, chantier=chantier_dir.name + "%",
                                                 num=point.number,
                                                 x=point.x,
                                                 y=point.y))
        wincan_db.commit()

    logger.info("> Mise à jour de la base Wincan")

    # rename the directory to mark it as imported ('I_')
    new_path = chantier_dir.parent / "I_{}".format(chantier_dir.name)
    logger.debug("> Renomme {} en {}".format(chantier_dir.name, new_path.name))

    try:
        chantier_dir.rename(new_path)
    except:
        logger.error("Impossible de renommer le dossier")