Changeset 328 for trunk/import


Ignore:
Timestamp:
09/09/14 08:15:55 (10 years ago)
Author:
frank.jaeger
Message:

Letzte kleine Korrekturen an Import für PostNAS Version 0.7 vor Wechsel auf Version 0.8

Location:
trunk/import
Files:
6 edited

Legend:

Unmodified
Added
Removed
  • trunk/import/datenbank_anlegen.sh

    r327 r328  
    77## Stand: 
    88##  2012-02-10 PostNAS 07, Umbenennung 
    9 ##  2013-01-15 Zwischenstopp um Meldungen lesen zu können bevor, sie aus dem Scrollbereich verschwinden 
     9##  2013-01-15 Zwischenstopp um Meldungen lesen zu können bevor, sie aus dem Scrollbereich verschwinden 
    1010##  2013-04-16 Vers.-Nr. "0.7" aus dem Dateinamen von Schema und Keytable entfernt, sichten_wms.sql 
    11 ##  2013-10-16 F.J. krz: Neues Sript "pp_praesentation_sichten.sql" fÃŒr Reparatur PrÀsentationsobjekte Straßennamen 
     11##  2013-10-16 F.J. krz: Neues Sript "pp_praesentation_sichten.sql" für Reparatur Präsentationsobjekte Straßennamen 
    1212##  2013-12-03 F.J. krz: Script "sichten.sql" einbeziehen. Darin View "doppelverbindung" fuer WMS FS-Kommunal. 
    13 ##  2014-01-31 F.J. krz: Unterschiede der Datenbank-Struktur fÃŒr die Varianten MIT/OHNE Historie. 
     13##  2014-01-31 F.J. krz: Unterschiede der Datenbank-Struktur für die Varianten MIT/OHNE Historie. 
    1414 
    1515POSTNAS_HOME=$(dirname $0) 
     
    104104echo " " 
    105105echo "** Besonderheiten der Datenbank OHNE Historie" 
    106 ## auskommentieren, wenn die Datenbank MIT Historie gefÃŒhrt wird 
     106## auskommentieren, wenn die Datenbank MIT Historie geführt wird 
    107107## Import-ID: Tabelle und Spalte in "alkis_beziehungen" anlegen 
    108108psql $con -U ${DBUSER} -f alkis_PostNAS_schema_ohneHist.sql >$MANDANT_HOME/log/schema.log 
     
    127127echo " " 
    128128echo "** Anlegen Post Processing Tabellen (pp_definition.sql)" 
    129 psql $con -U ${DBUSER} -v alkis_epsg=$EPSG -f pp_definition.sql >$MANDANT_HOME/log/pp_definition.log 
     129psql $con -U ${DBUSER} -f pp_definition.sql >$MANDANT_HOME/log/pp_definition.log 
    130130 
    131131echo " " 
     
    144144psql $con -U ${DBUSER} -f grant.sql >$MANDANT_HOME/log/log_grant.log 
    145145echo "  
    146 *************************** 
    147 **  Ende Neue Datenbank  ** 
    148 *************************** 
     146************************************* 
     147**  Ende Neue Datenbank ${DBNAME}  
     148************************************* 
    149149" 
  • trunk/import/grant.sql

    r327 r328  
    1111--  2012-02-17  PostNAS 0.7, pp_Tabellen, ms5 -> ms6 
    1212--  2012-04-25  Tabelle pp_flurstueck_nr 
    13 --  2013-01-15  mehr SchlÃŒsseltabellen rein 
     13--  2013-01-15  mehr Schlüsseltabellen rein 
    1414--  2013-03-05  View "s_beschriftung" wird durch "ap_pto_stra" und "ap_pto_rest" ersetzt. 
    1515--              View "s_nummer_nebengebaeude" wird durch "lfdnr_nebengebaeude" ersetzt. 
    1616--  2013-03-25  View "grenzpunkt" und "gebaeude_txt" 
    17 --  2013-04-19  Neues zum Thema "BodenschÀtzung", Views entfallen 
     17--  2013-04-19  Neues zum Thema "Bodenschätzung", Views entfallen 
    1818--  2013-10-24  Table "pp_strassenname" ersetzt View "ap_pto_stra" im WMS (ms6) 
    19 --  2014-01-22  Neue Views fÃŒr CSV-Export, neue SchlÃŒsseltabelle "ax_namensnummer_eigentuemerart" 
    20 --  2014-08-25  Straßennamen aufteilen in _P und L 
     19--  2014-01-22  Neue Views für CSV-Export, neue Schlüsseltabelle "ax_namensnummer_eigentuemerart" 
     20--  2014-08-25  Straßennamen aufteilen in _P und L 
    2121 
    2222 
     
    3333-- ALKIS / PostNAS 
    3434-- --------------- 
    35 -- Berechtigung fÃŒr Kartendarstellung 
     35-- Berechtigung für Kartendarstellung 
    3636  GRANT SELECT ON TABLE alkis_beziehungen TO ms6; 
    3737  GRANT SELECT ON TABLE ap_darstellung TO ms6; 
     
    280280-- ------------------ 
    281281 
    282 -- GebÀude 
     282-- Gebäude 
    283283GRANT SELECT ON TABLE ax_gebaeude_bauweise                 TO ms6; 
    284284GRANT SELECT ON TABLE ax_gebaeude_bauweise                 TO mb27; 
     
    294294GRANT SELECT ON TABLE ax_bauteil_bauart                    TO mb27; 
    295295 
    296 -- BodenschÀtzung 
     296-- Bodenschätzung 
    297297GRANT SELECT ON TABLE ax_bodenschaetzung_bodenart          TO ms6; 
    298298GRANT SELECT ON TABLE ax_bodenschaetzung_bodenart          TO mb27; 
     
    312312GRANT SELECT ON TABLE ax_bewertung_klassifizierung         TO mb27; 
    313313 
    314 -- BodenschÀtzung Views 
     314-- Bodenschätzung Views 
    315315GRANT SELECT ON TABLE s_bodensch_wms                       TO ms6; 
    316316GRANT SELECT ON TABLE s_bodensch_ent                       TO ms6; 
     
    340340GRANT SELECT ON TABLE ax_sonstigesrecht_artdf              TO mb27; 
    341341 
    342 -- Sonstige SchlÃŒsseltabellen 
     342-- Sonstige Schlüsseltabellen 
    343343GRANT SELECT ON TABLE ax_buchungsstelle_buchungsart        TO ms6; 
    344344GRANT SELECT ON TABLE ax_buchungsstelle_buchungsart        TO mb27; 
  • trunk/import/konv_batch.sh

    r327 r328  
    2727##   2012-10-30 Umgebungsvariable setzen, delete-Tabelle am Ende fuer Analyse gefuellt lassen. 
    2828##              Test als 0.7a mit gepatchter gdal-Version (noch 2.0dev) 
    29 ##   2013-10-16 F.J. krz: Neues Script "pp_praesentation_action.sql" fÃŒr Reparatur der  
    30 ##              PrÀsentationsobjekte Straßenname im Post-Processing 
    31 ##   2013-10-24 F.J. krz: Zwischenlösung "praesentation_action.sql" wieder deaktiviert. 
     29##   2013-10-16 F.J. krz: Neues Script "pp_praesentation_action.sql" für Reparatur der  
     30##              Präsentationsobjekte Straßenname im Post-Processing 
     31##   2013-10-24 F.J. krz: Zwischenlösung "praesentation_action.sql" wieder deaktiviert. 
    3232##   2014-01-31 F.J. krz: Import Eintrag erzeugen (nach Vorschlag Marvin Brandt, Unna) 
    33 ##   2014-02-13 A.Emde WhereGroup: EinfÃŒhrung DBUSER, damit im Skript der Datenbankbenutzer angegeben werden kann 
    34 ## 
    35 ## ToDo: Option "-skipfailures" nach Test entfernen ? 
    36 ## 
     33##   2014-02-13 A.Emde WhereGroup: Einführung DBUSER, damit im Skript der Datenbankbenutzer angegeben werden kann 
     34##   2014-05-12 F.J. krz: Unterschiedliche Pfade in Test (TRUNK) und Produktion (Rel. 1.11.0) 
     35##   2014-06-18 F.J. DB-User nicht "postgres" (in $con).  
     36##                   Konverter ind Nacharbeiten sonst mit unterschiedlichem User. 
     37##                   Abgleich Test/Prod-Version 
     38##                   Entfernen der historischen Objekte nach Konvertierung. 
     39##   2014-09-03 F.J. Auch für 0.7-Datenstruktur die aktuelle Programmversion, PG_USE_COPY 
     40 
    3741## Koordinaten: EPSG:25832  UTM, Zone 32 
    3842##              -a_srs EPSG:25832   - bleibt im UTM-System (korrigierte Werte) 
    39 ## 
    4043 
    4144POSTNAS_HOME=$(dirname $0) 
    42  
    43 # Konverterpfad 
    44 PATH=/opt/gdal-2.0/bin:$PATH 
     45 PATH=/opt/gdal-2.0/bin:$PATH   # TRUNK-Version (immer letzter Stand der Entwicklung) 
     46#PATH=/opt/gdal-1.11/bin:$PATH  # Release GDAL 1.11.0 vom April 2014 
    4547EPSG=25832 
    46 DBUSER=postgres 
     48DBUSER=b600352 
    4749 
    4850if [ $DBUSER == "" ] 
     
    5961  OGRPGUSER=" user=${DBUSER}" 
    6062fi 
    61  
    62 echo "**************************************************" 
    63 echo "**   K o n v e r t i e r u n g     PostNAS 0.7a **" 
    64 echo "**************************************************" 
     63  
     64echo "  
     65********************************************** 
     66**   K o n v e r t i e r u n g     PostNAS  ** 
     67**********************************************  
     68 " 
    6569## Parameter: 
    6670ORDNER=$1 
     
    104108        fi 
    105109fi 
     110 
    106111# Fehlerprotokoll: 
    107   errprot=${POSTNAS_HOME}'/log/postnas_err_'$DBNAME'.prot' 
    108 # 
     112errprot=${POSTNAS_HOME}'/log/postnas_err_'$DBNAME'.prot' 
     113 
    109114# DB-Connection 
    110   con="${PGUSER} -p 5432 -d ${DBNAME} " 
    111   echo "Datenbank-Name . . = ${DBNAME}" 
    112   echo "DBUSER ${DBUSER}" 
    113   echo "PGUSER ${PGUSER}" 
    114   echo "OGRPGUSER ${OGRPGUSER}" 
    115   echo "Ordner NAS-Daten . = ${ORDNER}" 
    116   echo "Verarbeitungs-Modus= ${verarb}" 
    117   echo " " 
    118   echo "POSTNAS_HOME ${POSTNAS_HOME}" 
    119   echo " " 
     115con="${PGUSER} -p 5432 -d ${DBNAME} " 
     116 
     117echo "Datenbank-Name . . = ${DBNAME}" 
     118echo "DBUSER ${DBUSER}" 
     119echo "PGUSER ${PGUSER}" 
     120echo "OGRPGUSER ${OGRPGUSER}" 
     121echo "Ordner NAS-Daten . = ${ORDNER}" 
     122echo "Verarbeitungs-Modus= ${verarb}" 
     123echo "POSTNAS_HOME ${POSTNAS_HOME}" 
     124 
    120125# noch alte delete-Eintraege in DB? 
    121   echo "Leeren der delete-Tabelle" 
    122   echo 'TRUNCATE table "delete";' | psql $con  
    123  
    124 # 
     126echo "Leeren der delete-Tabelle" 
     127echo 'TRUNCATE table "delete";' | psql $con  
     128 
    125129# Import Eintrag erzeugen 
    126130# 
    127 # Die dadurch erzeugte Import-ID dient zur Steuerung des Löschens alter Relationen im Trigger.  
     131# Die dadurch erzeugte Import-ID dient zur Steuerung des Löschens alter Relationen im Trigger.  
    128132# Wird die Datenbank MIT Historie geladen, muss die folgende Zeile auskommentiert werden. 
    129133echo "INSERT INTO import (datum,verzeichnis,importart) VALUES ('"$(date '+%Y-%m-%d %H:%M:%S')"','"${ORDNER}"','"${verarb}"');" | psql $con 
    130134 
    131 # 
    132135# Ordner abarbeiten 
    133 # 
     136 
    134137  cd ${ORDNER} 
    135138  rm ../temp/*.gfs 
     
    147150      # Zwischenueberschrift im Fehlerprotokoll 
    148151      echo "* Datei: " $nasdatei >> $errprot 
    149       # 
     152 
    150153      # Umgebungsvariable setzen: 
    151154        export GML_FIELDTYPES=ALWAYS_STRINGS    # PostNAS behandelt Zahlen wie Strings, PostgreSQL-Treiber macht daraus Zahlen 
    152155        export OGR_SETFIELD_NUMERIC_WARNING=YES # Meldung abgeschnittene Zahlen? 
    153156       #export CPL_DEBUG=ON                     # Meldung, wenn Attribute ueberschrieben werden 
    154       # 
     157 
    155158      # PostNAS Konverter-Aufruf 
    156       # 
    157       # -skipfailures    # 
    158       # -overwrite       # 
    159       ogr2ogr -f "PostgreSQL" -append  ${update} -skipfailures \ 
     159      ogr2ogr -f "PostgreSQL" -append  ${update} -skipfailures  --config PG_USE_COPY YES  \ 
    160160         PG:"dbname=${DBNAME} host=localhost port=5432 ${OGRPGUSER}" -a_srs EPSG:$EPSG ${nasdatei} 2>> $errprot 
    161161      nasresult=$? 
     
    165165  rm ../temp/*.xml 
    166166  echo " " 
    167   echo "** Ende Konvertierung Ordner ${ORDNER}" 
    168 # 
     167  echo "** Ende Konvertierung Ordner ${ORDNER} 
     168  " 
     169 
    169170# Post-Processing / Nacharbeiten 
    170 # 
     171 
    171172  if [ $PP == "nopp" ] 
    172173  then 
     174 
    173175    echo "** KEIN Post-Processing - Dies spaeter nachholen." 
    174176    # Dies kann sinnvoll sein, wenn mehrere kleine Aktualisierungen hintereinander auf einem grossen Bestand laufen 
    175177    # Der Aufwand fuer das Post-Processing ist dann nur bei der LETZTEN Aktualisierung notwendig. 
     178 
    176179  else 
     180 
    177181    echo "** Post-Processing (Nacharbeiten zur Konvertierung)" 
    178182 
    179183    echo "** - Optimierte Nutzungsarten neu Laden:" 
    180184    (cd $POSTNAS_HOME; psql $con -f nutzungsart_laden.sql) 
    181     echo "-----------"  
    182  
     185  
    183186    echo "** - Fluren / Gemarkungen / Gemeinden neu Laden:" 
    184187    (cd $POSTNAS_HOME; psql $con -f pp_laden.sql) 
    185188 
    186  
    187     # echo "** - PrÀsentationsobjekte generieren:" 
    188     # (cd $POSTNAS_HOME; psql $con -f pp_praesentation_action.sql) 
    189  
    190189  fi 
    191 # 
     190 
    192191  if [ "$(readlink $POSTNAS_HOME/alkis-trigger.sql)" = "alkis-trigger-kill.sql" ]; then 
    193 # Durch Einfuegen in Tabelle 'delete' werden Loeschungen anderer Tabellen getriggert 
    194     echo "** delete-Tabelle enthaelt:" 
    195     echo 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";' | psql $con 
    196     #echo "   delete-Tabelle loeschen:" 
    197     #echo 'TRUNCATE table "delete";' | psql $con 
    198  # Fuer Analyse-Zwecke sollten die Delete-Eintraege erhalten bleiben bis zum naechsten Lauf. 
    199  # TRUNCATE erfolgt VOR der Konnvertierung. 
    200 # 
    201 # Wenn die Datenbank MIT Historie angelegt wurde, man diese aber gar nicht braucht, 
    202 # dann hinterher aufraeumen der historischen Objekte  
    203     #echo "** geendete Objekte entfernen:" 
    204 # Function: 
    205     #echo 'SELECT alkis_delete_all_endet();' | psql $con 
    206     #echo "  ... geendete Objekte entfernen wurde fuer Test dektiviert." 
    207     #echo "  Bitte manuell ausfuehren:  SELECT alkis_delete_all_endet(); " 
     192 
     193     # Durch Einfuegen in Tabelle 'delete' werden Loeschungen anderer Tabellen getriggert 
     194     echo "** delete-Tabelle enthaelt:" 
     195     psql $con -c 'SELECT COUNT(featureid) AS delete_zeilen FROM "delete";' 
     196 
     197     echo "   delete-Tabelle loeschen:" 
     198     psql $con -c 'TRUNCATE table "delete";' 
     199 
     200    # Wenn die Datenbank MIT Historie geladen wurde, man diese aber gar nicht braucht, 
     201    # dann hinterher aufraeumen der historischen Objekte  
     202    echo "** geendete Objekte entfernen:" 
     203 
     204    # Function: 
     205    psql $con -c "SELECT alkis_delete_all_endet();" 
     206 
    208207  fi 
     208 
    209209  echo "Das Fehler-Protokoll wurde ausgegeben in die Datei $errprot" 
    210   #echo "HINWEIS: -skipfailures  fuer Produktion wieder einschalten." 
     210  
  • trunk/import/pp_definition.sql

    r325 r328  
    1616--  2012-10-24 Neue Tabelle fÃŒr die PrÀsentation von Straßennamen und -Klassifikationen 
    1717--  2014-08-25 Straßennamen aufteilen in _P und L 
     18--  2014-09-08 Korrektur 
    1819 
    1920-- ============================ 
     
    407408-- :alkis_epsg = 25832 
    408409SELECT AddGeometryColumn('pp_strassenname_l','the_geom',25832,'LINESTRING',2); -- Hier liegt der Unterschied 
    409 CREATE INDEX pp_snaml_gidx ON pp_strassenname USING gist(the_geom);  
     410CREATE INDEX pp_snaml_gidx ON pp_strassenname_l USING gist(the_geom);  
    410411 
    411412  COMMENT ON TABLE  pp_strassenname_l                IS 'Post-Processing: Label der Straßennamen in der Karte, Liniengeometrie. Auszug aus ap_lto.'; 
  • trunk/import/sichten.sql

    r320 r328  
    7474-- Test-Ausgabe: Ein paar FÀlle mit "Recht an" 
    7575--   SELECT * FROM doppelverbindung WHERE ba_dien > 0 LIMIT 20; 
    76  
    7776 
    7877 
     
    252251 IS 'View fÃŒr einen CSV-Export aus der Buchauskunft mit alkisexport.php. Generelle Struktur. FÃŒr eine bestimmte gml_id noch den Filter setzen.'; 
    253252 
    254 --GRANT SELECT ON TABLE exp_csv TO mb27;       -- User fÃŒr Auskunfts-Programme 
     253  GRANT SELECT ON TABLE exp_csv TO mb27;       -- User fÃŒr Auskunfts-Programme 
    255254--GRANT SELECT ON TABLE exp_csv TO alkisbuch;  -- User fÃŒr Auskunfts-Programme RLP-Demo 
    256255 
     
    373372 IS 'View fÃŒr einen CSV-Export aus der Buchauskunft mit alkisexport.php. Liefert nur FlurstÃŒcke, die eine Lagebezeichnung MIT/OHNE Hausnummer haben. Dazu noch den Filter auf GML-ID der Straßentabelle setzen.'; 
    374373 
    375 --GRANT SELECT ON TABLE exp_csv_str TO mb27;       -- User fÃŒr Auskunfts-Programme 
     374  GRANT SELECT ON TABLE exp_csv_str TO mb27;       -- User fÃŒr Auskunfts-Programme 
    376375--GRANT SELECT ON TABLE exp_csv_str TO alkisbuch;  -- User fÃŒr Auskunfts-Programme RLP-Demo 
    377376 
  • trunk/import/sichten_wms.sql

    r325 r328  
    342342-- In der Tabelle werden dann die leer gebliebenen Label aus dem Katalog noch ergÀnzt. 
    343343 
    344 DROP VIEW ap_lto_stra; 
    345  
     344-- DROP VIEW ap_lto_stra; 
    346345CREATE OR REPLACE VIEW ap_lto_stra  
    347346AS  
Note: See TracChangeset for help on using the changeset viewer.