Changeset 412 for trunk/import

Timestamp:

11/09/18 14:17:35 (5 years ago)

Author:

frank.jaeger

Message:

Anpassung der ALKIS-Auskunft (PHP) an die Full-Schema-Version des ALKIS-Importers 3.0

Location:

trunk/import/norgis_alkis_pp

Files:

• postcreate.d/6_views_exp_csv.sql (added)
• postcreate.d/7_views_buchungsketten.sql (added)
• postcreate.d/9_optimize.sql (modified) (1 diff)
• postcreate.d/views_buchungsketten.sql (deleted)
• postcreate.d/views_exp_csv.sql (deleted)
• postprocessing.d/9_optimize.sql (modified) (4 diffs)

trunk/import/norgis_alkis_pp/postcreate.d/9_optimize.sql

@@ -1 @@
--- OSGeo4W64\apps\alkis-import-dev\postprocessing.d\9_optimize.sql
+-- OSGeo4W64\apps\alkis-import\postcreate.d\9_optimize.sql
 -- Optimieren von ALKIS-Datenbanken aus PostNAS.
 -- Optionaler Schritt nach dem Laden oder Aktualisieren.
--- Ziel ist die Reduzierung des Speicherplatzes und die Verbesserung der Verarbeitungs-Geschwindigkeit.
+-- Ziel ist die Verbesserung der Verarbeitungs-Geschwindigkeit.
 
--- 2018-10-29 krz Mi-Ra/Li: Idee "Clustering" aus der PostNAS-Sitzung.
+-- 2018-11-09 krz Mi-Ra/Li: Full-Schema
 
-  SELECT 'Optimierung der Datenbank lÀuft ...' AS info;
-
--- Anzeige der Größe der Datenbank vor der Optimierung.
--- https://www.postgresql.org/docs/current/static/functions-admin.html
-  SELECT pg_database_size(:'DBNAME') AS db_groesse_vorher;
-
-
--- Wenn keine historischen Objekte verwendet werden sollen, dann können alle Objekte gelöscht werden, 
---  die einen Eintrag in der Spalte "endet" haben (endet IS NULL).
--- Sollte auskommentiert werden, wenn im NBA-Verfahren bewusst die Abgabeart "3100 fallbezogen (mit Historie)" verwendet wird 
---  und die historischen Objekte von der Anwendung gefiltert angezeigt werden können.
-  SELECT alkis_delete_all_endet();
-
-
--- Der Konverter ogr2ogr/NAS liest in einem zweiten Durchlauf durch die NAS-Datei die 
---  DatensÀtze mit den Operationen DELETE, REPLACE und UPDATE.
--- Diese SÀtze werden in die Tabelle "delete" eingefÌgt, wo sie Ìber einen Datenbank-Trigger die FortfÌhrung der Objekt-Tabellen auslösen.
--- Danach können die SÀtze der delete-Tabelle wieder gelöscht werden.
-  TRUNCATE delete;
-
-
--- Die Tabelle "alkis_beziehungen" hat in einer frÃŒhen Version des Konverters die Beziehungen zwischen ALKIS-Objekten abgebildet.
--- Sie wurde ersetzt durch direkte Relationn zwischen den Objekt-Tabellen.
--- Die Tabelle "alkis_beziehungen" sollte von auswertenden Programmen nicht mehr verwendet werden.
--- Falls sie vom Konverter (Importer) noch gefÌllt wird, kann der Inhalt gelöscht werden.
--- Der Befehl TRUNCATE ist schneller, kann aber nur vom EigentÃŒmer verwendet werden. Ggf. ersetzen durch "DELETE". 
-  TRUNCATE alkis_beziehungen;
---DELETE FROM alkis_beziehungen;
-
-
--- Wie lange soll das Protokoll gespeichert bleiben?
--- Selektiv "alte" EintrÀge entfernen.
---  ts timestamp without time zone DEFAULT now(),
-  SELECT 'Importlog vom ' || date(min(ts)) || ' bis ' || date(max(ts)) AS vorher FROM alkis_importlog;
-  DELETE FROM alkis_importlog WHERE (current_timestamp - ts) > interval '62 days';  -- ca. 2 Monate
-  SELECT 'Importlog vom ' || date(min(ts)) || ' bis ' || date(max(ts)) AS nachher FROM alkis_importlog;
-
-
--- C l u s t e r n  einiger Tabellen wie im Schritt postcreate.d definiert.
--- --------------------------------------------------------------------------
+-- C l u s t e r n  der Darstellungstabellen mit dem geometrischen Index
+-- -------------------------------------------------------------------------
 -- https://www.postgresql.org/docs/9.4/static/sql-cluster.html
 -- CLUSTER [VERBOSE] table_name [ USING index_name ]
 
-  CLUSTER ; 
+  CLUSTER po_labels    USING po_labels_point_idx;  -- hat 2 Geometrie-Felder!
+  CLUSTER po_lines     USING po_lines_line_idx;
+  CLUSTER po_points    USING po_points_point_idx;
+  CLUSTER po_polygons  USING po_polygons_polygons_idx;
 
-
--- Reorganisation des Speichers.
--- Dauert je nach DB-Größe einen Weile. Die Datenbank is wÀhrend dieser Zeit nur eingeschrÀnkt benutzbar.
-  VACUUM full;
-
-
--- Größe der Datenbank nach der Optimierung anzeigen.
-  SELECT pg_database_size(:'DBNAME') AS db_groesse_nachher;
+-- Die Datenbank ist zum Zeitpunkt der Verarbeitung (postcreate) dieses Skriptes noch nicht gefÃŒllt,
+-- daher erfolgt hier noch keine wirkliche Sortierung der DatensÀtze.
+-- Die gewÃŒnschte Clusterung wird aber gespeichert. Nach der Aktualisierung der Daten (Schritt "postprocessing") 
+-- kann der SQL-Befehl "CLUSTER;" ohne weitere Parameter ausgefÃŒhrt werden. Es wird dann alles neu geclustert, so wie hier definiert.
 
 -- ENDE --

trunk/import/norgis_alkis_pp/postprocessing.d/9_optimize.sql

@@ -10 +10 @@
 -- Anzeige der Größe der Datenbank vor der Optimierung.
 -- https://www.postgresql.org/docs/current/static/functions-admin.html
--- ++ Formatierung in besser lesbarem Zahlenformat mit . nach je 3 Stellen.
   SELECT pg_database_size(:'DBNAME') AS db_groesse_vorher;
 
@@ -23 +22 @@
 -- Der Konverter ogr2ogr/NAS liest in einem zweiten Durchlauf durch die NAS-Datei die 
 --  DatensÀtze mit den Operationen DELETE, REPLACE und UPDATE.
--- Diese SÀtze werden in die Tabelle "delete" eingefÌgt, wo sie Ìber einen Datenbank-Trigger die FortfÌhrung der Obejkt-Tabellen auslösen.
+-- Diese SÀtze werden in die Tabelle "delete" eingefÌgt, wo sie Ìber einen Datenbank-Trigger die FortfÌhrung der Objekt-Tabellen auslösen.
 -- Danach können die SÀtze der delete-Tabelle wieder gelöscht werden.
   TRUNCATE delete;
@@ -38 +37 @@
 
 -- Wie lange soll das Protokoll gespeichert bleiben?
--- Ggf. seletiv nur "alte" EintrÀge entfernen: WHERE ... ?  
---TRUNCATE alkis_importlog;
+-- Selektiv "alte" EintrÀge entfernen.
 --  ts timestamp without time zone DEFAULT now(),
   SELECT 'Importlog vom ' || date(min(ts)) || ' bis ' || date(max(ts)) AS vorher FROM alkis_importlog;
@@ -46 +44 @@
 
 
--- C l u s t e r n  einiger Tabellen wie im Schritt postcreate definiert.
+-- C l u s t e r n  einiger Tabellen wie im Schritt postcreate.d definiert.
 -- --------------------------------------------------------------------------
 -- https://www.postgresql.org/docs/9.4/static/sql-cluster.html