Informix UNL-File Bereinigung #1

New Issue

danielq · 2023-04-28T05:40:15Z

danielq commented

2023-04-28 05:40:15 +00:00

Ziel ist es, Dateien von problematischen Zeichen zu befreien, so dass sie ohne Änderung in Postgres-UTF8 hochgeladen werden können:

in Informix dbexport-Dumps (unl-files wie in SuperX/BI üblich)
in SuperX/BI Unloads aus Informix ERP (COB, SVA, MBS)

-Die Java Klasse ist unabhängig von BI/SuperX lauffähig und benötigt nur eine Java Runtime, sowie ggf. benötigte Libraries.
-Sie kann bei Laderoutinen unter Pos.2 zwischen Unload und Load gesetzt werden

Die Java Klasse prüft alle Zeichen einer Textdatei gegen die Zeichentabelle UTF-8 (Dialekt für Postgres als Ziel-DB) und ersetzt problematische Zeichen durch Leerzeichen (oder ein anderes Zeichen nach Wahl). Beschreibung des Verhaltens der Klasse:

Notwendige Konfiguration (Umgebung):

JAVA_HOME
Zeichen zur Ersetzung (Default: Leerstring)
Zielcodierung (Default UTF-8)
Loglevel:
** DEBUG: Jedes Fehlzeichen wird protokolliert (Zeichen, Zeilennr, Zeichenpos.), in die Datei _eingabedatei.endung_problems.txt
** INFO (Default): Dateiname mit Fehlzeichen wird nach STDOUT ausgegeben
** SEVERE: Nur bei Laufzeitfehlern erfolgt eine Ausgabe

Argumente:

einzelner Dateipfad, oder
ein Verzeichnis (das dann rekursiv bis in den tiefsten Zweig des Baumes durchsucht wird)
bei Verzeichnis-Suche: Dateiendung für Wildcard Suche (Default *.unl)
dry-run: eine Vorschau welche Dateien/Zeichen entfernt werden
safe-run: Beibehaltung der Originaldateien (ja/nein): wenn Zeichen ersetzt werden wird eine Backup-Datei mit einer alternativen Endung ".orig" angelegt

Ausgabe:

Return Code 0 für Erfolg und 1 für Laufzeitfehler
Ausgabetext: "Es wurden x Dateien geprüft und y Dateien bereinigt, Laufzeit z Sek."
Dateiliste nach STDOUT bei Loglevel INFO

Ziel ist es, Dateien von problematischen Zeichen zu befreien, so dass sie ohne Änderung in Postgres-UTF8 hochgeladen werden können: 1. in Informix dbexport-Dumps (unl-files wie in SuperX/BI üblich) 2. in SuperX/BI Unloads aus Informix ERP (COB, SVA, MBS) -Die Java Klasse ist unabhängig von BI/SuperX lauffähig und benötigt nur eine Java Runtime, sowie ggf. benötigte Libraries. -Sie kann bei Laderoutinen unter Pos.2 zwischen Unload und Load gesetzt werden Die Java Klasse prüft alle Zeichen einer Textdatei gegen die Zeichentabelle UTF-8 (Dialekt für Postgres als Ziel-DB) und ersetzt problematische Zeichen durch Leerzeichen (oder ein anderes Zeichen nach Wahl). Beschreibung des Verhaltens der Klasse: Notwendige Konfiguration (Umgebung): * JAVA_HOME * Zeichen zur Ersetzung (Default: Leerstring) * Zielcodierung (Default UTF-8) * Loglevel: ** DEBUG: Jedes Fehlzeichen wird protokolliert (Zeichen, Zeilennr, Zeichenpos.), in die Datei _eingabedatei.endung_problems.txt ** INFO (Default): Dateiname mit Fehlzeichen wird nach STDOUT ausgegeben ** SEVERE: Nur bei Laufzeitfehlern erfolgt eine Ausgabe Argumente: * einzelner Dateipfad, oder * ein Verzeichnis (das dann rekursiv bis in den tiefsten Zweig des Baumes durchsucht wird) * bei Verzeichnis-Suche: Dateiendung für Wildcard Suche (Default *.unl) * dry-run: eine Vorschau welche Dateien/Zeichen entfernt werden * safe-run: Beibehaltung der Originaldateien (ja/nein): wenn Zeichen ersetzt werden wird eine Backup-Datei mit einer alternativen Endung ".orig" angelegt Ausgabe: * Return Code 0 für Erfolg und 1 für Laufzeitfehler * Ausgabetext: "Es wurden x Dateien geprüft und y Dateien bereinigt, Laufzeit z Sek." * Dateiliste nach STDOUT bei Loglevel INFO

Sign in to join this conversation.

1 Participants

Notifications

Due Date

No due date set.

Dependencies

No dependencies set.

Reference: Memtext/FileConverting#1