docu_build/doc/lib_skripte.md

Skripte in lib/

Übersicht über die Python-Hilfsskripte zur Datenaufbereitung (Excel/PDF/Word -> JSON/CSV/RST). Alle Skripte werden über bin/*.bat bzw. bin/*.sh aufgerufen und nutzen die Umgebungsvariablen aus bin/setenv.* (PROJECT, PV_EXAMPLES, PV_DATA, ...).

jsonFromXlsx.py

Baut aus der Positionsspalte einer Excel-Stückliste (Stk.-Liste SOLL / Stk.-Liste IST) eine hierarchische JSON-Baumstruktur. Positionspfade wie 10/5/1 bestimmen die Schachtelung, als Schlüssel dient die Teilenummer (bei Duplikaten ergänzt um Bezeichnung). Sonderfälle:

• Längenabhängige Teile (LAENGENABHAENGIG-Liste, z. B. Kettenprofile): Menge wird als laenge aufsummiert statt gezählt.
• 9-stellige Sivas-Nummern: doppelte Vorkommen werden zu {"anzahl": n, "beschreibung": ...} aggregiert.

python jsonFromXlsx.py --filename Fortna --tab soll
python jsonFromXlsx.py --all

Eingabe: examples/*.xlsx · Ausgabe: results/<name>_<tab>.json

extract_ids.py

Liest die von jsonFromXlsx.py erzeugten JSON-Bäume und sammelt 9-stellige Sivas-Nummern, die genau eine Ebene über den Blättern liegen (d. h. Baugruppen, deren Kinder alle Blätter sind). Kann Ergebnisse mehrerer Projekte zu einer Summary zusammenfassen.

python extract_ids.py --filename KA135776
python extract_ids.py --all --sum2json
python extract_ids.py --all --sum2txt

Eingabe: results/*_<tab>.json · Ausgabe: results/<name>_ids_<tab>.txt bzw. results/summary_ids_<tab>.{json,txt}

project_from_xlsx.py

Durchsucht rekursiv Unterordner in PV_EXAMPLES, liest je Ordner die erste .xlsx aus dem Reiter Stk.-Liste IST (Position/Teilenummer/Bezeichnung/Menge) und filtert auf Positionspfade mit 3 oder 4 Hierarchieebenen. Optional werden pro Ordner JSON/CSV/XLSX-Ergebnisdateien erzeugt; die XLSX-Variante aggregiert Mengen je Teilenummer und markiert bekannte Produktnummern aus cfg/product_numbers.cfg.

python project_from_xlsx.py --example-dir KA135776 --2csv
python project_from_xlsx.py --2json --2xlsx

extract_products.py

Extrahiert Bilder und Fließtext aus Produktprogramm-PDFs (data/Produktprogramm/*.pdf) mittels PyMuPDF. Bilder werden nach Zielordner (Omniflo/ILS/CPC/Gerüst/Trolley, siehe PDF_TARGETS) sortiert und per MD5 dedupliziert. Text wird anhand von Schriftgröße, Positions- und Nummerierungsheuristiken (inkl. TOC-Abgleich) in .de.rst-Dateien mit Überschriftenhierarchie umgewandelt.

python extract_products.py --data-dir data

Ausgabe: data/Produktprogramm/images/<ziel>/ und data/Produktprogramm/<pdf-name>.de.rst

collect_partnumbers.py

Sammelt 9-stellige Teilenummern aus den von extract_products.py erzeugten RST-Dateien, inklusive Bereichsnotation (834372007-011) und OCR-bedingt verklebter Zahlen. Gleicht die Nummern gegen eine Excel-Stückliste (data/KA*.xlsx, Reiter Stk.-Liste SOLL) ab und schreibt eine CSV mit Fundstelle, Kapitel und Bezeichnung.

python collect_partnumbers.py --data-dir data

Ausgabe: data/Produktprogramm/teilenummern.csv

convert_to_rst.py

Konvertiert Word-Dokumente (.docx, via mammoth) und Word-erstellte PDFs (via pdfminer, erkannt über PDF-Metadaten Creator/Producer) nach .rst. Ordnet Quelldateien anhand des Dateinamens automatisch einem Zielkapitel unter chapters/ zu (CHAPTER_MAPPING), erkennt benutzerdefinierte Word-Formatvorlagen (Ü1-Ü4 etc.) als Überschriftenebenen und speichert eingebettete Bilder neben der Ziel-RST.

python convert_to_rst.py <input_dir> chapters --dry-run
python convert_to_rst.py <input_dir> chapters --lang de

Typischer Ablauf

1. jsonFromXlsx.py --all – Stücklisten als JSON-Bäume aufbereiten
2. extract_ids.py --all --sum2json – Sivas-Nummern projektübergreifend sammeln
3. extract_products.py – Produktprogramm-PDFs in Bilder + RST zerlegen
4. collect_partnumbers.py – Teilenummern aus den RSTs mit der Stückliste abgleichen
5. convert_to_rst.py – vorhandene Word/PDF-Dokumentation in die Kapitelstruktur überführen