Lexer als Hilfswerkzeuge

Ein Lexical-Analzyer oder Scanner kann Scripte ergänzen, wo Suchen/Ersetzen Grenzen erreicht.

Beispiele

• Wandlung von CSV-Dateien mit Kommata und Hochkommata in solche mit Semikola ohne Hochkommata
• Kommentierung einer Altgriechisch-Grammatik in einem privaten Cloudreader (analog Amazon-Kindle)
• Ein Altgriechisch-Konverter
• Suche in einem Altgriechisch-Wörterbuch

Beispiel CSV-Wandlung

Um CSV-Dateien mit Skripten (bash, awk, sed) zu verarbeiten, sollte das Spaltentrennzeichen nicht innerhalb von Spalteninhalten vorkommen. Der Default-Export von Microsoft-Excel etwa verwendet Semikola als Spaltentrenner, wodurch Kommata innnerhalb von Texten oder Zahlen nicht quoted sein müssen. Für Script-Anwendungen dagegen ist aufwendig, eine CSV-Datei mit einer Mischung spaltentrennender Kommata und in Hochkommata eingeschlossener echter Kommata (z.B. als Dezimaltrenner bei Zahlen oder Trenner von Nach- und Vornamen) korrekt zu verarbeiten.

• Schlechtes CSV: "Dr. Breinlinger, Heinz","32,68",Einzahlung
• Gutes CSV: Dr. Breinlinger, Heinz;32,68;Einzahlung

Zielführend hier ist, den zeichenweisen Scan des menschlichen Betrachters nachzuahmen und bei bei öffnenden wie schließenden Hochkommata schlicht die Ausgabe-/Ersetzungsregel für Hochkommata zu wechseln.

Der lex/flex-Scanner beginnt im Zustand OUTSIDESTRING, in welchem Kommata als Semikola, alle anderen Zeichen außer Hochkommata unverändert ausgegeben werden.
Das nächste gefundene Hochkomma versetzt den Scanner in den Zustand INSIDESTRING.
In diesem werden nun alle Zeichen außer Hochkommata (also einschließlich Kommata) unverändert ausgegeben und das nächste gefundene Hochkomma wechselt zurück in den Zustand OUTSIDESTRING

Beispiel Kommentierungs- und Suchfunktion in einem privaten Cloudreader

Beispiel für Overlay-Kommentierung einer lateinischen Grammatik



Problem

• Ein einziges griechisches Zeichen muss aus bis zu 5 Zeichen Betacode beschrieben werden
• Diese Betacode-Sequenzen sind Teilmengen voneinander, welche sich z.B. lediglich in einem iota subscriptum unterscheiden:
  • spiritus asper + akut + iota subscriptum + eta: (/|h wird zu ᾕ
  • spiritus asper + akut + eta: (/h wird zu ἥ
• Das griechische Sigma wird im Wortinneren anders dargestellt als am Wortende.

1.) Altgriechisch Kommentieren

Ablauf

• Eingabe von Betacode im Browser (z.B. trap/ez|h)
• Aufruf des Lexers/Scanners im Backend mit Ajax
• Rückgabe von τραπέζῃ

Schema




Ausschnitt 1 des Scanners ...




Ausschnitt 2 für verschiedene Behandlung von ς und σ in Wortinnerem und an Wortende

2.) Nachschlagen altgriechischer Worte in Backend-Wörterbuch

Problem

• für Suche in einem (selbst erstellten) Wörterbuchindex müssen griechische Worte als Betacode ohne Sonderzeichen einzugeben sein
• manche griechischen Zeichen werdn durch mehrere Betacodezeichen codiert und einige Pseudocode-Zeichen sind keine Buchstaben
  • Mehrfachcodierung: ch <=> χ
  • Sonderzeichencodierung: (t => θ
• die Position griechischer und römischer Zeichen weichen oft voneinander ab (obiges χ etwa steht an Stelle 22 im griechischen Alphabet, während die codierenden ch an Stelle 3 und 8 des römischen stehen.

Lösung

• Backend: erstelle die Indexdatei aus allen Paaren von Wort und Seitenzahl. Verwende jedoch nur alle ersten Wort einer Buchdoppelseite und übersetze diese in Betacode ohne spiritus, Akzente und iota sub-/adscriptum.
• Frontend: Gib den zu findenden Eintrag als Betacode wie oben in die Suchmaske ein
• Backend: Erzeuge eine neue Datei aus Indexdatei und Suchbegriff
• Bilde diese Datei mit einem Lexer wie folgt virtuell (== rein logisch ohne sprachliche Bedeutung) ab
  • ordne jeder Betacode-Darstellung eines griechischen Zeichens denjenigen Buchstaben im römischen Alphabet zu, welcher dieselbe Position (nicht notwendig dieselbe Bedeutung) hat
    • a für α (Position 1 im griechsichen Alphabet) => a => Position 1 im römischen Alphabet
    • (t für θ (Position 8 im griechischen Alphabet) => h => Position 8 im römischen Alphabet
• Das griechische Wort findet sich dann auf derjenigen Seite, welche in der virtuellen, sortierten Darstellung aus Indexdatei und Suchbegriff direkt vor letzterem steht

Indexdatei aus allen ersten Worten einer Wörterbuchdoppelseite in Betacodedarstellung ohne spiritus in Reihenfolge des griechischen Alphabetes




Lexer für die Abbildung jedes griechischen Zeichens als Betacode auf dasjenige römische Zeichen mit derselben Positionsnummer im römischen Alphabet



Liegt ein Wörterbuch bereits (nicht in Betacode, sondern Altgriechisch) digital vor, muss es in einem ersten Schritt mit sed um spiritus, Akzente, iota sub-/ascripta bereinigt in Betacode gewandelt werden

---

Impressum