...kennen
Nur die erste Version behalten
[REDACTED]holungen rausfiltern
Beispiel:
"Ich kann nicht mehr" (Nachricht 1)
"Ich kann wirklich nicht mehr" (Nachricht 3) → 99% identisch, wird entfernt
"Ich erkenne jetzt..." (Nachricht 10) → neu, bleibt drin
Schritt 3: Ich erstelle die komprimierte Version
Aus 7 Millionen Wörtern werden vielleicht 2-3 Millionen.
Das ist immer noch viel, ABER:
Jetzt kann ich sie in th...