Hier sieht man anhand der Beispiele für welche Lösung (Trennen oder nicht Trennen) man sich bei den dargestellten Problemen entschieden hat.
1.
Problem: Datum, Uhrzeit, Leerzeichen vergessen
Inputstring:
Tokens:
Inputstring:
Aachen,den20.04.2012(13:49):
Tokens:
Aachen , den 13.09.2015 ( 11:49 ) :
2.
Problem: Smiley direkt nach Satzende, Punkt nach Abkürzung, 'es' mit 's' abgekürzt
Inputstring:
Tokens:
Inputstring:
Was gibts denn so??;) (bzw. wie geht´s?)
Tokens:
Was gibt s denn so ?? ;) ( bzw. wie geht ´s ? )
3.
Problem: Leerzeichen vergessen oder URL?
Inputstring:
Tokens:
Inputstring:
schau.mal auf hallo12345.de^^ oder hallo12345.de/index.php
Tokens:
schau . mal auf hallo12345.de ^^ oder hallo12345.de/index.php
4.
Problem: Anführungszeichen bei Bindewörtern
Inputstring:
Tokens:
Inputstring:
"Test"-Verfahren und "Test-Verfahren" Hannes123-Str.
Tokens:
"Test"-Verfahren und " Test-Verfahren " Hannes123-Str.
5.
Problem: Zusammengestzte Bindewörter
Inputstring:
Tokens:
Inputstring:
Lach- und Sach&Fach-Geschichten
Tokens:
Lach- und Sach&Fach-Geschichten
6.
Problem: Zusammenhalten bei Konflikten zwischen Simileys, Satzzeichen, Aufzählungen
Inputstring:
Tokens:
Inputstring:
a) lalal(a) (ergebnis): ): :D :Das bild: d: bild:)
Tokens:
a) lalal ( a ) ( ergebnis ) : ): :D : Das Bild : d: bild :)
7.
Problem: Zahlenangaben und Einheiten
Inputstring:
Tokens:
Inputstring:
1,99€ 2,- -2,478Meter 1280x1024 1280*1024 12km/h
Tokens:
1,99 € 2,- - 2,478 Meter 1280 x 1024 1280 * 1024 12 km/h
8.
Problem: Aufzählung, Rechnungen, Produktnamen
Inputstring:
Tokens:
Inputstring:
1. 65,3-50.3=30/2 65xt-50
Tokens:
1. 65,3 - 50.3 = 30 / 2 65xt-50
9.
Problem: Zusammenhängende Namen
Inputstring:
Tokens:
Inputstring:
Tariq81 81Tariq Tariq_81 81_Tariq Tariq-81 81-Tariq
Tokens:
Tariq 81 81 Tariq Tariq _ 81 81 _ Tariq Tariq-81 81-Tariq