bugfixing Conservative.pm
1. identified wrong tokenization caused by wrong pattern match ($3)
(wrote a test in t/tokenization.t, that shows the wrong tokenization)
2. removed wrong pattern match ($3) and adjusted test in t/tokenization.t
3. cleaned up (also changed some comments)
4. fixed missing tokenization of first punctuation char
5. exchanged [^A-Za-z0-9] by [\p{Punct}\s]
(TODO: yet no approp. test found)
Change-Id: Ib494c79c3e6971a57ad874fc62583c625095cf28
diff --git a/t/data/wikipedia_small.txt b/t/data/wikipedia_small.txt
new file mode 100644
index 0000000..384bdf9
--- /dev/null
+++ b/t/data/wikipedia_small.txt
@@ -0,0 +1,25 @@
+
+Banner logo
+
+Mach mit beim Wettbewerb „Wikipedia-Artikel brauchen Fotos“ und gewinne einen Preis.
+Ausblenden
+Dieser Artikel existiert auch als Audiodatei.
+Wikipedia
+Zur Navigation springen
+Zur Suche springen
+Dieser Artikel behandelt die freie Online-Enzyklopädie Wikipedia. Für die deutschsprachige Ausgabe siehe Deutschsprachige Wikipedia, für den gleichnamigen Asteroiden siehe (274301) Wikipedia.
+Wikipedia
+Eine aus Puzzleteilen zusammengesetzte, oben noch nicht ganz geschlossene, hellgraue Kugel; die Puzzleteile tragen Schriftzeichen in verschiedenen Sprachen
+Logo der Wikipedia
+www.wikipedia.org (Startseite)
+de.wikipedia.org (deutschsprachige Version)
+Motto Die freie Enzyklopädie
+Beschreibung Wiki einer freien, kollektiv erstellten Online-Enzyklopädie
+Registrierung optional
+Sprachen 294 aktive und 10 geschlossene Sprachversionen[1]
+Eigentümer Wikimedia Foundation
+Urheber angemeldete und nicht angemeldete Autoren
+Erschienen 15. Januar 2001
+Artikel Über 49,3 Millionen (Stand: Januar 2019)[2]
+
+davon deutschsprachig: de.wikipedia.org 2.452.974 (aktuell zum Zeitpunkt des Seitenaufrufs im Browser)[3]