Fix empty cardinal tokens and lemmas in FilterKeys
For example:
1000 1143
was after filtering:
1143
Disadvantage (and funny result) of implicit typing in Groovy.
Change-Id: I328cd3babb7de472a6e2ff2914f7559a954c4c8e
diff --git a/src/main/groovy/org/ids_mannheim/FilterKeys.groovy b/src/main/groovy/org/ids_mannheim/FilterKeys.groovy
index 1852f2d..ed0765e 100755
--- a/src/main/groovy/org/ids_mannheim/FilterKeys.groovy
+++ b/src/main/groovy/org/ids_mannheim/FilterKeys.groovy
@@ -116,7 +116,7 @@
log.info("Printing ${outNames[i]}")
for (int k : 0..myKeys[i].size()) {
- if (myKeys[i][k]) outStream.println("${keyArrays[i][k] - maxSpecialKeys}\t${k - maxSpecialKeys}")
+ if (myKeys[i][k]) outStream.println("${keyArrays[i][k]}\t${k - maxSpecialKeys}")
}
outStream.close()
log.info("Done printing ${outNames[i]}")
diff --git a/src/test/java/org/ids_mannheim/PseudonymizeTest.java b/src/test/java/org/ids_mannheim/PseudonymizeTest.java
index b7aaef1..a105d20 100644
--- a/src/test/java/org/ids_mannheim/PseudonymizeTest.java
+++ b/src/test/java/org/ids_mannheim/PseudonymizeTest.java
@@ -1,5 +1,8 @@
package org.ids_mannheim;
+import org.apache.commons.compress.compressors.CompressorException;
+import org.apache.commons.compress.compressors.CompressorInputStream;
+import org.apache.commons.compress.compressors.CompressorStreamFactory;
import org.junit.jupiter.api.AfterAll;
import org.junit.jupiter.api.BeforeAll;
import org.junit.jupiter.api.Test;
@@ -7,10 +10,11 @@
import static org.junit.jupiter.api.Assertions.*;
-import java.io.ByteArrayOutputStream;
-import java.io.File;
-import java.io.PrintStream;
+import java.io.*;
+import java.nio.charset.StandardCharsets;
+import java.nio.file.Files;
import java.nio.file.Path;
+import java.nio.file.Paths;
import java.util.concurrent.ConcurrentHashMap;
import java.util.logging.Logger;
@@ -46,6 +50,44 @@
}
@Test
+ void cardinalsArePseudonymizedCorrectlyTest() {
+ GeneratePseudonymKey.main(new String[]{"src/test/resources/cardinals_test_lemma_pos_freqs.tsv.gz"});
+ assertTrue(outContent.toString().contains("\n1000\t1"));
+ }
+
+ @Test
+ void filterTest() throws IOException, CompressorException {
+ final String TOKEN_KEY = "cardinals_token_key.tsv.gz";
+ final String LEMMA_KEY = "cardinals_lemma_key.tsv.gz";
+
+ Path tmpDir = Files.createTempDirectory("totalngrams");
+ String tmpDirPath = Files.createTempDirectory("totalngrams").toFile().getAbsolutePath();
+ Files.copy(Path.of("src/test/resources/"+ TOKEN_KEY), Paths.get(tmpDirPath, TOKEN_KEY));
+ Files.copy(Path.of("src/test/resources/"+ LEMMA_KEY), Paths.get(tmpDirPath, LEMMA_KEY));
+ FilterKeys.main(new String[]{
+ "-k", String.valueOf(Paths.get(tmpDirPath, TOKEN_KEY)),
+ "-k", String.valueOf(Paths.get(tmpDirPath, LEMMA_KEY)),
+ "src/test/resources/pseudo_cardinals_test_lemma_pos_freqs.0.tsv.gz"
+ });
+ CompressorInputStream inputStream = new CompressorStreamFactory().createCompressorInputStream(new BufferedInputStream(new FileInputStream(Paths.get(tmpDirPath, "cardinals_token_key.0.tsv.gz").toFile())));
+ String filteredKeys = new String(inputStream.readAllBytes(), StandardCharsets.UTF_8);
+ assertEquals (
+ "123\t0\n" +
+ "1000\t1\n" +
+ "Anfang\t2\n" +
+ "Ende\t3\n", filteredKeys);
+
+ inputStream = new CompressorStreamFactory().createCompressorInputStream(new BufferedInputStream(new FileInputStream(Paths.get(tmpDirPath, "cardinals_lemma_key.0.tsv.gz").toFile())));
+ filteredKeys = new String(inputStream.readAllBytes(), StandardCharsets.UTF_8);
+ assertEquals (
+ "123\t0\n" +
+ "1000\t1\n" +
+ "Anfang\t2\n" +
+ "Ende\t3\n", filteredKeys);
+ Files.delete(tmpDir);
+ }
+
+ @Test
void readKeyTest() {
ConcurrentHashMap map = (ConcurrentHashMap) Pseudonymize.readKey("src/test/resources/token.keys.gz", Logger.getLogger(""));
assertEquals(936, map.get("längst"));
diff --git a/src/test/resources/cardinals_lemma_key.tsv.gz b/src/test/resources/cardinals_lemma_key.tsv.gz
new file mode 100644
index 0000000..86a9033
--- /dev/null
+++ b/src/test/resources/cardinals_lemma_key.tsv.gz
Binary files differ
diff --git a/src/test/resources/cardinals_test_lemma_pos_freqs.tsv.gz b/src/test/resources/cardinals_test_lemma_pos_freqs.tsv.gz
new file mode 100644
index 0000000..0c1a77a
--- /dev/null
+++ b/src/test/resources/cardinals_test_lemma_pos_freqs.tsv.gz
Binary files differ
diff --git a/src/test/resources/cardinals_token_key.tsv.gz b/src/test/resources/cardinals_token_key.tsv.gz
new file mode 100644
index 0000000..86a9033
--- /dev/null
+++ b/src/test/resources/cardinals_token_key.tsv.gz
Binary files differ
diff --git a/src/test/resources/pseudo_cardinals_test_lemma_pos_freqs.0.tsv.gz b/src/test/resources/pseudo_cardinals_test_lemma_pos_freqs.0.tsv.gz
new file mode 100644
index 0000000..37f2cc7
--- /dev/null
+++ b/src/test/resources/pseudo_cardinals_test_lemma_pos_freqs.0.tsv.gz
Binary files differ
diff --git a/src/test/resources/token_lemma_pos_freqs.tsv b/src/test/resources/token_lemma_pos_freqs.tsv
new file mode 100644
index 0000000..dd270e9
--- /dev/null
+++ b/src/test/resources/token_lemma_pos_freqs.tsv
@@ -0,0 +1,1000 @@
+. . $. 134870098
+, , $, 126965247
+der die ART 64935117
+die die ART 54882541
+und und KON 50302414
+" " $( 40678679
+in in APPR 38193220
+den die ART 25292562
+: : $. 21626291
+mit mit APPR 19625776
+von von APPR 19157920
+im in APPRART 18037208
+ist sein VAFIN 17353539
+für für APPR 16924040
+sich sich PRF 16212656
+( ( $( 15377880
+) ) $( 15275201
+auf auf APPR 15007940
+Die die ART 14561658
+das die ART 14284512
+dem die ART 14118070
+des die ART 13920089
+nicht nicht PTKNEG 13405372
+ein eine ART 12464158
+es es PPER 11647940
+eine eine ART 11351762
+auch auch ADV 11248024
+zu zu PTKZU 10610573
+- - $( 10082587
+«END» «END» «STARTEND» 9998210
+«START» «START» «STARTEND» 9998210
+am an APPRART 9425418
+an an APPR 8431023
+als als KOKOM 8079723
+Der die ART 8076204
+hat haben VAFIN 7952538
+bei bei APPR 7911967
+aus aus APPR 7607936
+sie sie PPER 7390849
+dass dass KOUS 7329041
+er er PPER 7278803
+wird werden VAFIN 6980686
+sind sein VAFIN 6975732
+die die PRELS 6944929
+nach nach APPR 6866638
+zum zu APPRART 6540389
+zu zu APPR 6441894
+' " $( 6339130
+noch noch ADV 6280680
+einem eine ART 6001379
+war sein VAFIN 5947381
+einen eine ART 5828694
+Uhr Uhr NN 5722208
+einer eine ART 5598961
+über über APPR 5277361
+werden werden VAINF 5217755
+so so ADV 5167967
+um um APPR 4955525
+vor vor APPR 4898192
+nur nur ADV 4632442
+oder oder KON 4438059
+/ / $( 4013128
+wurde werden VAFIN 3999098
+zur zu APPRART 3988071
+Das die ART 3973952
+wie wie KOKOM 3895938
+man man PIS 3814259
+In in APPR 3800160
+haben haben VAFIN 3786224
+? ? $. 3754716
+Sie Sie PPER 3683492
+bis bis APPR 3643223
+gegen gegen APPR 3409425
+wir wir PPER 3338930
+Euro Euro NN 3269830
+der die PRELS 3252080
+aber aber ADV 3247113
+hatte haben VAFIN 3233880
+unter unter APPR 3177003
+das die PDS 3157737
+mehr mehr ADV 3143033
+Es es PPER 3130583
+ich ich PPER 3062209
+kann können VMFIN 3041118
+vom von APPRART 3023538
+wieder wieder ADV 3021268
+durch durch APPR 2970343
+sei sein VAFIN 2960691
+schon schon ADV 2889005
+Das die PDS 2852465
+werden werden VAFIN 2833972
+Jahr Jahr NN 2720221
+zwei zwei CARD 2699589
+Jahren Jahr NN 2699376
+beim bei APPRART 2602426
+„ " $( 2554191
+habe haben VAFIN 2534052
+gibt geben VVFIN 2532084
+dann dann ADV 2526097
+Im in APPRART 2509477
+Und und KON 2452135
+ihre ihr PPOSAT 2365367
+Ein eine ART 2355460
+wenn wenn KOUS 2288090
+sein sein VAINF 2282922
+Wir wir PPER 2277192
+immer immer ADV 2274314
+um um KOUI 2266969
+seine sein PPOSAT 2262165
+Mit mit APPR 2254849
+sagt sagen VVFIN 2239457
+soll sollen VMFIN 2233378
+Ich ich PPER 2155978
+“ " $( 2126623
+wie wie KOUS 2079441
+Er er PPER 2062400
+Auch auch ADV 2059436
+Prozent Prozent NN 2036184
+waren sein VAFIN 1995451
+Jahre Jahr NN 1994129
+drei drei CARD 1985477
+1 1 CARD 1960724
+an an PTKVZ 1927839
+sagte sagen VVFIN 1904814
+keine keine PIAT 1851886
+will wollen VMFIN 1823589
+seiner sein PPOSAT 1807407
+wurden werden VAFIN 1798562
+Für für APPR 1793411
+seit seit APPR 1760862
+ersten erst ADJA 1751929
+muss müssen VMFIN 1748368
+Nach nach APPR 1743027
+sehr sehr ADV 1736639
+diesem dies PDAT 1730038
+aber aber KON 1726612
+; ; $. 1725235
+Am an APPRART 1706308
+haben haben VAINF 1694941
+geht gehen VVFIN 1691516
+neue neu ADJA 1661141
+dieser dies PDAT 1660179
+bis bis KON 1645982
+bereits bereits ADV 1629306
+aus aus PTKVZ 1610612
+2 2 CARD 1598895
+nun nun ADV 1596394
+gut gut ADJD 1593082
+sowie sowie KON 1578866
+eines eine ART 1572205
+Menschen Mensch NN 1571952
+können können VMFIN 1566927
+jetzt jetzt ADV 1545822
+zwischen zwischen APPR 1542208
+ins in APPRART 1534851
+Bei bei APPR 1528235
+Zeit Zeit NN 1524663
+heute heute ADV 1522012
+Stadt Stadt NN 1505392
+0 @card@ CARD 1485903
+Eine eine ART 1484096
+So so ADV 1477914
+neuen neu ADJA 1464788
+! ! $. 1464000
+Von von APPR 1461367
+Kinder Kind NN 1453661
+worden werden VAPP 1430131
+rund rund ADV 1428858
+ihren ihr PPOSAT 1418345
+alle alle PIAT 1413117
+seinen sein PPOSAT 1393949
+diese dies PDAT 1372715
+Ende Ende NN 1346568
+das die PRELS 1339700
+ab ab APPR 1331031
+selbst selbst ADV 1327534
+20 20 CARD 1322815
+ganz ganz ADV 1322696
+ein ein PTKVZ 1314240
+sein sein PPOSAT 1296212
+was was PRELS 1287289
+Millionen Million NN 1285763
+ihrer ihr PPOSAT 1277637
+seinem sein PPOSAT 1255146
+steht stehen VVFIN 1254490
+hatten haben VAFIN 1238632
+etwa etwa ADV 1224389
+sondern sondern KON 1223450
+weil weil KOUS 1198041
+hier hier ADV 1195979
+Auf auf APPR 1183078
+Doch doch KON 1183073
+viele viele PIAT 1182255
+Sonntag Sonntag NN 1180337
+vier vier CARD 1178852
+damit damit PAV 1169324
+einmal einmal ADV 1154737
+dabei dabei PAV 1143914
+Deutschland Deutschland NE 1120455
+ihr ihr PPOSAT 1118998
+auf auf PTKVZ 1118755
+können können VMINF 1094804
+ohne ohne APPR 1087034
+Samstag Samstag NN 1073700
+Aber aber KON 1071235
+beiden beide PIAT 1070707
+allem alle PIS 1070681
+Wenn wenn KOUS 1065514
+kommt kommen VVFIN 1055163
+gab geben VVFIN 1051537
+erst erst ADV 1049944
+000 @card@ CARD 1046672
+ihn er PPER 1042207
+ihm er PPER 1035172
+müssen müssen VMFIN 1029637
+Als als KOKOM 1018171
+seien sein VAFIN 1014384
+Platz Platz NN 1011427
+– - $( 1008109
+konnte können VMFIN 1004463
+gestern gestern ADV 980775
+fünf fünf CARD 972959
+Polizei Polizei NN 971970
+vergangenen vergangen ADJA 971553
+dort dort ADV 960519
+als als KOUS 960222
+kein keine PIAT 957166
+15 15 CARD 955158
+sollen sollen VMFIN 954264
+werde werden VAFIN 947909
+ab ab PTKVZ 946762
+wegen wegen APPR 929778
+alles alle PIS 921650
+Frau Frau NN 919357
+letzten letzt ADJA 912130
+machen machen VVINF 902325
+Tag Tag NN 900553
+dafür dafür PAV 892307
+Mann Mann NN 884471
+kam kommen VVFIN 879104
+vor vor PTKVZ 872717
+mehr mehr PIAT 866005
+3 3 CARD 862860
+uns wir PPER 862502
+ihrem ihr PPOSAT 861818
+wo wo PWAV 859948
+dazu dazu PAV 859402
+stehen stehen VVFIN 858379
+18 18 CARD 858196
+da da ADV 845073
+Freitag Freitag NN 842048
+Leben Leben NN 838458
+erste erst ADJA 837328
+doch doch ADV 834133
+dieses dies PDAT 830928
+Berlin Berlin NE 825634
+wäre sein VAFIN 824849
+Wer wer PWS 824509
+weiter weiter ADV 824011
+Straße Straße NN 820379
+großen groß ADJA 816552
+1. 1. ADJA 815810
+zehn zehn CARD 815802
+sollte sollen VMFIN 815649
+wollen wollen VMFIN 805919
+uns wir PRF 802643
+’ ' $( 798958
+... ... $. 797422
+ob ob KOUS 797307
+10 10 CARD 797225
+Spiel Spiel NN 796452
+jedoch jedoch ADV 794324
+könnte können VMFIN 787573
+Was was PWS 786951
+findet finden VVFIN 781931
+Welt Welt NN 779356
+14 14 CARD 778193
+Denn denn KON 777664
+mal mal ADV 777618
+allerdings allerdings ADV 772870
+lassen lassen VVINF 771577
+nichts nichts PIS 768852
+macht machen VVFIN 767877
+fast fast ADV 767441
+Land Land NN 763242
+Mal Mal NN 760306
+große groß ADJA 755959
+etwas etwas ADV 754275
+‘ ' $( 752739
+Arbeit Arbeit NN 749835
+zwar zwar ADV 748414
+4 4 CARD 747607
+Thema Thema NN 738446
+weitere weit ADJA 737422
+dpa dpa NE 734166
+ja ja ADV 734089
+> > $( 731225
+Da da ADV 730540
+würde werden VAFIN 728862
+sogar sogar ADV 723135
+Geld Geld NN 719845
+September September NN 718819
+Seite Seite NN 717051
+Foto Foto NN 716211
+Woche Woche NN 715870
+anderen andere PIAT 714319
+St. St. NE 708260
+17 17 CARD 706267
+zweiten zweit ADJA 705908
+Zum zu APPRART 704062
+denn denn KON 702395
+viel viele PIAT 701571
+Weg Weg NN 701365
+zurück zurück PTKVZ 700175
+Frauen Frau NN 699394
+Unternehmen Unternehmen NN 691582
+19 19 CARD 688297
+Bad Bad NE 687899
+Dabei dabei PAV 683732
+< < $( 678641
+davon davon PAV 677298
+16 16 CARD 676435
+Vor vor APPR 676026
+Wie wie KOUS 675923
+gewesen sein VAPP 675012
+sechs sechs CARD 672901
+also also ADV 671003
+ging gehen VVFIN 667330
+Den die ART 664978
+statt statt PTKVZ 664835
+mich ich PRF 662916
+mit mit PTKVZ 662522
+gemacht machen VVPP 662393
+liegt liegen VVFIN 658448
+SPD SPD NE 656519
+6 6 CARD 656423
+sieht sehen VVFIN 650928
+geben geben VVINF 650474
+später spät ADJD 649918
+diesen dies PDAT 649365
+deutschen deutsch ADJA 649152
+30 30 CARD 646653
+Michael Michael NE 646612
+einfach einfach ADJD 644395
+musste müssen VMFIN 643140
+Oktober Oktober NN 642683
+wohl wohl ADV 639622
+nächsten nah ADJA 639512
+Donnerstag Donnerstag NN 638636
+hätten haben VAFIN 638175
+gar gar ADV 636540
+Bürgermeister Bürgermeister NN 635621
+heißt heißen VVFIN 627639
+Montag Montag NN 626040
+bin sein VAFIN 625081
+Trainer Trainer NN 624940
+Mittwoch Mittwoch NN 624421
+Wochen Woche NN 623352
+Peter Peter NE 622835
+CDU CDU NE 622226
+Fall Fall NN 621296
+Haus Haus NN 621292
+zu zu PTKVZ 620668
+viel viel ADV 620238
+November November NN 617191
+hätte haben VAFIN 616407
+Gäste Gast NN 614780
+vielen viele PIAT 611519
+Minuten Minute NN 611010
+bleibt bleiben VVFIN 609735
+darauf darauf PAV 606081
+gerade gerade ADV 605144
+Thomas Thomas NE 603991
+Seit seit APPR 603765
+Juni Juni NN 603600
+SV SV NE 602619
+Frage Frage NN 599133
+Teil Teil NN 598561
+50 50 CARD 598505
+allen alle PIAT 597471
+möglich möglich ADJD 595655
+Man man PIS 594554
+eigenen eigen ADJA 594512
+würden werden VAFIN 594281
+Beispiel Beispiel NN 588992
+Mannschaft Mannschaft NN 587942
+mir ich PPER 585771
+zu zu PTKA 583080
+FC FC NE 583051
+An an APPR 580556
+gute gut ADJA 579771
+wollte wollen VMFIN 579582
+Team Team NN 575380
+Eltern Eltern NN 574543
+sehen sehen VVINF 572588
+ihnen sie PPER 571612
+Juli Juli NN 571261
+Dienstag Dienstag NN 569711
+derzeit derzeit ADV 568618
+Gemeinde Gemeinde NN 563737
+Mai Mai NN 561060
+dies dies PDS 560832
+deutlich deutlich ADJD 556366
+5 5 CARD 556233
+Familie Familie NN 551820
+Dezember Dezember NN 549721
+Januar Januar NN 549115
+Dass dass KOUS 548695
+Programm Programm NN 548194
+13 13 CARD 547236
+kommen kommen VVINF 543047
+ebenfalls ebenfalls ADV 542714
+Ziel Ziel NN 541960
+keinen keine PIAT 540217
+doch doch KON 540170
+August August NN 537945
+lässt lassen VVFIN 536261
+zeigt zeigen VVFIN 533048
+März März NN 532345
+konnten können VMFIN 530262
+100 100 CARD 529995
+oft oft ADV 529967
+Meter Meter NN 528747
+andere andere PIAT 526571
+Schüler Schüler NN 526481
+besser gut ADJD 525973
+nie nie ADV 525501
+bisher bisher ADV 524730
+& & KON 523223
+kaum kaum ADV 521402
+besonders besonders ADV 519667
+Zu zu APPR 518582
+Verein Verein NN 518190
+Damit damit PAV 513082
+Geschichte Geschichte NN 511926
+9 9 CARD 509174
+anderen andere PIS 509101
+Saison Saison NN 508870
+gilt gelten VVFIN 508817
+Dann dann ADV 508467
+Diese dies PDAT 507370
+Besucher Besucher NN 506493
+kommenden kommend ADJA 506331
+25 25 CARD 505576
+Musik Musik NN 503488
+einige einige PIAT 502716
+neben neben APPR 501757
+kleinen klein ADJA 497009
+USA USA NE 496870
+Zukunft Zukunft NN 495987
+schnell schnell ADJD 493608
+natürlich natürlich ADV 492910
+Schule Schule NN 491526
+Sieg Sieg NN 487290
+Tage Tag NN 484523
+lange lange ADV 482143
+Nur nur ADV 480753
+Anfang Anfang NN 480689
+pro pro APPR 480620
+alle alle PIS 480084
+Beim bei APPRART 479337
+gleich gleich ADJD 478782
+laut laut APPR 477690
+Region Region NN 476856
+April April NN 475010
+deshalb deshalb PAV 473508
+kommen kommen VVFIN 473399
+Mitarbeiter Mitarbeiter NN 473165
+40 40 CARD 473157
+sollten sollen VMFIN 469975
+aller alle PIAT 469520
+klar klar ADJD 468355
+Mitglieder Mitglied NN 468140
+anderem andere PIS 467444
+hinter hinter APPR 467062
+könne können VMFIN 466776
+sicher sicher ADJD 464585
+alten alt ADJA 463329
+Stunden Stunde|Stunden NN 462221
+Grund Grund NN 461795
+Ort Ort NN 460019
+11 11 CARD 459735
+möchte mögen VMFIN 458936
+acht acht CARD 457718
+12 12 CARD 457311
+Um um APPR 455922
+erklärt erklären VVFIN 455630
+— - $( 455230
+Nicht nicht PTKNEG 454588
+Erfolg Erfolg NN 452691
+weiß wissen VVFIN 451377
+neu neu ADJD 450396
+da da KOUS 450361
+tun tun VVINF 449277
+gehen gehen VVINF 448613
+unsere unser PPOSAT 448044
+erklärte erklären VVFIN 447978
+Dr. Dr. NN 447785
+Aus aus APPR 446634
+knapp knapp ADJD 445881
+weit weit ADJD 445458
+insgesamt insgesamt ADV 445373
+gehört gehören VVFIN 445033
+Beginn Beginn NN 444729
+Jahres Jahr NN 443982
+darf dürfen VMFIN 443819
+Wochenende Wochenende NN 443187
+andere andere PIS 442293
+beginnt beginnen VVFIN 441929
+sieben sieben CARD 441911
+Februar Februar NN 441348
+denen die PDS 440814
+Leute Leute NN 438646
+könnten können VMFIN 434246
+kurz kurz ADJD 432366
+Hier hier ADV 431996
+bietet bieten VVFIN 430847
+zunächst zunächst ADV 430274
+lang lang ADJD 430097
+stand stehen VVFIN 429900
+Martin Martin NE 427937
+Heute heute ADV 427166
+jeweils jeweils ADV 426324
+kleine klein ADJA 424323
+Dort dort ADV 422862
+Kosten Kosten NN 421560
+gemeinsam gemeinsam ADJD 421466
+Blick Blick NN 419801
+damals damals ADV 419217
+jeden jede PIAT 418112
+junge jung ADJA 417706
+genau genau ADJD 417346
+Kirche Kirche NN 417343
+Gruppe Gruppe NN 416963
+deutsche deutsch ADJA 415484
+Jetzt jetzt ADV 414271
+Bürger Bürger NN 413596
+Tagen Tag NN 413500
+Einsatz Einsatz NN 412395
+Männer Mann NN 412337
+G G NN 411693
+2. 2. ADJA 411664
+” " $( 411594
+geworden werden VAPP 409320
+Projekt Projekt NN 409279
+stellt stellen VVFIN 409040
+ihr ihr PPER 407537
+7 7 CARD 406146
+Abend Abend NN 405841
+daß dass KOUS 404924
+weiteren weit ADJA 403463
+eher eher ADV 402771
+Andreas Andreas NE 399331
+eigentlich eigentlich ADV 398615
+Regierung Regierung NN 398508
+schwer schwer ADJD 397719
+Titel Titel NN 397160
+Richtung Richtung NN 396663
+Christian Christian NE 396305
+hält halten VVFIN 396088
+guten gut ADJA 395744
+Spieler Spieler NN 395230
+:3 @card@ CARD 394390
+müssen müssen VMINF 393750
+Unter unter APPR 393230
+21 21 CARD 390832
+Milliarden Milliarde NN 390457
+gegeben geben VVPP 390200
+alte alt ADJA 389904
+Wolfgang Wolfgang NE 389074
+Punkte Punkt NN 388799
+darüber darüber PAV 388490
+Bereich Bereich NN 387376
+Dies dies PDS 387306
+Außerdem außerdem ADV 387061
+richtig richtig ADJD 386096
+8 8 CARD 383475
+Angaben Angabe NN 383440
+unserer unser PPOSAT 383339
+Informationen Information NN 382383
+Wie wie KOKOM 378635
+Wasser Wasser NN 377722
+führt führen VVFIN 377379
+II II CARD 377136
+Frankfurt Frankfurt NE 376996
+Ausstellung Ausstellung NN 376234
+Bild Bild NN 374279
+3. 3. ADJA 373436
+Höhe Höhe NN 373168
+stark stark ADJD 372997
+Rahmen Rahmen NN 371427
+Art Art NN 370752
+Während während KOUS 370515
+Zahl Zahl NN 370315
+per per APPR 370198
+wirklich wirklich ADJD 369711
+zuletzt zuletzt ADV 368776
+müsse müssen VMFIN 368716
+während während APPR 368685
+kamen kommen VVFIN 368534
+Namen Name NN 368504
+machte machen VVFIN 368194
+spielt spielen VVFIN 368121
+gekommen kommen VVPP 367833
+einer eine PIS 367366
+bleiben bleiben VVINF 367344
+Auto Auto NN 366965
+Kindern Kind NN 366330
+Nacht Nacht NN 366095
+Europa Europa NE 365728
+daran daran PAV 365672
+Deutschen deutsch ADJA 365330
+Entscheidung Entscheidung NN 365306
+zudem zudem ADV 364755
+Fragen Frage NN 363661
+Müller Müller NE 362552
+jungen jung ADJA 362432
+Internet Internet NN 362100
+zweite zweit ADJA 361831
+22 22 CARD 361629
+ließ lassen VVFIN 361559
+Telefon Telefon NN 361058
+seines sein PPOSAT 360702
+Hilfe Hilfe NN 358663
+Politik Politik NN 356932
+Präsident Präsident NN 356781
+ebenso ebenso ADV 356728
+60 60 CARD 356079
+Dazu dazu PAV 355556
+dagegen dagegen PAV 355411
+Über über APPR 355121
+Kreis Kreis NN 354979
+München München NE 354739
+Mark Mark NN 354518
+Verfügung Verfügung NN 353753
+Hand Hand NN 353313
+wichtig wichtig ADJD 352799
+Nun nun ADV 351165
+Zwei zwei CARD 349261
+diese diese PDS 349038
+Zudem zudem ADV 348966
+Neben neben APPR 346560
+Kunden Kunde NN 345929
+Entwicklung Entwicklung NN 345113
+Monaten Monat NN 344898
+jeder jede PIAT 344252
+wollen wollen VMINF 343875
+mehrere mehrere PIAT 343499
+Probleme Problem NN 343076
+bringen bringen VVINF 342802
+was was PWS 341038
+finden finden VVINF 340290
+Führung Führung NN 339760
+Mitte Mitte NN 339151
+allein allein ADV 338813
+anders anders ADV 337061
+sagen sagen VVINF 336900
+trotz trotz APPR 336591
+Mädchen Mädchen NN 336293
+Bühne Bühne NN 336199
+schließlich schließlich ADV 335884
+Chance Chance NN 335570
+Mutter Mutter NN 334427
+Noch noch ADV 333050
+erneut erneut ADJD 333019
+Kilometer Kilometer NN 333007
+gebracht bringen VVPP 332254
+Ihre ihr PPOSAT 332134
+Ergebnis Ergebnis NN 330717
+nehmen nehmen VVINF 329976
+19.30 19.30 CARD 329438
+Markt Markt NN 328139
+fest fest PTKVZ 327860
+ganze ganz ADJA 327584
+erstmals erstmals ADV 326950
+vielleicht vielleicht ADV 326634
+Feuerwehr Feuerwehr NN 325487
+Schon schon ADV 325362
+Problem Problem NN 324632
+stellte stellen VVFIN 324626
+Rolle Rolle NN 323935
+eigene eigen ADJA 322629
+Firma Firma NN 322588
+künftig künftig ADJD 322173
+lädt laden VVFIN 321358
+gegenüber gegenüber APPR 321030
+erzählt erzählen VVFIN 320789
+Publikum Publikum NN 319925
+Veranstaltung Veranstaltung NN 319905
+liegen liegen VVFIN 319410
+dritten dritt ADJA 318603
+Schweiz Schweiz NE 318374
+nimmt nehmen VVFIN 317795
+weiter weiter PTKVZ 317338
+zuvor zuvor ADV 315969
+Angebot Angebot NN 315654
+mussten müssen VMFIN 315107
+Hause Haus NN 314951
+Minute Minute NN 314540
+paar paar PIAT 313680
+Zeitung Zeitung NN 313585
+Österreich Österreich NE 313441
+den die PRELS 313325
+Zur zu APPRART 312920
+meine mein PPOSAT 312491
+Tel. Tel. NN 312116
+Wien Wien NE 311914
+4. 4. ADJA 310914
+Stück Stück NN 310502
+gerne gerne ADV 309705
+Kind Kind NN 309574
+Stefan Stefan NE 308463
+inzwischen inzwischen ADV 307709
+Allerdings allerdings ADV 307551
+zusammen zusammen PTKVZ 307550
+sofort sofort ADV 306276
+Sommer Sommer NN 305865
+Alle alle PIAT 305504
+Start Start NN 305354
+leicht leicht ADJD 305016
+bekommen bekommen VVINF 304964
+Teilnehmer Teilnehmer NN 304618
+Wahl Wahl NN 303904
+% % NN 303405
+zwölf zwölf CARD 303244
+groß groß ADJD 303016
+frei frei ADJD 302949
+eben eben ADV 302734
+weniger weniger ADV 302715
+Personen Person NN 302021
+zeigte zeigen VVFIN 300069
+Möglichkeit Möglichkeit NN 299992
+wer wer PWS 299792
+Unterstützung Unterstützung NN 299741
+Deshalb deshalb PAV 299478
+letzte letzt ADJA 298545
+Klaus Klaus NE 297713
+zusammen zusammen ADV 297366
+besten gut ADJA 296295
+überhaupt überhaupt ADV 296249
+Situation Situation NN 295882
+gefunden finden VVPP 295758
+gestellt stellen VVPP 295725
+Vater Vater NN 295294
+fand finden VVFIN 294066
+5. 5. ADJA 290655
+machen machen VVFIN 290267
+Erst erst ADV 290014
+gehen gehen VVFIN 289254
+Preis Preis NN 289235
+neun neun CARD 289088
+Berliner Berliner ADJA 289011
+200 200 CARD 288390
+blieb bleiben VVFIN 288030
+Raum Raum NN 287333
+nämlich nämlich ADV 287089
+Durch durch APPR 286209
+Jürgen Jürgen NE 285921
+setzt setzen VVFIN 284090
+Hans Hans NE 283791
+2000 2000 CARD 283705
+Partie Partie NN 283643
+Gesellschaft Gesellschaft NN 283250
+nächste nah ADJA 282763
+bislang bislang ADV 281922
+hoch hoch ADJD 281791
+Tor Tor NN 281770
+6. 6. ADJA 281769
+weiterhin weiterhin ADV 281610
+Ob ob KOUS 281582
+Herr Herr NN 280120
+Buch Buch NN 279941
+einigen einige PIAT 279637
+Viele viele PIAT 278882
+Seine sein PPOSAT 278165
+direkt direkt ADJD 278087
+Kopf Kopf NN 277881
+Partei Partei NN 277850
+de de NE 277028
+Bank Bank NN 276928
+Köln Köln NE 276903
+Monate Monat NN 276725
+deren die PRELAT 275603
+Weil weil KOUS 275035
+läuft laufen VVFIN 274964
+gebe geben VVFIN 274182
+24 24 CARD 274025
+dürfte dürfen VMFIN 273661
+Hamburg Hamburg NE 273647
+Sein sein PPOSAT 273497
+Film Film NN 273358
+Frank Frank NE 273336
+unterwegs unterwegs ADV 272812
+Konzert Konzert NN 272730
+SG SG NE 272650
+Wirtschaft Wirtschaft NN 272067
+Gespräch Gespräch NN 271138
+bringt bringen VVFIN 270773
+bald bald ADV 270722
+20. 20. ADJA 270377
+spielen spielen VVINF 270319
+TSV TSV NE 269590
+Tore Tor NN 269379
+meisten meist PIAT 269304
+halten halten VVINF 269095
++ + KON 268875
+mindestens mindestens ADV 268364
+Die die PDS 268033
+finden finden VVFIN 267839
+berichtete berichten VVFIN 267688
+neues neu ADJA 267631
+damit damit KOUS 267560
+Lage Lage NN 266887
+daher daher PAV 266787
+Amt Amt NN 265938
+Jugendliche Jugendliche NN 265758
+geplant planen VVPP 265740
+Bis bis KON 265660
+gehören gehören VVFIN 265548
+bekannt bekannt ADJD 265374
+FDP FDP NE 265145
+beispielsweise beispielsweise ADV 264958
+Folge Folge NN 264566
+80 80 CARD 264463
+Zuschauer Zuschauer NN 264108
+Schulen Schule NN 263914
+berichtet berichten VVFIN 263655
+ihres ihr PPOSAT 263642
+solche solche PIAT 263201
+Franz Franz NE 263095
+Kunst Kunst NN 262976
+Deutsche deutsch ADJA 262602
+Bayern Bayern NE 261929
+wissen wissen VVINF 261580
+beide beide PIAT 261226
+braucht brauchen VVFIN 261124
+alt alt ADJD 261070
+Ihr ihr PPOSAT 260687
+spricht sprechen VVFIN 260596
+7. 7. ADJA 259045
+Grünen Grüne NN 258845
+10. 10. ADJA 258757
+Alter Alter NN 258683
+500 500 CARD 258566
+verletzt verletzen VVPP 258423
+Arbeiten Arbeit|Arbeiten NN 258290
+Ab ab APPR 258209
+Stelle Stelle NN 258094
+morgen morgen ADV 257846
+Kritik Kritik NN 257457
+während während KOUS 257331
+eine eine PIS 257280
+offen offen ADJD 257049
+15. 15. ADJA 256593
+Weitere weit ADJA 256211
+Hälfte Hälfte NN 255807
+Aber aber ADV 255777
+Sache Sache NN 255505
+23 23 CARD 255287
+scheint scheinen VVFIN 254741
+Eintritt Eintritt NN 253944
+Glück Glück NN 253817
+ehemaligen ehemalig ADJA 253771
+Karten Karte NN 253615
+Spaß Spaß NN 253254
+bis bis KOUS 253135
+Geburtstag Geburtstag NN 252820
+Chancen Chance NN 252264
+sonst sonst ADV 252215
+Rathaus Rathaus NN 251899
+danach danach PAV 251718
+9. 9. ADJA 251580
+Markus Markus NE 251262
+zumindest zumindest ADV 251119
+Werner Werner NE 251055
+Gebäude Gebäude NN 250895
+Idee Idee NN 250858
+neuer neu ADJA 250682
+11. 11. ADJA 250562
+völlig völlig ADJD 250492
+stellen stellen VVINF 250176
+genug genug ADV 250142
+Leiter Leiter NN 249996
+brachte bringen VVFIN 249523
+Stunde Stunde NN 249463
+verschiedenen verschieden ADJA 249133
+Gegner Gegner NN 248823
+70 70 CARD 248665
+gewinnen gewinnen VVINF 248560
+Zusammenarbeit Zusammenarbeit NN 248396
+jede jede PIAT 248361
+Bau Bau NN 248037
+etwas etwas PIS 247718
+Josef Josef NE 247716
+hin hin PTKVZ 247333
+besteht bestehen VVFIN 247259
+genommen nehmen VVPP 247044
+Sicherheit Sicherheit NN 246882
+Interesse Interesse NN 246847
+meint meinen VVFIN 246753
+dürfen dürfen VMFIN 245936
+verloren verlieren VVPP 245767
+Druck Druck NN 245723
+zufrieden zufrieden ADJD 245376
+Franken Franke NN 245226
+recht recht ADJD 245225
+welche welche PRELS 245214
+Fans Fan NN 244921
+heutigen heutig ADJA 244686
+Runde Runde NN 244020
+Dafür dafür PAV 243958
+ -- NN 243566
+hohen hoch ADJA 243471
+8. @ord@ ADJA 243347
+nach nach PTKVZ 243336
+19. 19. ADJA 243294
+2008 @card@ CARD 243259
+Motto Motto NN 243251
+2010 @card@ CARD 242951
+www -- ADJD 242863
+teilte teilen VVFIN 242724
+du du PPER 242385
+Seiten Seite NN 242363
+Bilder Bild NN 242312
+Täter Täter NN 241260
+Besuch Besuch NN 241016
+Dollar Dollar NN 240940
+wollten wollen VMFIN 240745
+offenbar offenbar ADJD 240676
+Form Form NN 239853
+Sitzung Sitzung NN 239468
+Opfer Opfer NN 239373
+Wert Wert NN 238480
+Bereits bereits ADV 238381
+trifft treffen VVFIN 238022
+- -- NN 237857
+voll voll ADJD 237623
+Sport Sport NN 237267
+2009 @card@ CARD 236668
+Zeiten Zeit NN 236655
+13. 13. ADJA 236113
+Schweizer Schweizer ADJA 236105
+30. 30. ADJA 235452
+setzte setzen VVFIN 235171
+Vorsitzende Vorsitzende NN 235115
+New New NE 235093
+wenig wenige PIAT 235035
+mich ich PPER 234963
+endlich endlich ADV 234755
+Laut laut APPR 234699
+Band Band NN 234440
+Jugendlichen Jugendliche NN 233719
+Insgesamt insgesamt ADV 233588
+TV TV NE 233586
+Kampf Kampf NN 233464
+12. 12. ADJA 233395
+18. 18. ADJA 233381
+Kollegen Kollege NN 233288
+eingeladen einladen VVPP 233106
+lag liegen VVFIN 232870
+Sohn Sohn NN 232799
+Aktion Aktion NN 232583
+Geschäftsführer Geschäftsführer NN 232281
+Schmidt Schmidt NE 232018
+Aufgabe Aufgabe NN 231481
+Punkt Punkt NN 231304
+jedes jede PIAT 231176
+wenig wenige PIS 231100
+gesagt sagen VVPP 230689
+Landkreis Landkreis NN 230543
+Sicht Sicht NN 230490
+Mehr mehr ADV 230392
+führte führen VVFIN 230181
+etwas etwas PIAT 230158
+Gericht Gericht NN 230097
+Klasse Klasse NN 229730
+Schritt Schritt NN 229424
+Diese diese PDS 229335
+Einen eine ART 229255
+2006 @card@ CARD 229037
+nahm nehmen VVFIN 229023
+14. 14. ADJA 228465
+Pause Pause NN 228372
+Gegen gegen APPR 228304
+Herbst Herbst NN 228106
+gesehen sehen VVPP 227687
+unser unser PPOSAT 227452
+Künstler Künstler NN 226941
+hieß heißen VVFIN 226569
+gewann gewinnen VVFIN 225162
+schaffen schaffen VVINF 225143
+gewonnen gewinnen VVPP 225061
+nachdem nachdem KOUS 225047
+weniger wenige PIAT 224832
+Vergleich Vergleich NN 224656
+betonte betonen VVFIN 224548
+erhalten erhalten VVPP 224273
+durchaus durchaus ADV 224273
+deren die PDAT 224047
+längst längst ADV 223997