commit d962747a4ac7e02a6040fad736e4a8a45a6b4431
author Akron <nils@diewald-online.de> Thu Jul 09 16:53:09 2020 +0200
committer Akron <nils@diewald-online.de> Thu Jul 09 17:01:06 2020 +0200
tree 9f39e305982ab20660aaa09b669b8accfe00ddba
parent 95612c3d5a2aeea3d81915b7a846a8dc69d46df4

Establish tokenizer objects for aggressive and conservative base tokenization

Change-Id: I702098185b0b6292c73217268d4516d55a2f95b5

t/tokenization.t

diff --git a/t/tokenization.t b/t/tokenization.t
index a8f8935..932407b 100644
--- a/t/tokenization.t
+++ b/t/tokenization.t
@@ -2,7 +2,6 @@
 use warnings;
 use Test::More;
 use File::Basename 'dirname';
-use Data::Dumper;
 use File::Spec::Functions qw/catfile/;
 use File::Temp 'tempfile';
 
@@ -11,41 +10,44 @@
   unshift @INC, "$FindBin::Bin/../lib";
 };
 
-require_ok('KorAP::XML::TEI::Tokenization');
+require_ok('KorAP::XML::TEI::Tokenizer::Aggressive');
+require_ok('KorAP::XML::TEI::Tokenizer::Conservative');
 
 # Test aggressive
-my $aggr = KorAP::XML::TEI::Tokenization::aggressive("Der alte Mann");
+my $aggr = KorAP::XML::TEI::Tokenizer::Aggressive->new;
+$aggr->tokenize("Der alte Mann");
 is_deeply($aggr, [0,3,4,8,9,13]);
 
-$aggr = KorAP::XML::TEI::Tokenization::aggressive("Der alte bzw. der grau-melierte Mann");
+$aggr->reset->tokenize("Der alte bzw. der grau-melierte Mann");
 is_deeply($aggr, [0,3,4,8,9,12,12,13,14,17,18,22,22,23,23,31,32,36]);
 
 # Test conservative
-my $cons = KorAP::XML::TEI::Tokenization::conservative("Der alte Mann");
+my $cons = KorAP::XML::TEI::Tokenizer::Conservative->new;
+$cons->tokenize("Der alte Mann");
 is_deeply($cons, [0,3,4,8,9,13]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative("Der alte bzw. der grau-melierte Mann");
+$cons->reset->tokenize("Der alte bzw. der grau-melierte Mann");
 is_deeply($cons, [0,3,4,8,9,12,12,13,14,17,18,31,32,36]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative(". Der");
+$cons->reset->tokenize(". Der");
 is_deeply($cons, [0,1,2,5]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative(" . Der");
+$cons->reset->tokenize(" . Der");
 is_deeply($cons, [1,2,3,6]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative("   . Der");
+$cons->reset->tokenize("   . Der");
 is_deeply($cons, [3,4,5,8]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative("... Der");
+$cons->reset->tokenize("... Der");
 is_deeply($cons, [0,1,1,2,2,3,4,7]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative(".Der");
+$cons->reset->tokenize(".Der");
 is_deeply($cons, [1,4]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative(".Der.... ");
+$cons->reset->tokenize(".Der.... ");
 is_deeply($cons, [1,4,4,5,5,6,6,7,7,8]);
 
-$cons = KorAP::XML::TEI::Tokenization::conservative("..Der.... ");
+$cons->reset->tokenize("..Der.... ");
 is_deeply($cons, [0,1,1,2,2,5,5,6,6,7,7,8,8,9]);
 
 # Test data
@@ -60,11 +62,11 @@
 
 is(137166, length($data));
 
-$aggr = KorAP::XML::TEI::Tokenization::aggressive($data);
+$aggr->reset->tokenize($data);
 is_deeply([@{$aggr}[0..7]], [1,7,8,12,14,18,19,22]);
 is(47242, scalar(@$aggr));
 
-$cons = KorAP::XML::TEI::Tokenization::conservative($data);
+$cons->reset->tokenize($data);
 is_deeply([@{$cons}[0..7]], [1,7,8,12,14,18,19,22]);
 is(43068, scalar(@$cons));