tree 67abc5eaf39c886ec4276e74a65acef7b30cd587
parent 6bf46827dab3955bdfa99ea741bf727fb3d6cdb0
author Marc Kupietz <kupietz@ids-mannheim.de> 1616341313 +0100
committer Marc Kupietz <kupietz@ids-mannheim.de> 1622900384 +0200

Improve systematicity of options -p, -s, --[no-]tokens

-s alone should just print sentence boundary markers an no offsets. E.g.:

echo -n -e 'Das ist der 1. Satz. Hier folgt der zweite.' | java -jar
target/KorAP-Tokenizer-2.0.0-standalone.jar -s

Das
ist
der
1.
Satz
.

Hier
folgt
der
zweite
.

Thanks @Roman!

Change-Id: I6a5f7e169d1ecb433de0c5f7168f9cd6f3930890