Document the corrected Log-Dice, the effective window and the auto focus
Three things were left unexplained, and one of them has changed:
LD is now computed as Rychly (2008) defines it, without the window size
factor that used to be applied to f1, so its values are higher than
before, by up to log2 of the window size, and comparable to those of
other tools. This is announced in the info tab.
LDaf is unchanged, as is the resulting order of the collocates, but it is
easily mistaken for Log-Dice of the auto focus window. It is the auto
focus score itself, whose denominator grows with the width of the
selection, which is what makes it sensitive to how concentrated a pair
is, and thus what makes it order collocates usefully enough to serve as
the default order. It is therefore not on the scale of LD and can be
higher or lower than it.
LL, MI, MI², MI³ and nPMI are computed over the positions in which the
collocate actually occurs, not over the whole context window. Calling
these the attested positions, and their number the effective window size,
keeps them apart from the auto focus, which is Belica's term for the not
necessarily contiguous selection of positions that yields the highest
score. Both are visible in the auto-focus column, which marks the
attested positions with a hollow and the selected ones with a filled
square.
Explained in the info tab in both languages, in the tooltips of the LDaf
and auto-focus columns, and the LDaf tooltip now gives the formula.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
Change-Id: Id6293c71438d4b42d3a461697c181e3b6a072a83
diff --git a/templates/de/about.html.ep b/templates/de/about.html.ep
index ab92c0c..ce3062e 100644
--- a/templates/de/about.html.ep
+++ b/templates/de/about.html.ep
@@ -9,6 +9,30 @@
Die hier verwendeten Modelle beruhen zum einen auf einer Erweiterung von word2vec (Mikolov et al. 2013), wang2vec (Ling et al. 2015)
und zum anderen auf einfachen Kookkurrenzhäufigkeiten und Analysemethoden, die auf diesen operieren.
</p>
+<h3>Effektive Fenstergröße und Auto-Focus</h3>
+<p>
+ Die Assoziationsmaße LL, MI, MI², MI³ und nPMI werden nicht über das gesamte Kontextfenster
+ berechnet, sondern nur über die <em>belegten Positionen</em>, also diejenigen, an denen der
+ Kollokator mindestens einmal vorkommt. Die erwartete Häufigkeit beruht damit auf dieser
+ effektiven Fenstergröße, wodurch ein Kollokator, der nur an wenigen Positionen auftritt,
+ höher bewertet wird als einer, der sich über viele verteilt. Das hilft dabei, echte
+ Kollokationen von Wörtern zu unterscheiden, die lediglich in denselben Kontexten vorkommen.
+ Die Werte sind dadurch allerdings nicht unmittelbar mit denen von Werkzeugen vergleichbar,
+ die stets mit einer festen Fenstergröße rechnen.
+</p>
+<p>
+ LDaf ist demgegenüber der <em>Auto-Focus</em>-Wert (Belica), also der höchste Wert, den
+ irgendeine – nicht notwendig zusammenhängende – Auswahl von Positionen erreicht, wie er auch
+ aus der Kookkurrenzdatenbank <a href="http://corpora.ids-mannheim.de/">CCDB</a> bekannt ist.
+ Da sein Nenner mit der Breite der Auswahl wächst, bevorzugt er Paare, deren Kookkurrenzen
+ konzentriert auftreten – weshalb er die Kollokatoren in aller Regel am nützlichsten ordnet
+ und hier als Standardsortierung dient. Er ist Dice-artig, aber kein Log-Dice, liegt also
+ nicht auf derselben Skala wie LD und kann höher oder niedriger als dieses ausfallen. Beides
+ lässt sich an der Auto-Focus-Spalte der Kollokationstabelle ablesen: Die belegten Positionen
+ sind mit ◽ markiert, die vom Auto-Focus ausgewählten mit ◾. LD selbst hängt von keinem
+ Fenster ab.
+</p>
+
<h3>Disclaimer</h3>
<p>
Bitte beachten Sie, dass wir – anders als z.B. <a href="https://korap.ids-mannheim.de/">KorAP</a> – DeReKoVecs
@@ -18,6 +42,16 @@
</p>
<h3>Geplante Ausfallzeiten und Ankündigungen</h3>
<dl id="downtimes">
- <dt></dt><dd>–</dd>
+ <dt>04.09.2026</dt>
+ <dd>
+ Log-Dice (LD) wird jetzt genau so berechnet, wie es Rychlý (2008) definiert,
+ \(14 + \log_2 \frac{2f_{1,2}}{f_1 + f_2}\), also ohne den Fenstergrößenfaktor, der bisher
+ auf \(f_1\) angewendet wurde. Die Werte sind dadurch höher als zuvor, um bis zu
+ \(\log_2\) der Fenstergröße, und direkt mit denen anderer Werkzeuge wie Sketch Engine
+ vergleichbar. LDaf ist jetzt der Log-Dice-Wert des Auto-Focus-Fensters und damit
+ höchstens so hoch wie LD; die Differenz zwischen beiden zeigt, wie stark die
+ Kookkurrenzen in diesem Fenster konzentriert sind. Die übrigen Maße ändern sich nicht,
+ da die Fenstergröße dort in die erwartete Häufigkeit gehört.
+ </dd>
</dl>
</html>