| Marc Kupietz | d6dfdf0 | 2019-12-06 09:53:34 +0100 | [diff] [blame] | 1 | <html> |
| 2 | <p> |
| Marc Kupietz | b37bd84 | 2024-04-05 11:22:30 +0200 | [diff] [blame] | 3 | DeReKoVecs (Fankhauser & Kupietz 2022, 2017, 2019; Kupietz et al. 2018) ist das neue gläserne Labor der des Programmbereichs Korpuslinguistik am IDS. Ähnlich wie die |
| 4 | Kookkurrenzdatenbank <a href="http://corpora.ids-mannheim.de/">CCDB</a> (Keibel & Belica 2007, Belica 2011) dient DeReKoVecs zur Erforschung und zum Vergleich |
| Marc Kupietz | d6dfdf0 | 2019-12-06 09:53:34 +0100 | [diff] [blame] | 5 | von Maßen, Dimensionsreduktionsverfahren, Visualisierungen etc., zum Aufspüren von detaillierten paradigmatischen und syntagmatischen Beziehungen |
| Marc Kupietz | 014220c | 2024-08-28 15:33:43 +0200 | [diff] [blame] | 6 | zwischen Wörtern auf Grundlage Ihrer Verwendung in sehr großen Korpora wie DeReKo (Kupietz et al. 2010, 2018) oder CoRoLa (Barbu Mititelu et al. 2018, Cristea et al. 2017). |
| Marc Kupietz | d6dfdf0 | 2019-12-06 09:53:34 +0100 | [diff] [blame] | 7 | </p> |
| 8 | <p> |
| Marc Kupietz | b37bd84 | 2024-04-05 11:22:30 +0200 | [diff] [blame] | 9 | Die hier verwendeten Modelle beruhen zum einen auf einer Erweiterung von word2vec (Mikolov et al. 2013), wang2vec (Ling et al. 2015) |
| Marc Kupietz | d6dfdf0 | 2019-12-06 09:53:34 +0100 | [diff] [blame] | 10 | und zum anderen auf einfachen Kookkurrenzhäufigkeiten und Analysemethoden, die auf diesen operieren. |
| 11 | </p> |
| Marc Kupietz | 565274e | 2026-09-06 13:17:17 +0200 | [diff] [blame] | 12 | <h3>Suchanfragen</h3> |
| 13 | <p> |
| 14 | Mehrere durch Leerzeichen getrennte Wortformen werden zu einem Suchvektor addiert, es wird |
| 15 | also um den Mittelpunkt der Alternativen herum gesucht; ein „|“ trennt dagegen mehrere |
| 16 | voneinander unabhängige Suchen. Mit „+“ und „-“ lässt sich darüber hinaus im Vektorraum |
| 17 | rechnen: <span class="mono">König - Mann + Frau</span> sucht die Nachbarn der Position |
| 18 | vec(König) - vec(Mann) + vec(Frau) statt der Position eines einzelnen Wortes. Ein Vorzeichen |
| 19 | ist nur am Anfang eines Tokens ein Operator, Bindestrichkomposita wie |
| 20 | <span class="mono">Nord-Süd-Dialog</span> bleiben also suchbar. |
| 21 | </p> |
| 22 | <p> |
| 23 | Die syntagmatische Ansicht rechnet mit. Der prädiktive Kollokationswert eines Kandidaten ist |
| 24 | \(\sigma(q \cdot u)\), vor der Sigmoidfunktion also linear in \(q\); ein Ausdruck liefert |
| 25 | deshalb die Kontexte, die die berechnete Position vorhersagt – bei „König - Mann + Frau“ die, |
| 26 | die König und Frau vorhersagen, Mann aber nicht. Gemittelt wird dabei über die positiven |
| 27 | Terme statt zu summieren, damit die Werte in demselben Bereich bleiben wie bei einer |
| 28 | einzelnen Wortform: Der informative Bereich der Sigmoidfunktion ist schmal, und die |
| 29 | stärksten Kollokatoren eines einzelnen Wortes liegen bereits an seinem oberen Rand. Eine |
| 30 | ausgeglichene Analogie (+1 -1 +1) hat einen Term und damit denselben Maßstab wie eine |
| 31 | einzelne Wortform. |
| 32 | </p> |
| 33 | <p> |
| 34 | Die zählbasierten Kollokatoren bleiben dagegen auf eine einzelne Wortform beschränkt: Sie |
| 35 | werden pro Knoten in der Kookkurrenzdatenbank nachgeschlagen und lassen sich nicht aus dem |
| 36 | Suchvektor berechnen. Operanden, die nicht im Vokabular stehen, werden über dem Ergebnis |
| 37 | genannt und bei der Berechnung weggelassen. |
| 38 | </p> |
| 39 | |
| Marc Kupietz | 1e00eb8 | 2026-09-04 16:38:30 +0200 | [diff] [blame] | 40 | <h3>Effektive Fenstergröße und Auto-Focus</h3> |
| 41 | <p> |
| 42 | Die Assoziationsmaße LL, MI, MI², MI³ und nPMI werden nicht über das gesamte Kontextfenster |
| 43 | berechnet, sondern nur über die <em>belegten Positionen</em>, also diejenigen, an denen der |
| 44 | Kollokator mindestens einmal vorkommt. Die erwartete Häufigkeit beruht damit auf dieser |
| 45 | effektiven Fenstergröße, wodurch ein Kollokator, der nur an wenigen Positionen auftritt, |
| 46 | höher bewertet wird als einer, der sich über viele verteilt. Das hilft dabei, echte |
| 47 | Kollokationen von Wörtern zu unterscheiden, die lediglich in denselben Kontexten vorkommen. |
| 48 | Die Werte sind dadurch allerdings nicht unmittelbar mit denen von Werkzeugen vergleichbar, |
| 49 | die stets mit einer festen Fenstergröße rechnen. |
| 50 | </p> |
| 51 | <p> |
| 52 | LDaf ist demgegenüber der <em>Auto-Focus</em>-Wert (Belica), also der höchste Wert, den |
| 53 | irgendeine – nicht notwendig zusammenhängende – Auswahl von Positionen erreicht, wie er auch |
| 54 | aus der Kookkurrenzdatenbank <a href="http://corpora.ids-mannheim.de/">CCDB</a> bekannt ist. |
| 55 | Da sein Nenner mit der Breite der Auswahl wächst, bevorzugt er Paare, deren Kookkurrenzen |
| 56 | konzentriert auftreten – weshalb er die Kollokatoren in aller Regel am nützlichsten ordnet |
| 57 | und hier als Standardsortierung dient. Er ist Dice-artig, aber kein Log-Dice, liegt also |
| 58 | nicht auf derselben Skala wie LD und kann höher oder niedriger als dieses ausfallen. Beides |
| 59 | lässt sich an der Auto-Focus-Spalte der Kollokationstabelle ablesen: Die belegten Positionen |
| 60 | sind mit ◽ markiert, die vom Auto-Focus ausgewählten mit ◾. LD selbst hängt von keinem |
| 61 | Fenster ab. |
| 62 | </p> |
| 63 | |
| Marc Kupietz | d6dfdf0 | 2019-12-06 09:53:34 +0100 | [diff] [blame] | 64 | <h3>Disclaimer</h3> |
| 65 | <p> |
| Marc Kupietz | d68f5c3 | 2024-08-23 11:50:32 +0200 | [diff] [blame] | 66 | Bitte beachten Sie, dass wir – anders als z.B. <a href="https://korap.ids-mannheim.de/">KorAP</a> – DeReKoVecs |
| Marc Kupietz | 61f22bf | 2021-03-09 12:56:12 +0100 | [diff] [blame] | 67 | nicht als einen Dienst mit hoher Ausfallsicherheit betreiben (können). DeReKoVecs ist lediglich als gläsernes Labor gedacht. |
| Marc Kupietz | d6dfdf0 | 2019-12-06 09:53:34 +0100 | [diff] [blame] | 68 | Es können sich jederzeit unangekündigt Dinge ändern und auch ein kompletter Ausfall über längere Zeit lässt sich nicht mit Sicherheit ausschließen. |
| 69 | Wenn Sie DeReKoVecs längerfristig für eigene Forschungen verwenden wollen, sprechen Sie uns bitte an. |
| 70 | </p> |
| Marc Kupietz | 5b8aaf7 | 2026-09-04 19:21:22 +0200 | [diff] [blame] | 71 | <h3>Änderungen</h3> |
| 72 | <p> |
| Marc Kupietz | 565274e | 2026-09-06 13:17:17 +0200 | [diff] [blame] | 73 | <strong>06.09.2026</strong> |
| 74 | |
| Marc Kupietz | 21fcd5f | 2026-09-06 13:17:29 +0200 | [diff] [blame^] | 75 | Das Suchfeld versteht jetzt Vektorarithmetik (siehe <em>Suchanfragen</em> oben) für |
| 76 | paradigmatische und prädiktiv-syntagmatische Analysen; letztere berücksichtigten |
| 77 | bisher nur die erste Wortform und wurden außerdem um die Spalte max(z) erweitert. |
| Marc Kupietz | 565274e | 2026-09-06 13:17:17 +0200 | [diff] [blame] | 78 | </p> |
| 79 | <p> |
| Marc Kupietz | 5b8aaf7 | 2026-09-04 19:21:22 +0200 | [diff] [blame] | 80 | <strong>04.09.2026</strong> |
| 81 | |
| Marc Kupietz | 1e00eb8 | 2026-09-04 16:38:30 +0200 | [diff] [blame] | 82 | Log-Dice (LD) wird jetzt genau so berechnet, wie es Rychlý (2008) definiert, |
| 83 | \(14 + \log_2 \frac{2f_{1,2}}{f_1 + f_2}\), also ohne den Fenstergrößenfaktor, der bisher |
| 84 | auf \(f_1\) angewendet wurde. Die Werte sind dadurch höher als zuvor, um bis zu |
| 85 | \(\log_2\) der Fenstergröße, und direkt mit denen anderer Werkzeuge wie Sketch Engine |
| Marc Kupietz | 9250765 | 2026-09-04 17:59:18 +0200 | [diff] [blame] | 86 | vergleichbar. Auch LL ändert sich: Seine Vierfeldertafel wird jetzt als Ganzes mit der |
| Marc Kupietz | 5b8aaf7 | 2026-09-04 19:21:22 +0200 | [diff] [blame] | 87 | Fenstergröße skaliert und nicht mehr nur in der Zeilensumme. |
| Marc Kupietz | 9250765 | 2026-09-04 17:59:18 +0200 | [diff] [blame] | 88 | LDaf bleibt unverändert, ebenso die Reihenfolge der Kollokatoren: Es ist der |
| 89 | Auto-Focus-Wert, der den Fenstergrößenfaktor bewusst behält, weil er ihn erst empfindlich |
| 90 | dafür macht, wie konzentriert ein Paar auftritt. MI, MI², MI³ und nPMI ändern sich nicht, |
| 91 | da sie nur die erwartete Häufigkeit benötigen, und die bleibt gleich. |
| Marc Kupietz | 5b8aaf7 | 2026-09-04 19:21:22 +0200 | [diff] [blame] | 92 | </p> |
| 93 | |
| 94 | <h3>Geplante Ausfallzeiten und Ankündigungen</h3> |
| 95 | <dl id="downtimes"> |
| 96 | <dt></dt><dd>–</dd> |
| Marc Kupietz | 9ae184c | 2023-11-04 18:21:54 +0100 | [diff] [blame] | 97 | </dl> |
| Marc Kupietz | 61f22bf | 2021-03-09 12:56:12 +0100 | [diff] [blame] | 98 | </html> |