Add build and evaluation logs

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

eval/eval_pypdf.log

@@ -0,0 +1,128 @@
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53525.67it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+  [1/43] Rang 8          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 2          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 2          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] nicht gefunden  Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 2          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] nicht gefunden  Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 6          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 4          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 7          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 5          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 3          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] nicht gefunden  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] nicht gefunden  Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] nicht gefunden  Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] nicht gefunden  Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 3          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] nicht gefunden  Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] nicht gefunden  Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] nicht gefunden  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 4          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] nicht gefunden  Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 5          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] nicht gefunden  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 2          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 10:20
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         1500 (Overlap 300)
+  Query-Zusatztext    aus
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.67   (29 von 43)
+  Recall@10           0.74   (32 von 43)
+  Recall@20           0.74   (32 von 43)
+  MRR                 0.51
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.11   (3 Fragen)
+  sekundaer    Recall@5 0.70   MRR 0.54   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   2  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   3  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   3  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   4  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   4  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   5  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   5  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   6  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   7  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   8  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   –  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   –  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+
+11 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_pypdf.txt
+exit 0