Add evaluation matrix for 2000/400 chunks (loader x headers x search mode)

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

eval/build_pypdf_2000_hdr.log

@@ -82,3 +82,5 @@ Ignoring wrong pointing object 42 0 (offset 0)
   - Trost,_Igor_Erzählen und Besprechen.pdf: 47 chunks
 
 Creating embeddings for 7398 chunks...
+Vector store saved to ./vectorstore_pypdf_2000_hdr
+Done.

eval/eval_m2000_human_docling_2000_dense.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 41904.46it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6445.58it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 3          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] nicht gefunden  Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 17         Sprach Kafka Tschechisch?
+  [14/30] nicht gefunden  Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 2          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 2          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 3          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 2          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] nicht gefunden  Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] nicht gefunden  In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:08
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.60   (18 von 30)
+  Recall@10           0.60   (18 von 30)
+  Recall@20           0.63   (19 von 30)
+  MRR                 0.51
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.00   (4 Fragen)
+  sekundär     Recall@5 0.69   MRR 0.59   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   2  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   3  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang  17  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   –  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+11 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_dense.txt

eval/eval_m2000_human_docling_2000_hdr_dense.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49294.32it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7381.23it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 4          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] nicht gefunden  Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 2          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 19         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 3          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 2          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 3          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 13         In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:15
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.67   (20 von 30)
+  Recall@20           0.73   (22 von 30)
+  MRR                 0.57
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.65   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   3  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   4  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  13  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  19  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hdr_dense.txt

eval/eval_m2000_human_docling_2000_hdr_hybrid.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 46322.99it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7227.82it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 5          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] Rang 2          Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] nicht gefunden  Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 2          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 18         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 3          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 2          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 3          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 14         In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:17
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.70   (21 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.58
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.67   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   2  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   3  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   5  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  14  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  18  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt

eval/eval_m2000_human_docling_2000_hdr_union.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47658.39it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6997.39it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 5          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] Rang 2          Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] nicht gefunden  Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 2          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 20         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 3          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 2          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 3          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 15         In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:20
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.70   (21 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.58
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.67   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   2  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   3  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   5  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  15  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  20  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hdr_union.txt

eval/eval_m2000_human_docling_2000_hybrid.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 52014.74it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7370.47it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 13         Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] nicht gefunden  Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 14         Sprach Kafka Tschechisch?
+  [14/30] nicht gefunden  Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 2          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 2          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 3          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 2          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 6          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] nicht gefunden  In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:10
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.57   (17 von 30)
+  Recall@10           0.60   (18 von 30)
+  Recall@20           0.67   (20 von 30)
+  MRR                 0.50
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.00   (4 Fragen)
+  sekundär     Recall@5 0.65   MRR 0.58   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   2  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   6  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang  13  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  14  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hybrid.txt

eval/eval_m2000_human_docling_2000_union.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 40656.79it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7920.51it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 13         Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] nicht gefunden  Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 18         Sprach Kafka Tschechisch?
+  [14/30] nicht gefunden  Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 2          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 2          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 3          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 2          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 7          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] nicht gefunden  In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:13
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.57   (17 von 30)
+  Recall@10           0.60   (18 von 30)
+  Recall@20           0.67   (20 von 30)
+  MRR                 0.50
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.00   (4 Fragen)
+  sekundär     Recall@5 0.65   MRR 0.58   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   2  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   7  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang  13  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  18  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_union.txt

eval/eval_m2000_human_pypdf_2000_dense.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 58107.67it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7453.35it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 1          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] Rang 4          Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] nicht gefunden  Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] nicht gefunden  Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 1          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 1          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 1          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] Rang 5          Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 15         In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:52
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.70   (21 von 30)
+  Recall@20           0.73   (22 von 30)
+  MRR                 0.65
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.75   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   4  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang  15  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   –  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_dense.txt

eval/eval_m2000_human_pypdf_2000_hdr_dense.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49605.95it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7171.90it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 1          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] Rang 6          Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] nicht gefunden  Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 14         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 1          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 1          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 1          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] Rang 5          Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 9          In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:00
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.65
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.03   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.75   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   6  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   9  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  14  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt

eval/eval_m2000_human_pypdf_2000_hdr_hybrid.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 63073.45it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7205.07it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 1          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] Rang 10         Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 13         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 1          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 1          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 1          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] nicht gefunden  Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 9          In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:03
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.68
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.03   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.78   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   9  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  10  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  13  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt

eval/eval_m2000_human_pypdf_2000_hdr_union.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47354.26it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7294.93it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 1          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] Rang 10         Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 15         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 1          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 1          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 1          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] Rang 6          Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 9          In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:06
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.77   (23 von 30)
+  Recall@20           0.80   (24 von 30)
+  MRR                 0.68
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.03   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.78   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   6  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   9  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  10  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  15  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hdr_union.txt

eval/eval_m2000_human_pypdf_2000_hybrid.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 52225.11it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7154.04it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 1          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] Rang 16         Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] Rang 7          Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] Rang 15         Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 1          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 1          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 1          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] Rang 5          Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 11         In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:55
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.83   (25 von 30)
+  MRR                 0.69
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.79   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   7  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  11  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  15  sekundär   Sprach Kafka Tschechisch?
+  Rang  16  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+5 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hybrid.txt

eval/eval_m2000_human_pypdf_2000_union.log

@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53621.92it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7219.59it/s]
+  [1/30] Rang 1          Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+  [2/30] nicht gefunden  Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+  [3/30] nicht gefunden  Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+  [4/30] Rang 1          In welchem Band von Jacob Burckhardts Griechischer Kulturges
+  [5/30] Rang 1          Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+  [6/30] nicht gefunden  Was kann man zu Bildformen in Kafkas Werken sagen?
+  [7/30] Rang 9          Wie können die drei Untermieter der Familie Kafka aus einer 
+  [8/30] Rang 1          In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+  [9/30] Rang 1          Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+  [10/30] Rang 1          Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  [11/30] Rang 1          Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  [12/30] Rang 1          Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  [13/30] nicht gefunden  Sprach Kafka Tschechisch?
+  [14/30] Rang 1          Wie heißen die beiden Nichten von Kafka?
+  [15/30] Rang 1          Welche Sprache spricht Kafka mit seinen Nichten?
+  [16/30] Rang 1          Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+  [17/30] Rang 1          Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  [18/30] Rang 1          Welche Art von Laden führte Kafkas Vater?
+  [19/30] Rang 1          Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  [20/30] Rang 1          Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+  [21/30] Rang 1          Wie interpretiert Emrich das Besondere an der Kafkaschen For
+  [22/30] Rang 1          In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+  [23/30] Rang 1          Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+  [24/30] Rang 5          Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+  [25/30] Rang 1          Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  [26/30] Rang 1          Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+  [27/30] nicht gefunden  Wer ist der Protagonist von "Die Verwandlung"?
+  [28/30] Rang 17         In welche Art von Tier verwandelt sich Gregor Samsa?
+  [29/30] nicht gefunden  Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+  [30/30] nicht gefunden  Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:58
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.68
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.01   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.78   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   9  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  17  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_union.txt

eval/eval_m2000_synthetic_docling_2000_dense.log

@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 46332.15it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 8554.25it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 1          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] nicht gefunden  Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 2          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 3          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] nicht gefunden  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] nicht gefunden  Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 6          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] nicht gefunden  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] nicht gefunden  Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] nicht gefunden  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] nicht gefunden  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:49
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.81   (35 von 43)
+  Recall@10           0.84   (36 von 43)
+  Recall@20           0.84   (36 von 43)
+  MRR                 0.76
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.22   (3 Fragen)
+  sekundaer    Recall@5 0.85   MRR 0.80   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   –  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   –  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_dense.txt

eval/eval_m2000_synthetic_docling_2000_hdr_dense.log

@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57719.10it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 26007.60it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 1          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] nicht gefunden  Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 2          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] nicht gefunden  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] nicht gefunden  Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 5          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 5          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] nicht gefunden  Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] nicht gefunden  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] nicht gefunden  Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 1          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 2          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:58
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.86   (37 von 43)
+  Recall@10           0.86   (37 von 43)
+  Recall@20           0.86   (37 von 43)
+  MRR                 0.77
+
+Nach Korpus
+  primaer      Recall@5 1.00   MRR 0.30   (3 Fragen)
+  sekundaer    Recall@5 0.85   MRR 0.80   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   5  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   5  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt

eval/eval_m2000_synthetic_docling_2000_hdr_hybrid.log

@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 40526.18it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 27256.01it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 1          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 2          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 4          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 10         Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 6          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 2          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 1          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 2          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:00
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.95   (41 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.87
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.26   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.92   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang  10  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt

eval/eval_m2000_synthetic_docling_2000_hdr_union.log

@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 51820.80it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 28338.92it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 1          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 2          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 4          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 11         Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 6          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 2          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 1          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 2          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:04
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.95   (41 von 43)
+  Recall@10           0.98   (42 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.87
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.25   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.92   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang  11  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt

eval/eval_m2000_synthetic_docling_2000_hybrid.log

@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47000.05it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 23708.90it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 1          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 2          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 3          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 6          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] nicht gefunden  Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 7          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 2          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 2          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:51
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.93   (40 von 43)
+  Recall@10           0.98   (42 von 43)
+  Recall@20           0.98   (42 von 43)
+  MRR                 0.85
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.21   (3 Fragen)
+  sekundaer    Recall@5 0.97   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   3  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   7  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hybrid.txt

eval/eval_m2000_synthetic_docling_2000_union.log

@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57127.98it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 25012.69it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 1          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 2          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 3          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 1          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 7          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 1          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] nicht gefunden  Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 7          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 2          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 2          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:55
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.93   (40 von 43)
+  Recall@10           0.98   (42 von 43)
+  Recall@20           0.98   (42 von 43)
+  MRR                 0.85
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.21   (3 Fragen)
+  sekundaer    Recall@5 0.97   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   3  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   7  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   7  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_union.txt

eval/eval_m2000_synthetic_pypdf_2000_dense.log

@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47547.85it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6811.21it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 5          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] nicht gefunden  Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] nicht gefunden  Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 5          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 3          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] nicht gefunden  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 3          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] nicht gefunden  Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 2          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 5          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] nicht gefunden  Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] nicht gefunden  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] nicht gefunden  Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 6          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:24
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.81   (35 von 43)
+  Recall@10           0.84   (36 von 43)
+  Recall@20           0.84   (36 von 43)
+  MRR                 0.68
+
+Nach Korpus
+  primaer      Recall@5 1.00   MRR 0.40   (3 Fragen)
+  sekundaer    Recall@5 0.80   MRR 0.71   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   3  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   5  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   5  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   5  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   6  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_dense.txt

eval/eval_m2000_synthetic_pypdf_2000_hdr_dense.log

@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 43648.80it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7088.23it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 3          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] nicht gefunden  Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] nicht gefunden  Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 4          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 2          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] nicht gefunden  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 2          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] nicht gefunden  Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 4          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 4          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 1          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 1          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] nicht gefunden  Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 1          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] nicht gefunden  Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] nicht gefunden  Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 1          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:37
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.84   (36 von 43)
+  Recall@10           0.84   (36 von 43)
+  Recall@20           0.84   (36 von 43)
+  MRR                 0.73
+
+Nach Korpus
+  primaer      Recall@5 1.00   MRR 0.50   (3 Fragen)
+  sekundaer    Recall@5 0.82   MRR 0.75   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   1  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   2  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   3  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   4  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   4  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   4  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   –  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt

eval/eval_m2000_synthetic_pypdf_2000_hdr_hybrid.log

@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 51258.76it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7052.63it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 3          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 4          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 2          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 4          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 2          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 7          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 4          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 1          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 1          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 1          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:41
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.98   (42 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.87
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.46   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   2  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   4  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   4  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   7  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt

eval/eval_m2000_synthetic_pypdf_2000_hdr_union.log

@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 42503.96it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7206.61it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 3          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 4          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 2          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 4          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 2          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 1          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 7          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 5          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 1          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 1          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 1          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:46
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.98   (42 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.86
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.45   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   2  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   4  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   5  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   7  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt

eval/eval_m2000_synthetic_pypdf_2000_hybrid.log

@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 34870.78it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7236.77it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 6          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 5          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 3          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 4          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 3          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 8          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 4          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 6          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 4          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 8          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:28
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.91   (39 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.78
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.31   (3 Fragen)
+  sekundaer    Recall@5 0.93   MRR 0.82   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   3  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   4  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   4  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   5  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   8  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   8  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt

eval/eval_m2000_synthetic_pypdf_2000_union.log

@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+␍Loading weights:   0%|          | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 35615.97it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+␍Loading weights:   0%|          | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7205.73it/s]
+  [1/43] Rang 1          Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+  [2/43] Rang 1          Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+  [3/43] Rang 6          Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+  [4/43] Rang 1          Warum ist der Umschlag in die zweite Person in der Erzählung
+  [5/43] Rang 1          Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+  [6/43] Rang 1          Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt 
+  [7/43] Rang 1          Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+  [8/43] Rang 1          Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+  [9/43] Rang 1          Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+  [10/43] Rang 1          Welche Ausgangskonstellation erweist sich in der Verwandlung
+  [11/43] Rang 1          Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+  [12/43] Rang 1          Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+  [13/43] Rang 1          Warum bestreitet Kudszus den abschließenden Charakter des Sc
+  [14/43] Rang 1          Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+  [15/43] Rang 2          Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+  [16/43] Rang 1          Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+  [17/43] Rang 5          Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+  [18/43] Rang 1          In welche Bereiche wird die Wirklichkeit in der Verwandlung 
+  [19/43] Rang 1          Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+  [20/43] Rang 3          Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+  [21/43] Rang 1          Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+  [22/43] Rang 1          Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+  [23/43] Rang 1          Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+  [24/43] Rang 4          Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+  [25/43] Rang 3          Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, 
+  [26/43] Rang 8          Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+  [27/43] Rang 4          Wie reagiert die Schwester, als sie Gregor am ersten Morgen 
+  [28/43] Rang 6          Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+  [29/43] Rang 2          Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+  [30/43] Rang 2          Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+  [31/43] Rang 1          Was steht auf der kleinen Säule am Dorfausgang, von der in K
+  [32/43] Rang 1          Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+  [33/43] Rang 4          Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+  [34/43] Rang 1          Welche Chiffren einer fetischisierten Lust kehren in Kafkas 
+  [35/43] Rang 1          Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+  [36/43] Rang 1          Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+  [37/43] Rang 1          Worauf verweisen die eckigen Schultern des Beters nach Lehma
+  [38/43] Rang 1          Welche Deutungen der Verwandlung werden im Exkurs über ihren
+  [39/43] Rang 1          Welche Konjunktion wird fälschlich als Merkmal des Prager De
+  [40/43] Rang 1          Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+  [41/43] Rang 1          Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+  [42/43] Rang 9          Wie wird das Naturerleben in Kafkas frühen Prosastücken wie 
+  [43/43] Rang 1          Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und 
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:33
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.91   (39 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.78
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.31   (3 Fragen)
+  sekundaer    Recall@5 0.93   MRR 0.82   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   3  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   4  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   4  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   5  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   8  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   9  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_union.txt

eval/kafka_m2000_human_docling_2000_dense.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:08
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.60   (18 von 30)
+  Recall@10           0.60   (18 von 30)
+  Recall@20           0.63   (19 von 30)
+  MRR                 0.51
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.00   (4 Fragen)
+  sekundär     Recall@5 0.69   MRR 0.59   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   2  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   3  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang  17  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   –  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+11 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_docling_2000_hdr_dense.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:15
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.67   (20 von 30)
+  Recall@20           0.73   (22 von 30)
+  MRR                 0.57
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.65   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   3  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   4  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  13  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  19  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:17
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.70   (21 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.58
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.67   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   2  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   3  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   5  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  14  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  18  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_docling_2000_hdr_union.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:20
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.70   (21 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.58
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.67   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   2  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   3  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   5  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  15  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  20  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_docling_2000_hybrid.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:10
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.57   (17 von 30)
+  Recall@10           0.60   (18 von 30)
+  Recall@20           0.67   (20 von 30)
+  MRR                 0.50
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.00   (4 Fragen)
+  sekundär     Recall@5 0.65   MRR 0.58   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   2  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   6  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang  13  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  14  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_docling_2000_union.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:13
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.57   (17 von 30)
+  Recall@10           0.60   (18 von 30)
+  Recall@20           0.67   (20 von 30)
+  MRR                 0.50
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.00   (4 Fragen)
+  sekundär     Recall@5 0.65   MRR 0.58   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   2  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   2  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   2  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   3  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   7  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang  13  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang  18  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   –  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_pypdf_2000_dense.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:52
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.70   (21 von 30)
+  Recall@20           0.73   (22 von 30)
+  MRR                 0.65
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.75   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   4  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang  15  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   –  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:00
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.65
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.03   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.75   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   6  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang   9  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  14  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:03
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.68
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.03   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.78   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   9  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  10  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  13  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_pypdf_2000_hdr_union.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:06
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.67   (20 von 30)
+  Recall@10           0.77   (23 von 30)
+  Recall@20           0.80   (24 von 30)
+  MRR                 0.68
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.03   (4 Fragen)
+  sekundär     Recall@5 0.77   MRR 0.78   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   6  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   9  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  10  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  15  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_pypdf_2000_hybrid.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:55
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.83   (25 von 30)
+  MRR                 0.69
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.02   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.79   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   7  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  11  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang  15  sekundär   Sprach Kafka Tschechisch?
+  Rang  16  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+5 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_human_pypdf_2000_union.txt

@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:58
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              30
+
+Ergebnis
+  Recall@5            0.70   (21 von 30)
+  Recall@10           0.73   (22 von 30)
+  Recall@20           0.77   (23 von 30)
+  MRR                 0.68
+
+Nach Korpus
+  primär       Recall@5 0.00   MRR 0.01   (4 Fragen)
+  sekundär     Recall@5 0.81   MRR 0.78   (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundär   Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+  Rang   1  sekundär   In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+  Rang   1  sekundär   Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+  Rang   1  sekundär   In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+  Rang   1  sekundär   Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+  Rang   1  sekundär   Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+  Rang   1  sekundär   Wo erfahren die Eltern die Nachricht von Gregors Tod?
+  Rang   1  sekundär   Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+  Rang   1  sekundär   Wie heißen die beiden Nichten von Kafka?
+  Rang   1  sekundär   Welche Sprache spricht Kafka mit seinen Nichten?
+  Rang   1  sekundär   Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+  Rang   1  sekundär   Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+  Rang   1  sekundär   Welche Art von Laden führte Kafkas Vater?
+  Rang   1  sekundär   Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+  Rang   1  sekundär   Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+  Rang   1  sekundär   Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+  Rang   1  sekundär   In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+  Rang   1  sekundär   Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+  Rang   1  sekundär   Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+  Rang   1  sekundär   Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+  Rang   5  sekundär   Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+  Rang   9  sekundär   Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+  Rang  17  primär     In welche Art von Tier verwandelt sich Gregor Samsa?
+  Rang   –  sekundär   Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+  Rang   –  sekundär   Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+  Rang   –  sekundär   Was kann man zu Bildformen in Kafkas Werken sagen?
+  Rang   –  sekundär   Sprach Kafka Tschechisch?
+  Rang   –  primär     Wer ist der Protagonist von "Die Verwandlung"?
+  Rang   –  primär     Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+  Rang   –  primär     Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_docling_2000_dense.txt

@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:49
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.81   (35 von 43)
+  Recall@10           0.84   (36 von 43)
+  Recall@20           0.84   (36 von 43)
+  MRR                 0.76
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.22   (3 Fragen)
+  sekundaer    Recall@5 0.85   MRR 0.80   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   –  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   –  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt

@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:58
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.86   (37 von 43)
+  Recall@10           0.86   (37 von 43)
+  Recall@20           0.86   (37 von 43)
+  MRR                 0.77
+
+Nach Korpus
+  primaer      Recall@5 1.00   MRR 0.30   (3 Fragen)
+  sekundaer    Recall@5 0.85   MRR 0.80   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   5  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   5  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt

@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:00
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.95   (41 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.87
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.26   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.92   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang  10  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?

eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt

@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:04
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.95   (41 von 43)
+  Recall@10           0.98   (42 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.87
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.25   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.92   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang  11  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?

eval/kafka_m2000_synthetic_docling_2000_hybrid.txt

@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:51
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.93   (40 von 43)
+  Recall@10           0.98   (42 von 43)
+  Recall@20           0.98   (42 von 43)
+  MRR                 0.85
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.21   (3 Fragen)
+  sekundaer    Recall@5 0.97   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   3  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   7  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_docling_2000_union.txt

@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:55
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_docling_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              docling, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.93   (40 von 43)
+  Recall@10           0.98   (42 von 43)
+  Recall@20           0.98   (42 von 43)
+  MRR                 0.85
+
+Nach Korpus
+  primaer      Recall@5 0.33   MRR 0.21   (3 Fragen)
+  sekundaer    Recall@5 0.97   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   2  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   2  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   3  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   7  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   7  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_pypdf_2000_dense.txt

@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:24
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.81   (35 von 43)
+  Recall@10           0.84   (36 von 43)
+  Recall@20           0.84   (36 von 43)
+  MRR                 0.68
+
+Nach Korpus
+  primaer      Recall@5 1.00   MRR 0.40   (3 Fragen)
+  sekundaer    Recall@5 0.80   MRR 0.71   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   3  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   5  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   5  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   5  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   6  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   –  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt

@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:37
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               dense, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.84   (36 von 43)
+  Recall@10           0.84   (36 von 43)
+  Recall@20           0.84   (36 von 43)
+  MRR                 0.73
+
+Nach Korpus
+  primaer      Recall@5 1.00   MRR 0.50   (3 Fragen)
+  sekundaer    Recall@5 0.82   MRR 0.75   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   1  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   2  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   3  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   4  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   4  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   4  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   –  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   –  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   –  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   –  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   –  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   –  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   –  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?

eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt

@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:41
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.98   (42 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.87
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.46   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   2  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   4  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   4  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   7  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?

eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt

@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:46
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000_hdr
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen an
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.98   (42 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.86
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.45   (3 Fragen)
+  sekundaer    Recall@5 1.00   MRR 0.90   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   1  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   2  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   4  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   5  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   7  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?

eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt

@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:28
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               hybrid, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.91   (39 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.78
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.31   (3 Fragen)
+  sekundaer    Recall@5 0.93   MRR 0.82   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   3  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   4  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   4  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   5  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   8  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   8  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?

eval/kafka_m2000_synthetic_pypdf_2000_union.txt

@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:33
+====================================================================
+
+Konfiguration
+  Vektorspeicher      ./vectorstore_pypdf_2000
+  Embedding-Modell    BAAI/bge-m3
+  Chunk-Größe         2000 (Overlap 400)
+  Loader              pypdf, Kopfzeilen aus
+  Query-Zusatztext    aus
+  Suche               union, Reranker BAAI/bge-reranker-v2-m3
+  Seitentoleranz      ±1
+  Fragen              43
+
+Ergebnis
+  Recall@5            0.91   (39 von 43)
+  Recall@10           1.00   (43 von 43)
+  Recall@20           1.00   (43 von 43)
+  MRR                 0.78
+
+Nach Korpus
+  primaer      Recall@5 0.67   MRR 0.31   (3 Fragen)
+  sekundaer    Recall@5 0.93   MRR 0.82   (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+  Rang   1  sekundaer  Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+  Rang   1  sekundaer  Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+  Rang   1  sekundaer  Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+  Rang   1  sekundaer  Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+  Rang   1  sekundaer  Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+  Rang   1  sekundaer  Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+  Rang   1  sekundaer  Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+  Rang   1  sekundaer  Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+  Rang   1  sekundaer  Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+  Rang   1  sekundaer  Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+  Rang   1  sekundaer  Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+  Rang   1  sekundaer  Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+  Rang   1  sekundaer  Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+  Rang   1  sekundaer  Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+  Rang   1  sekundaer  In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+  Rang   1  sekundaer  Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+  Rang   1  sekundaer  Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+  Rang   1  sekundaer  Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+  Rang   1  sekundaer  Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+  Rang   1  sekundaer  Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+  Rang   1  sekundaer  Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+  Rang   1  sekundaer  Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+  Rang   1  sekundaer  Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+  Rang   1  sekundaer  Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+  Rang   1  sekundaer  Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+  Rang   1  sekundaer  Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+  Rang   1  sekundaer  Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+  Rang   1  sekundaer  Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+  Rang   1  sekundaer  Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+  Rang   1  sekundaer  Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+  Rang   2  sekundaer  Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+  Rang   2  primaer    Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+  Rang   2  sekundaer  Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+  Rang   3  sekundaer  Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+  Rang   3  sekundaer  Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+  Rang   4  sekundaer  Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+  Rang   4  primaer    Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+  Rang   4  sekundaer  Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+  Rang   5  sekundaer  Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+  Rang   6  sekundaer  Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+  Rang   6  primaer    Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+  Rang   8  sekundaer  Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+  Rang   9  sekundaer  Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?

eval/matrix_2000.out

@@ -0,0 +1,25 @@
+human      pypdf_2000         dense   Recall@5 0.70  Recall@10 0.70  Recall@20 0.73  MRR 0.65  
+human      pypdf_2000         hybrid  Recall@5 0.70  Recall@10 0.73  Recall@20 0.83  MRR 0.69  
+human      pypdf_2000         union   Recall@5 0.70  Recall@10 0.73  Recall@20 0.77  MRR 0.68  
+human      pypdf_2000_hdr     dense   Recall@5 0.67  Recall@10 0.73  Recall@20 0.77  MRR 0.65  
+human      pypdf_2000_hdr     hybrid  Recall@5 0.67  Recall@10 0.73  Recall@20 0.77  MRR 0.68  
+human      pypdf_2000_hdr     union   Recall@5 0.67  Recall@10 0.77  Recall@20 0.80  MRR 0.68  
+human      docling_2000       dense   Recall@5 0.60  Recall@10 0.60  Recall@20 0.63  MRR 0.51  
+human      docling_2000       hybrid  Recall@5 0.57  Recall@10 0.60  Recall@20 0.67  MRR 0.50  
+human      docling_2000       union   Recall@5 0.57  Recall@10 0.60  Recall@20 0.67  MRR 0.50  
+human      docling_2000_hdr   dense   Recall@5 0.67  Recall@10 0.67  Recall@20 0.73  MRR 0.57  
+human      docling_2000_hdr   hybrid  Recall@5 0.70  Recall@10 0.70  Recall@20 0.77  MRR 0.58  
+human      docling_2000_hdr   union   Recall@5 0.70  Recall@10 0.70  Recall@20 0.77  MRR 0.58  
+synthetic  pypdf_2000         dense   Recall@5 0.81  Recall@10 0.84  Recall@20 0.84  MRR 0.68  
+synthetic  pypdf_2000         hybrid  Recall@5 0.91  Recall@10 1.00  Recall@20 1.00  MRR 0.78  
+synthetic  pypdf_2000         union   Recall@5 0.91  Recall@10 1.00  Recall@20 1.00  MRR 0.78  
+synthetic  pypdf_2000_hdr     dense   Recall@5 0.84  Recall@10 0.84  Recall@20 0.84  MRR 0.73  
+synthetic  pypdf_2000_hdr     hybrid  Recall@5 0.98  Recall@10 1.00  Recall@20 1.00  MRR 0.87  
+synthetic  pypdf_2000_hdr     union   Recall@5 0.98  Recall@10 1.00  Recall@20 1.00  MRR 0.86  
+synthetic  docling_2000       dense   Recall@5 0.81  Recall@10 0.84  Recall@20 0.84  MRR 0.76  
+synthetic  docling_2000       hybrid  Recall@5 0.93  Recall@10 0.98  Recall@20 0.98  MRR 0.85  
+synthetic  docling_2000       union   Recall@5 0.93  Recall@10 0.98  Recall@20 0.98  MRR 0.85  
+synthetic  docling_2000_hdr   dense   Recall@5 0.86  Recall@10 0.86  Recall@20 0.86  MRR 0.77  
+synthetic  docling_2000_hdr   hybrid  Recall@5 0.95  Recall@10 1.00  Recall@20 1.00  MRR 0.87  
+synthetic  docling_2000_hdr   union   Recall@5 0.95  Recall@10 0.98  Recall@20 1.00  MRR 0.87  
+FERTIG