From 9ebcda1f55c951630aa0fa5bf7fed8518ade28d2 Mon Sep 17 00:00:00 2001
From: Philipp Mock
Date: Wed, 7 Oct 2026 18:04:48 +0200
Subject: [PATCH] Add evaluation matrix for 2000/400 chunks (loader x headers x
search mode)
Co-Authored-By: Claude Opus 5.5
---
eval/build_pypdf_2000_hdr.log | 2 +
eval/eval_m2000_human_docling_2000_dense.log | 105 ++++++++++++++
...val_m2000_human_docling_2000_hdr_dense.log | 105 ++++++++++++++
...al_m2000_human_docling_2000_hdr_hybrid.log | 105 ++++++++++++++
...val_m2000_human_docling_2000_hdr_union.log | 105 ++++++++++++++
eval/eval_m2000_human_docling_2000_hybrid.log | 105 ++++++++++++++
eval/eval_m2000_human_docling_2000_union.log | 105 ++++++++++++++
eval/eval_m2000_human_pypdf_2000_dense.log | 105 ++++++++++++++
.../eval_m2000_human_pypdf_2000_hdr_dense.log | 105 ++++++++++++++
...eval_m2000_human_pypdf_2000_hdr_hybrid.log | 105 ++++++++++++++
.../eval_m2000_human_pypdf_2000_hdr_union.log | 105 ++++++++++++++
eval/eval_m2000_human_pypdf_2000_hybrid.log | 105 ++++++++++++++
eval/eval_m2000_human_pypdf_2000_union.log | 105 ++++++++++++++
...val_m2000_synthetic_docling_2000_dense.log | 131 ++++++++++++++++++
...m2000_synthetic_docling_2000_hdr_dense.log | 131 ++++++++++++++++++
...2000_synthetic_docling_2000_hdr_hybrid.log | 127 +++++++++++++++++
...m2000_synthetic_docling_2000_hdr_union.log | 127 +++++++++++++++++
...al_m2000_synthetic_docling_2000_hybrid.log | 131 ++++++++++++++++++
...val_m2000_synthetic_docling_2000_union.log | 131 ++++++++++++++++++
.../eval_m2000_synthetic_pypdf_2000_dense.log | 131 ++++++++++++++++++
...l_m2000_synthetic_pypdf_2000_hdr_dense.log | 131 ++++++++++++++++++
..._m2000_synthetic_pypdf_2000_hdr_hybrid.log | 127 +++++++++++++++++
...l_m2000_synthetic_pypdf_2000_hdr_union.log | 127 +++++++++++++++++
...eval_m2000_synthetic_pypdf_2000_hybrid.log | 127 +++++++++++++++++
.../eval_m2000_synthetic_pypdf_2000_union.log | 127 +++++++++++++++++
eval/kafka_m2000_human_docling_2000_dense.txt | 59 ++++++++
...fka_m2000_human_docling_2000_hdr_dense.txt | 59 ++++++++
...ka_m2000_human_docling_2000_hdr_hybrid.txt | 59 ++++++++
...fka_m2000_human_docling_2000_hdr_union.txt | 59 ++++++++
.../kafka_m2000_human_docling_2000_hybrid.txt | 59 ++++++++
eval/kafka_m2000_human_docling_2000_union.txt | 59 ++++++++
eval/kafka_m2000_human_pypdf_2000_dense.txt | 59 ++++++++
...kafka_m2000_human_pypdf_2000_hdr_dense.txt | 59 ++++++++
...afka_m2000_human_pypdf_2000_hdr_hybrid.txt | 59 ++++++++
...kafka_m2000_human_pypdf_2000_hdr_union.txt | 59 ++++++++
eval/kafka_m2000_human_pypdf_2000_hybrid.txt | 59 ++++++++
eval/kafka_m2000_human_pypdf_2000_union.txt | 59 ++++++++
...fka_m2000_synthetic_docling_2000_dense.txt | 72 ++++++++++
...m2000_synthetic_docling_2000_hdr_dense.txt | 72 ++++++++++
...2000_synthetic_docling_2000_hdr_hybrid.txt | 68 +++++++++
...m2000_synthetic_docling_2000_hdr_union.txt | 68 +++++++++
...ka_m2000_synthetic_docling_2000_hybrid.txt | 72 ++++++++++
...fka_m2000_synthetic_docling_2000_union.txt | 72 ++++++++++
...kafka_m2000_synthetic_pypdf_2000_dense.txt | 72 ++++++++++
...a_m2000_synthetic_pypdf_2000_hdr_dense.txt | 72 ++++++++++
..._m2000_synthetic_pypdf_2000_hdr_hybrid.txt | 68 +++++++++
...a_m2000_synthetic_pypdf_2000_hdr_union.txt | 68 +++++++++
...afka_m2000_synthetic_pypdf_2000_hybrid.txt | 68 +++++++++
...kafka_m2000_synthetic_pypdf_2000_union.txt | 68 +++++++++
eval/matrix_2000.out | 25 ++++
50 files changed, 4383 insertions(+)
create mode 100644 eval/eval_m2000_human_docling_2000_dense.log
create mode 100644 eval/eval_m2000_human_docling_2000_hdr_dense.log
create mode 100644 eval/eval_m2000_human_docling_2000_hdr_hybrid.log
create mode 100644 eval/eval_m2000_human_docling_2000_hdr_union.log
create mode 100644 eval/eval_m2000_human_docling_2000_hybrid.log
create mode 100644 eval/eval_m2000_human_docling_2000_union.log
create mode 100644 eval/eval_m2000_human_pypdf_2000_dense.log
create mode 100644 eval/eval_m2000_human_pypdf_2000_hdr_dense.log
create mode 100644 eval/eval_m2000_human_pypdf_2000_hdr_hybrid.log
create mode 100644 eval/eval_m2000_human_pypdf_2000_hdr_union.log
create mode 100644 eval/eval_m2000_human_pypdf_2000_hybrid.log
create mode 100644 eval/eval_m2000_human_pypdf_2000_union.log
create mode 100644 eval/eval_m2000_synthetic_docling_2000_dense.log
create mode 100644 eval/eval_m2000_synthetic_docling_2000_hdr_dense.log
create mode 100644 eval/eval_m2000_synthetic_docling_2000_hdr_hybrid.log
create mode 100644 eval/eval_m2000_synthetic_docling_2000_hdr_union.log
create mode 100644 eval/eval_m2000_synthetic_docling_2000_hybrid.log
create mode 100644 eval/eval_m2000_synthetic_docling_2000_union.log
create mode 100644 eval/eval_m2000_synthetic_pypdf_2000_dense.log
create mode 100644 eval/eval_m2000_synthetic_pypdf_2000_hdr_dense.log
create mode 100644 eval/eval_m2000_synthetic_pypdf_2000_hdr_hybrid.log
create mode 100644 eval/eval_m2000_synthetic_pypdf_2000_hdr_union.log
create mode 100644 eval/eval_m2000_synthetic_pypdf_2000_hybrid.log
create mode 100644 eval/eval_m2000_synthetic_pypdf_2000_union.log
create mode 100644 eval/kafka_m2000_human_docling_2000_dense.txt
create mode 100644 eval/kafka_m2000_human_docling_2000_hdr_dense.txt
create mode 100644 eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt
create mode 100644 eval/kafka_m2000_human_docling_2000_hdr_union.txt
create mode 100644 eval/kafka_m2000_human_docling_2000_hybrid.txt
create mode 100644 eval/kafka_m2000_human_docling_2000_union.txt
create mode 100644 eval/kafka_m2000_human_pypdf_2000_dense.txt
create mode 100644 eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt
create mode 100644 eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt
create mode 100644 eval/kafka_m2000_human_pypdf_2000_hdr_union.txt
create mode 100644 eval/kafka_m2000_human_pypdf_2000_hybrid.txt
create mode 100644 eval/kafka_m2000_human_pypdf_2000_union.txt
create mode 100644 eval/kafka_m2000_synthetic_docling_2000_dense.txt
create mode 100644 eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt
create mode 100644 eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt
create mode 100644 eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt
create mode 100644 eval/kafka_m2000_synthetic_docling_2000_hybrid.txt
create mode 100644 eval/kafka_m2000_synthetic_docling_2000_union.txt
create mode 100644 eval/kafka_m2000_synthetic_pypdf_2000_dense.txt
create mode 100644 eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt
create mode 100644 eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt
create mode 100644 eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt
create mode 100644 eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt
create mode 100644 eval/kafka_m2000_synthetic_pypdf_2000_union.txt
create mode 100644 eval/matrix_2000.out
diff --git a/eval/build_pypdf_2000_hdr.log b/eval/build_pypdf_2000_hdr.log
index 5fe23b3..71699fd 100644
--- a/eval/build_pypdf_2000_hdr.log
+++ b/eval/build_pypdf_2000_hdr.log
@@ -82,3 +82,5 @@ Ignoring wrong pointing object 42 0 (offset 0)
- Trost,_Igor_Erzählen und Besprechen.pdf: 47 chunks
Creating embeddings for 7398 chunks...
+Vector store saved to ./vectorstore_pypdf_2000_hdr
+Done.
diff --git a/eval/eval_m2000_human_docling_2000_dense.log b/eval/eval_m2000_human_docling_2000_dense.log
new file mode 100644
index 0000000..130a706
--- /dev/null
+++ b/eval/eval_m2000_human_docling_2000_dense.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 41904.46it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6445.58it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 3 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 17 Sprach Kafka Tschechisch?
+ [14/30] nicht gefunden Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 2 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] nicht gefunden Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] nicht gefunden In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:08
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.60 (18 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.63 (19 von 30)
+ MRR 0.51
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.69 MRR 0.59 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 17 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang – sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+11 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_dense.txt
diff --git a/eval/eval_m2000_human_docling_2000_hdr_dense.log b/eval/eval_m2000_human_docling_2000_hdr_dense.log
new file mode 100644
index 0000000..dc4124f
--- /dev/null
+++ b/eval/eval_m2000_human_docling_2000_hdr_dense.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49294.32it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7381.23it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 4 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 19 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 3 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 13 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:15
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.67 (20 von 30)
+ Recall@20 0.73 (22 von 30)
+ MRR 0.57
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.65 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 4 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 13 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 19 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hdr_dense.txt
diff --git a/eval/eval_m2000_human_docling_2000_hdr_hybrid.log b/eval/eval_m2000_human_docling_2000_hdr_hybrid.log
new file mode 100644
index 0000000..be9df46
--- /dev/null
+++ b/eval/eval_m2000_human_docling_2000_hdr_hybrid.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 46322.99it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7227.82it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 5 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 2 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 18 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 3 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 14 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:17
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.58
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.67 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 5 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 14 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 18 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt
diff --git a/eval/eval_m2000_human_docling_2000_hdr_union.log b/eval/eval_m2000_human_docling_2000_hdr_union.log
new file mode 100644
index 0000000..e831d2a
--- /dev/null
+++ b/eval/eval_m2000_human_docling_2000_hdr_union.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47658.39it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6997.39it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 5 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 2 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 20 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 3 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 15 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:20
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.58
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.67 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 5 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 15 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 20 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hdr_union.txt
diff --git a/eval/eval_m2000_human_docling_2000_hybrid.log b/eval/eval_m2000_human_docling_2000_hybrid.log
new file mode 100644
index 0000000..f953f45
--- /dev/null
+++ b/eval/eval_m2000_human_docling_2000_hybrid.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 52014.74it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7370.47it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 13 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 14 Sprach Kafka Tschechisch?
+ [14/30] nicht gefunden Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 2 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 6 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] nicht gefunden In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:10
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.57 (17 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.67 (20 von 30)
+ MRR 0.50
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.65 MRR 0.58 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 6 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 13 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 14 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_hybrid.txt
diff --git a/eval/eval_m2000_human_docling_2000_union.log b/eval/eval_m2000_human_docling_2000_union.log
new file mode 100644
index 0000000..2c64125
--- /dev/null
+++ b/eval/eval_m2000_human_docling_2000_union.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 40656.79it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7920.51it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 13 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 18 Sprach Kafka Tschechisch?
+ [14/30] nicht gefunden Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 2 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 7 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] nicht gefunden In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:13
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.57 (17 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.67 (20 von 30)
+ MRR 0.50
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.65 MRR 0.58 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 7 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 13 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 18 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_docling_2000_union.txt
diff --git a/eval/eval_m2000_human_pypdf_2000_dense.log b/eval/eval_m2000_human_pypdf_2000_dense.log
new file mode 100644
index 0000000..d795553
--- /dev/null
+++ b/eval/eval_m2000_human_pypdf_2000_dense.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 58107.67it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7453.35it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 4 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] nicht gefunden Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] nicht gefunden Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 5 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 15 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:52
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.73 (22 von 30)
+ MRR 0.65
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.75 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 4 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 15 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – sekundär Sprach Kafka Tschechisch?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_dense.txt
diff --git a/eval/eval_m2000_human_pypdf_2000_hdr_dense.log b/eval/eval_m2000_human_pypdf_2000_hdr_dense.log
new file mode 100644
index 0000000..34f8765
--- /dev/null
+++ b/eval/eval_m2000_human_pypdf_2000_hdr_dense.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49605.95it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7171.90it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 6 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] nicht gefunden Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 14 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 5 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:00
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.65
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.75 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 6 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 14 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt
diff --git a/eval/eval_m2000_human_pypdf_2000_hdr_hybrid.log b/eval/eval_m2000_human_pypdf_2000_hdr_hybrid.log
new file mode 100644
index 0000000..ab6b425
--- /dev/null
+++ b/eval/eval_m2000_human_pypdf_2000_hdr_hybrid.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 63073.45it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7205.07it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 10 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 13 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:03
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.68
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.78 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 10 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 13 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt
diff --git a/eval/eval_m2000_human_pypdf_2000_hdr_union.log b/eval/eval_m2000_human_pypdf_2000_hdr_union.log
new file mode 100644
index 0000000..d66794e
--- /dev/null
+++ b/eval/eval_m2000_human_pypdf_2000_hdr_union.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47354.26it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7294.93it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 10 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 15 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 6 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:06
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.77 (23 von 30)
+ Recall@20 0.80 (24 von 30)
+ MRR 0.68
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.78 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 6 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 10 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 15 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hdr_union.txt
diff --git a/eval/eval_m2000_human_pypdf_2000_hybrid.log b/eval/eval_m2000_human_pypdf_2000_hybrid.log
new file mode 100644
index 0000000..ed86552
--- /dev/null
+++ b/eval/eval_m2000_human_pypdf_2000_hybrid.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 52225.11it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7154.04it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 16 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 7 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 15 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 5 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 11 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:55
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.83 (25 von 30)
+ MRR 0.69
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.79 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 7 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 15 sekundär Sprach Kafka Tschechisch?
+ Rang 16 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+5 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_hybrid.txt
diff --git a/eval/eval_m2000_human_pypdf_2000_union.log b/eval/eval_m2000_human_pypdf_2000_union.log
new file mode 100644
index 0000000..0272184
--- /dev/null
+++ b/eval/eval_m2000_human_pypdf_2000_union.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53621.92it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7219.59it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 9 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] nicht gefunden Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 5 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 17 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:58
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.68
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.01 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.78 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 9 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 17 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Sprach Kafka Tschechisch?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_human_pypdf_2000_union.txt
diff --git a/eval/eval_m2000_synthetic_docling_2000_dense.log b/eval/eval_m2000_synthetic_docling_2000_dense.log
new file mode 100644
index 0000000..199c396
--- /dev/null
+++ b/eval/eval_m2000_synthetic_docling_2000_dense.log
@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 46332.15it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 8554.25it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 1 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 3 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] nicht gefunden Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 6 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] nicht gefunden Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] nicht gefunden Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:49
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.81 (35 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.76
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.22 (3 Fragen)
+ sekundaer Recall@5 0.85 MRR 0.80 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang – sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_dense.txt
diff --git a/eval/eval_m2000_synthetic_docling_2000_hdr_dense.log b/eval/eval_m2000_synthetic_docling_2000_hdr_dense.log
new file mode 100644
index 0000000..27216ce
--- /dev/null
+++ b/eval/eval_m2000_synthetic_docling_2000_hdr_dense.log
@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57719.10it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 26007.60it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 1 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 5 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 5 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 2 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:58
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.86 (37 von 43)
+ Recall@10 0.86 (37 von 43)
+ Recall@20 0.86 (37 von 43)
+ MRR 0.77
+
+Nach Korpus
+ primaer Recall@5 1.00 MRR 0.30 (3 Fragen)
+ sekundaer Recall@5 0.85 MRR 0.80 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 5 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 5 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt
diff --git a/eval/eval_m2000_synthetic_docling_2000_hdr_hybrid.log b/eval/eval_m2000_synthetic_docling_2000_hdr_hybrid.log
new file mode 100644
index 0000000..c51397d
--- /dev/null
+++ b/eval/eval_m2000_synthetic_docling_2000_hdr_hybrid.log
@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 40526.18it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 27256.01it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 1 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 10 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 6 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 2 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 2 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:00
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.95 (41 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.87
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.26 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.92 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 10 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt
diff --git a/eval/eval_m2000_synthetic_docling_2000_hdr_union.log b/eval/eval_m2000_synthetic_docling_2000_hdr_union.log
new file mode 100644
index 0000000..7328f75
--- /dev/null
+++ b/eval/eval_m2000_synthetic_docling_2000_hdr_union.log
@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 51820.80it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 28338.92it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 1 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 11 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 6 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 2 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 2 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:04
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.95 (41 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.87
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.25 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.92 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 11 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt
diff --git a/eval/eval_m2000_synthetic_docling_2000_hybrid.log b/eval/eval_m2000_synthetic_docling_2000_hybrid.log
new file mode 100644
index 0000000..a801049
--- /dev/null
+++ b/eval/eval_m2000_synthetic_docling_2000_hybrid.log
@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47000.05it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 23708.90it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 1 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 3 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 6 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] nicht gefunden Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 7 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 2 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:51
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.93 (40 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.85
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.21 (3 Fragen)
+ sekundaer Recall@5 0.97 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 7 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_hybrid.txt
diff --git a/eval/eval_m2000_synthetic_docling_2000_union.log b/eval/eval_m2000_synthetic_docling_2000_union.log
new file mode 100644
index 0000000..1beb6c9
--- /dev/null
+++ b/eval/eval_m2000_synthetic_docling_2000_union.log
@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57127.98it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 25012.69it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 1 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 3 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 7 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] nicht gefunden Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 7 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 2 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:55
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.93 (40 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.85
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.21 (3 Fragen)
+ sekundaer Recall@5 0.97 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 7 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 7 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_docling_2000_union.txt
diff --git a/eval/eval_m2000_synthetic_pypdf_2000_dense.log b/eval/eval_m2000_synthetic_pypdf_2000_dense.log
new file mode 100644
index 0000000..9f087a0
--- /dev/null
+++ b/eval/eval_m2000_synthetic_pypdf_2000_dense.log
@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 47547.85it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6811.21it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 5 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] nicht gefunden Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 5 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 3 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 3 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 2 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 5 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] nicht gefunden Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 6 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:24
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.81 (35 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.68
+
+Nach Korpus
+ primaer Recall@5 1.00 MRR 0.40 (3 Fragen)
+ sekundaer Recall@5 0.80 MRR 0.71 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 3 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 5 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 5 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 5 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 6 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_dense.txt
diff --git a/eval/eval_m2000_synthetic_pypdf_2000_hdr_dense.log b/eval/eval_m2000_synthetic_pypdf_2000_hdr_dense.log
new file mode 100644
index 0000000..91d80a4
--- /dev/null
+++ b/eval/eval_m2000_synthetic_pypdf_2000_hdr_dense.log
@@ -0,0 +1,131 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 43648.80it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7088.23it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] nicht gefunden Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 4 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 2 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 4 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 4 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 1 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 1 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] nicht gefunden Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:37
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.84 (36 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.73
+
+Nach Korpus
+ primaer Recall@5 1.00 MRR 0.50 (3 Fragen)
+ sekundaer Recall@5 0.82 MRR 0.75 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 4 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 4 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt
diff --git a/eval/eval_m2000_synthetic_pypdf_2000_hdr_hybrid.log b/eval/eval_m2000_synthetic_pypdf_2000_hdr_hybrid.log
new file mode 100644
index 0000000..bd962f0
--- /dev/null
+++ b/eval/eval_m2000_synthetic_pypdf_2000_hdr_hybrid.log
@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 51258.76it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7052.63it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 4 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 2 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 7 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 4 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 1 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:41
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.98 (42 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.87
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.46 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 4 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 7 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt
diff --git a/eval/eval_m2000_synthetic_pypdf_2000_hdr_union.log b/eval/eval_m2000_synthetic_pypdf_2000_hdr_union.log
new file mode 100644
index 0000000..59cd36d
--- /dev/null
+++ b/eval/eval_m2000_synthetic_pypdf_2000_hdr_union.log
@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 42503.96it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7206.61it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 4 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 2 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 7 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 5 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 1 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:46
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.98 (42 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.86
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.45 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 5 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 7 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt
diff --git a/eval/eval_m2000_synthetic_pypdf_2000_hybrid.log b/eval/eval_m2000_synthetic_pypdf_2000_hybrid.log
new file mode 100644
index 0000000..23c8e9e
--- /dev/null
+++ b/eval/eval_m2000_synthetic_pypdf_2000_hybrid.log
@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 34870.78it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7236.77it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 6 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 5 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 3 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 3 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 8 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 4 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 6 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 4 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 8 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:28
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.91 (39 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.78
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.31 (3 Fragen)
+ sekundaer Recall@5 0.93 MRR 0.82 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 3 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 4 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 4 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 5 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 8 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 8 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt
diff --git a/eval/eval_m2000_synthetic_pypdf_2000_union.log b/eval/eval_m2000_synthetic_pypdf_2000_union.log
new file mode 100644
index 0000000..d053d4f
--- /dev/null
+++ b/eval/eval_m2000_synthetic_pypdf_2000_union.log
@@ -0,0 +1,127 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 35615.97it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7205.73it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 6 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 5 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 3 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 3 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 8 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 4 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 6 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 4 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 9 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:33
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.91 (39 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.78
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.31 (3 Fragen)
+ sekundaer Recall@5 0.93 MRR 0.82 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 3 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 4 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 4 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 5 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 8 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 9 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+Bericht gespeichert: eval/kafka_m2000_synthetic_pypdf_2000_union.txt
diff --git a/eval/kafka_m2000_human_docling_2000_dense.txt b/eval/kafka_m2000_human_docling_2000_dense.txt
new file mode 100644
index 0000000..4cb2696
--- /dev/null
+++ b/eval/kafka_m2000_human_docling_2000_dense.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:08
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.60 (18 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.63 (19 von 30)
+ MRR 0.51
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.69 MRR 0.59 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 17 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang – sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+11 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_docling_2000_hdr_dense.txt b/eval/kafka_m2000_human_docling_2000_hdr_dense.txt
new file mode 100644
index 0000000..6b83bcc
--- /dev/null
+++ b/eval/kafka_m2000_human_docling_2000_hdr_dense.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:15
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.67 (20 von 30)
+ Recall@20 0.73 (22 von 30)
+ MRR 0.57
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.65 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 4 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 13 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 19 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt b/eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt
new file mode 100644
index 0000000..515db62
--- /dev/null
+++ b/eval/kafka_m2000_human_docling_2000_hdr_hybrid.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:17
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.58
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.67 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 5 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 14 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 18 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_docling_2000_hdr_union.txt b/eval/kafka_m2000_human_docling_2000_hdr_union.txt
new file mode 100644
index 0000000..e402bef
--- /dev/null
+++ b/eval/kafka_m2000_human_docling_2000_hdr_union.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:20
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.58
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.67 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 5 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 15 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 20 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_docling_2000_hybrid.txt b/eval/kafka_m2000_human_docling_2000_hybrid.txt
new file mode 100644
index 0000000..b136609
--- /dev/null
+++ b/eval/kafka_m2000_human_docling_2000_hybrid.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:10
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.57 (17 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.67 (20 von 30)
+ MRR 0.50
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.65 MRR 0.58 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 6 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 13 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 14 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_docling_2000_union.txt b/eval/kafka_m2000_human_docling_2000_union.txt
new file mode 100644
index 0000000..632d7c8
--- /dev/null
+++ b/eval/kafka_m2000_human_docling_2000_union.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:13
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.57 (17 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.67 (20 von 30)
+ MRR 0.50
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.65 MRR 0.58 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 7 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 13 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 18 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_pypdf_2000_dense.txt b/eval/kafka_m2000_human_pypdf_2000_dense.txt
new file mode 100644
index 0000000..45ff561
--- /dev/null
+++ b/eval/kafka_m2000_human_pypdf_2000_dense.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:52
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.73 (22 von 30)
+ MRR 0.65
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.75 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 4 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 15 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – sekundär Sprach Kafka Tschechisch?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt b/eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt
new file mode 100644
index 0000000..b313d95
--- /dev/null
+++ b/eval/kafka_m2000_human_pypdf_2000_hdr_dense.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:00
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.65
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.75 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 6 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 14 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt b/eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt
new file mode 100644
index 0000000..c8b7f96
--- /dev/null
+++ b/eval/kafka_m2000_human_pypdf_2000_hdr_hybrid.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:03
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.68
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.78 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 10 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 13 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_pypdf_2000_hdr_union.txt b/eval/kafka_m2000_human_pypdf_2000_hdr_union.txt
new file mode 100644
index 0000000..2eccf9d
--- /dev/null
+++ b/eval/kafka_m2000_human_pypdf_2000_hdr_union.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:06
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.67 (20 von 30)
+ Recall@10 0.77 (23 von 30)
+ Recall@20 0.80 (24 von 30)
+ MRR 0.68
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.77 MRR 0.78 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 6 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 10 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 15 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_pypdf_2000_hybrid.txt b/eval/kafka_m2000_human_pypdf_2000_hybrid.txt
new file mode 100644
index 0000000..737eae9
--- /dev/null
+++ b/eval/kafka_m2000_human_pypdf_2000_hybrid.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:55
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.83 (25 von 30)
+ MRR 0.69
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.79 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 7 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 15 sekundär Sprach Kafka Tschechisch?
+ Rang 16 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+5 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_human_pypdf_2000_union.txt b/eval/kafka_m2000_human_pypdf_2000_union.txt
new file mode 100644
index 0000000..fe91c6e
--- /dev/null
+++ b/eval/kafka_m2000_human_pypdf_2000_union.txt
@@ -0,0 +1,59 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:58
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.68
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.01 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.78 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 9 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 17 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Sprach Kafka Tschechisch?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_docling_2000_dense.txt b/eval/kafka_m2000_synthetic_docling_2000_dense.txt
new file mode 100644
index 0000000..b40eebd
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_docling_2000_dense.txt
@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:49
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.81 (35 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.76
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.22 (3 Fragen)
+ sekundaer Recall@5 0.85 MRR 0.80 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang – sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt b/eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt
new file mode 100644
index 0000000..2f0d53c
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_docling_2000_hdr_dense.txt
@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:58
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.86 (37 von 43)
+ Recall@10 0.86 (37 von 43)
+ Recall@20 0.86 (37 von 43)
+ MRR 0.77
+
+Nach Korpus
+ primaer Recall@5 1.00 MRR 0.30 (3 Fragen)
+ sekundaer Recall@5 0.85 MRR 0.80 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 5 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 5 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt b/eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt
new file mode 100644
index 0000000..6eacaa2
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_docling_2000_hdr_hybrid.txt
@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:00
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.95 (41 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.87
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.26 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.92 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 10 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
diff --git a/eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt b/eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt
new file mode 100644
index 0000000..a327ce6
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_docling_2000_hdr_union.txt
@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 18:04
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.95 (41 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.87
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.25 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.92 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 11 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
diff --git a/eval/kafka_m2000_synthetic_docling_2000_hybrid.txt b/eval/kafka_m2000_synthetic_docling_2000_hybrid.txt
new file mode 100644
index 0000000..a876d55
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_docling_2000_hybrid.txt
@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:51
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.93 (40 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.85
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.21 (3 Fragen)
+ sekundaer Recall@5 0.97 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 7 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_docling_2000_union.txt b/eval/kafka_m2000_synthetic_docling_2000_union.txt
new file mode 100644
index 0000000..ef13e0e
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_docling_2000_union.txt
@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:55
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader docling, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.93 (40 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.85
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.21 (3 Fragen)
+ sekundaer Recall@5 0.97 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 7 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 7 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_pypdf_2000_dense.txt b/eval/kafka_m2000_synthetic_pypdf_2000_dense.txt
new file mode 100644
index 0000000..e33a131
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_pypdf_2000_dense.txt
@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:24
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.81 (35 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.68
+
+Nach Korpus
+ primaer Recall@5 1.00 MRR 0.40 (3 Fragen)
+ sekundaer Recall@5 0.80 MRR 0.71 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 3 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 5 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 5 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 5 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 6 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt b/eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt
new file mode 100644
index 0000000..7156a84
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_pypdf_2000_hdr_dense.txt
@@ -0,0 +1,72 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:37
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.84 (36 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.73
+
+Nach Korpus
+ primaer Recall@5 1.00 MRR 0.50 (3 Fragen)
+ sekundaer Recall@5 0.82 MRR 0.75 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 4 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 4 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
diff --git a/eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt b/eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt
new file mode 100644
index 0000000..1fac3ea
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_pypdf_2000_hdr_hybrid.txt
@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:41
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.98 (42 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.87
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.46 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 4 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 7 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
diff --git a/eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt b/eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt
new file mode 100644
index 0000000..4a6a05a
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_pypdf_2000_hdr_union.txt
@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:46
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen an
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.98 (42 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.86
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.45 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.90 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 5 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 7 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
diff --git a/eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt b/eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt
new file mode 100644
index 0000000..a1e18b4
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_pypdf_2000_hybrid.txt
@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:28
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.91 (39 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.78
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.31 (3 Fragen)
+ sekundaer Recall@5 0.93 MRR 0.82 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 3 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 4 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 4 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 5 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 8 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 8 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
diff --git a/eval/kafka_m2000_synthetic_pypdf_2000_union.txt b/eval/kafka_m2000_synthetic_pypdf_2000_union.txt
new file mode 100644
index 0000000..cd95215
--- /dev/null
+++ b/eval/kafka_m2000_synthetic_pypdf_2000_union.txt
@@ -0,0 +1,68 @@
+====================================================================
+Retrieval-Auswertung — 2026-10-07 17:33
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche union, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.91 (39 von 43)
+ Recall@10 1.00 (43 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.78
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.31 (3 Fragen)
+ sekundaer Recall@5 0.93 MRR 0.82 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 3 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 3 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 4 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 4 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 5 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 6 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 6 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 8 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 9 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
diff --git a/eval/matrix_2000.out b/eval/matrix_2000.out
new file mode 100644
index 0000000..e896b6c
--- /dev/null
+++ b/eval/matrix_2000.out
@@ -0,0 +1,25 @@
+human pypdf_2000 dense Recall@5 0.70 Recall@10 0.70 Recall@20 0.73 MRR 0.65
+human pypdf_2000 hybrid Recall@5 0.70 Recall@10 0.73 Recall@20 0.83 MRR 0.69
+human pypdf_2000 union Recall@5 0.70 Recall@10 0.73 Recall@20 0.77 MRR 0.68
+human pypdf_2000_hdr dense Recall@5 0.67 Recall@10 0.73 Recall@20 0.77 MRR 0.65
+human pypdf_2000_hdr hybrid Recall@5 0.67 Recall@10 0.73 Recall@20 0.77 MRR 0.68
+human pypdf_2000_hdr union Recall@5 0.67 Recall@10 0.77 Recall@20 0.80 MRR 0.68
+human docling_2000 dense Recall@5 0.60 Recall@10 0.60 Recall@20 0.63 MRR 0.51
+human docling_2000 hybrid Recall@5 0.57 Recall@10 0.60 Recall@20 0.67 MRR 0.50
+human docling_2000 union Recall@5 0.57 Recall@10 0.60 Recall@20 0.67 MRR 0.50
+human docling_2000_hdr dense Recall@5 0.67 Recall@10 0.67 Recall@20 0.73 MRR 0.57
+human docling_2000_hdr hybrid Recall@5 0.70 Recall@10 0.70 Recall@20 0.77 MRR 0.58
+human docling_2000_hdr union Recall@5 0.70 Recall@10 0.70 Recall@20 0.77 MRR 0.58
+synthetic pypdf_2000 dense Recall@5 0.81 Recall@10 0.84 Recall@20 0.84 MRR 0.68
+synthetic pypdf_2000 hybrid Recall@5 0.91 Recall@10 1.00 Recall@20 1.00 MRR 0.78
+synthetic pypdf_2000 union Recall@5 0.91 Recall@10 1.00 Recall@20 1.00 MRR 0.78
+synthetic pypdf_2000_hdr dense Recall@5 0.84 Recall@10 0.84 Recall@20 0.84 MRR 0.73
+synthetic pypdf_2000_hdr hybrid Recall@5 0.98 Recall@10 1.00 Recall@20 1.00 MRR 0.87
+synthetic pypdf_2000_hdr union Recall@5 0.98 Recall@10 1.00 Recall@20 1.00 MRR 0.86
+synthetic docling_2000 dense Recall@5 0.81 Recall@10 0.84 Recall@20 0.84 MRR 0.76
+synthetic docling_2000 hybrid Recall@5 0.93 Recall@10 0.98 Recall@20 0.98 MRR 0.85
+synthetic docling_2000 union Recall@5 0.93 Recall@10 0.98 Recall@20 0.98 MRR 0.85
+synthetic docling_2000_hdr dense Recall@5 0.86 Recall@10 0.86 Recall@20 0.86 MRR 0.77
+synthetic docling_2000_hdr hybrid Recall@5 0.95 Recall@10 1.00 Recall@20 1.00 MRR 0.87
+synthetic docling_2000_hdr union Recall@5 0.95 Recall@10 0.98 Recall@20 1.00 MRR 0.87
+FERTIG