From 6b5c2921581566cf2d44b6af8de6f8d1d765b87b Mon Sep 17 00:00:00 2001
From: Philipp Mock
Date: Wed, 7 Oct 2026 16:49:22 +0200
Subject: [PATCH] Add build and evaluation logs
Co-Authored-By: Claude Opus 5.5
---
eval/build_docling.log | 53 ++++++++
eval/build_docling_2000.log | 53 ++++++++
eval/build_docling_2000_hdr.log | 53 ++++++++
eval/build_docling_hdr.log | 53 ++++++++
eval/build_docling_split.log | 53 ++++++++
eval/build_pypdf.log | 87 +++++++++++++
eval/build_pypdf_2000.log | 86 +++++++++++++
eval/build_pypdf_2000_hdr.log | 84 +++++++++++++
eval/build_pypdf_hdr.log | 86 +++++++++++++
eval/eval_docling.log | 128 +++++++++++++++++++
eval/eval_docling_hdr.log | 130 ++++++++++++++++++++
eval/eval_docling_hdr_dense.log | 128 +++++++++++++++++++
eval/eval_docling_hdr_dense_rerank.log | 130 ++++++++++++++++++++
eval/eval_docling_hdr_hybrid.log | 124 +++++++++++++++++++
eval/eval_docling_hdr_hybrid_rerank.log | 130 ++++++++++++++++++++
eval/eval_human_docling_dense.log | 102 +++++++++++++++
eval/eval_human_docling_dense_rerank.log | 104 ++++++++++++++++
eval/eval_human_docling_hybrid.log | 102 +++++++++++++++
eval/eval_human_docling_hybrid_rerank.log | 104 ++++++++++++++++
eval/eval_human_pypdf2000_dense.log | 103 ++++++++++++++++
eval/eval_human_pypdf2000_hybrid_rerank.log | 105 ++++++++++++++++
eval/eval_human_pypdf_dense.log | 102 +++++++++++++++
eval/eval_human_pypdf_dense_rerank.log | 104 ++++++++++++++++
eval/eval_human_pypdf_hybrid.log | 102 +++++++++++++++
eval/eval_human_pypdf_hybrid_rerank.log | 104 ++++++++++++++++
eval/eval_pypdf.log | 128 +++++++++++++++++++
eval/eval_pypdf_hdr.log | 126 +++++++++++++++++++
eval/eval_pypdf_hdr_dense.log | 128 +++++++++++++++++++
eval/eval_pypdf_hdr_dense_rerank.log | 130 ++++++++++++++++++++
eval/eval_pypdf_hdr_hybrid.log | 128 +++++++++++++++++++
eval/eval_pypdf_hdr_hybrid_rerank.log | 126 +++++++++++++++++++
31 files changed, 3176 insertions(+)
create mode 100644 eval/build_docling.log
create mode 100644 eval/build_docling_2000.log
create mode 100644 eval/build_docling_2000_hdr.log
create mode 100644 eval/build_docling_hdr.log
create mode 100644 eval/build_docling_split.log
create mode 100644 eval/build_pypdf.log
create mode 100644 eval/build_pypdf_2000.log
create mode 100644 eval/build_pypdf_2000_hdr.log
create mode 100644 eval/build_pypdf_hdr.log
create mode 100644 eval/eval_docling.log
create mode 100644 eval/eval_docling_hdr.log
create mode 100644 eval/eval_docling_hdr_dense.log
create mode 100644 eval/eval_docling_hdr_dense_rerank.log
create mode 100644 eval/eval_docling_hdr_hybrid.log
create mode 100644 eval/eval_docling_hdr_hybrid_rerank.log
create mode 100644 eval/eval_human_docling_dense.log
create mode 100644 eval/eval_human_docling_dense_rerank.log
create mode 100644 eval/eval_human_docling_hybrid.log
create mode 100644 eval/eval_human_docling_hybrid_rerank.log
create mode 100644 eval/eval_human_pypdf2000_dense.log
create mode 100644 eval/eval_human_pypdf2000_hybrid_rerank.log
create mode 100644 eval/eval_human_pypdf_dense.log
create mode 100644 eval/eval_human_pypdf_dense_rerank.log
create mode 100644 eval/eval_human_pypdf_hybrid.log
create mode 100644 eval/eval_human_pypdf_hybrid_rerank.log
create mode 100644 eval/eval_pypdf.log
create mode 100644 eval/eval_pypdf_hdr.log
create mode 100644 eval/eval_pypdf_hdr_dense.log
create mode 100644 eval/eval_pypdf_hdr_dense_rerank.log
create mode 100644 eval/eval_pypdf_hdr_hybrid.log
create mode 100644 eval/eval_pypdf_hdr_hybrid_rerank.log
diff --git a/eval/build_docling.log b/eval/build_docling.log
new file mode 100644
index 0000000..fdcd15b
--- /dev/null
+++ b/eval/build_docling.log
@@ -0,0 +1,53 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 52561.55it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 254 chunks (docling)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 181 chunks (docling)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 314 chunks (docling)
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 47 chunks (docling)
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 438 chunks (docling)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 58 chunks (docling)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 99 chunks (docling)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 51 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 653 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 209 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 813 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 280 chunks (docling)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 116 chunks (docling)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 118 chunks (docling)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 425 chunks (docling)
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 53 chunks (docling)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 71 chunks (docling)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 116 chunks (docling)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 735 chunks (docling)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 272 chunks (docling)
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 116 chunks (docling)
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 113 chunks (docling)
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 365 chunks (docling)
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 33 chunks (docling)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 295 chunks (docling)
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 295 chunks (docling)
+ - Kafka_Die_Verwandlung_.pdf: 107 chunks (docling)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 61 chunks (docling)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 88 chunks (docling)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 251 chunks (docling)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 225 chunks (docling)
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 21 chunks (docling)
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 85 chunks (docling)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 323 chunks (docling)
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 64 chunks (docling)
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 34 chunks (docling)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 945 chunks (docling)
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 61 chunks (docling)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 425 chunks (docling)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 829 chunks (docling)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 69 chunks (docling)
+
+Creating embeddings for 10108 chunks...
+Vector store saved to ./vectorstore_docling
+Done.
diff --git a/eval/build_docling_2000.log b/eval/build_docling_2000.log
new file mode 100644
index 0000000..a1aae9d
--- /dev/null
+++ b/eval/build_docling_2000.log
@@ -0,0 +1,53 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57313.65it/s]
+Text splitter: chunk_size=2000, chunk_overlap=400
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 188 chunks (docling)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 145 chunks (docling)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 239 chunks (docling)
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 39 chunks (docling)
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 314 chunks (docling)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 44 chunks (docling)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 77 chunks (docling)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 40 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 483 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 158 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 584 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 206 chunks (docling)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 95 chunks (docling)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 90 chunks (docling)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 315 chunks (docling)
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 41 chunks (docling)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 56 chunks (docling)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 87 chunks (docling)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 561 chunks (docling)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 212 chunks (docling)
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 95 chunks (docling)
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 86 chunks (docling)
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 271 chunks (docling)
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 24 chunks (docling)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 224 chunks (docling)
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 228 chunks (docling)
+ - Kafka_Die_Verwandlung_.pdf: 81 chunks (docling)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 47 chunks (docling)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 71 chunks (docling)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 184 chunks (docling)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 172 chunks (docling)
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 14 chunks (docling)
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 65 chunks (docling)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 260 chunks (docling)
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 47 chunks (docling)
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 29 chunks (docling)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 765 chunks (docling)
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 39 chunks (docling)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 320 chunks (docling)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 663 chunks (docling)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 55 chunks (docling)
+
+Creating embeddings for 7714 chunks...
+Vector store saved to ./vectorstore_docling_2000
+Done.
diff --git a/eval/build_docling_2000_hdr.log b/eval/build_docling_2000_hdr.log
new file mode 100644
index 0000000..aa61b18
--- /dev/null
+++ b/eval/build_docling_2000_hdr.log
@@ -0,0 +1,53 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 38318.91it/s]
+Text splitter: chunk_size=2000, chunk_overlap=400
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 188 chunks (docling)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 145 chunks (docling)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 239 chunks (docling)
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 39 chunks (docling)
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 314 chunks (docling)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 44 chunks (docling)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 77 chunks (docling)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 40 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 483 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 158 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 584 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 206 chunks (docling)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 95 chunks (docling)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 90 chunks (docling)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 315 chunks (docling)
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 41 chunks (docling)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 56 chunks (docling)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 87 chunks (docling)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 561 chunks (docling)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 212 chunks (docling)
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 95 chunks (docling)
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 86 chunks (docling)
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 271 chunks (docling)
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 24 chunks (docling)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 224 chunks (docling)
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 228 chunks (docling)
+ - Kafka_Die_Verwandlung_.pdf: 81 chunks (docling)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 47 chunks (docling)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 71 chunks (docling)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 184 chunks (docling)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 172 chunks (docling)
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 14 chunks (docling)
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 65 chunks (docling)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 260 chunks (docling)
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 47 chunks (docling)
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 29 chunks (docling)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 765 chunks (docling)
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 39 chunks (docling)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 320 chunks (docling)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 663 chunks (docling)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 55 chunks (docling)
+
+Creating embeddings for 7714 chunks...
+Vector store saved to ./vectorstore_docling_2000_hdr
+Done.
diff --git a/eval/build_docling_hdr.log b/eval/build_docling_hdr.log
new file mode 100644
index 0000000..90c7c48
--- /dev/null
+++ b/eval/build_docling_hdr.log
@@ -0,0 +1,53 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 41472.10it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 253 chunks (docling)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 184 chunks (docling)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 314 chunks (docling)
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 49 chunks (docling)
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 439 chunks (docling)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 59 chunks (docling)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 105 chunks (docling)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 50 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 648 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 205 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 804 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 278 chunks (docling)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 120 chunks (docling)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 117 chunks (docling)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 424 chunks (docling)
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 53 chunks (docling)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 72 chunks (docling)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 116 chunks (docling)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 746 chunks (docling)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 270 chunks (docling)
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 118 chunks (docling)
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 117 chunks (docling)
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 364 chunks (docling)
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 33 chunks (docling)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 301 chunks (docling)
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 295 chunks (docling)
+ - Kafka_Die_Verwandlung_.pdf: 107 chunks (docling)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 60 chunks (docling)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 86 chunks (docling)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 250 chunks (docling)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 230 chunks (docling)
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 21 chunks (docling)
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 87 chunks (docling)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 330 chunks (docling)
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 67 chunks (docling)
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 33 chunks (docling)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 971 chunks (docling)
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 62 chunks (docling)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 429 chunks (docling)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 861 chunks (docling)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 75 chunks (docling)
+
+Creating embeddings for 10203 chunks...
+Vector store saved to ./vectorstore_docling_hdr
+Done.
diff --git a/eval/build_docling_split.log b/eval/build_docling_split.log
new file mode 100644
index 0000000..df93345
--- /dev/null
+++ b/eval/build_docling_split.log
@@ -0,0 +1,53 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 50216.57it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 254 chunks (docling)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 184 chunks (docling)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 314 chunks (docling)
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 49 chunks (docling)
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 439 chunks (docling)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 59 chunks (docling)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 105 chunks (docling)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 51 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 648 chunks (docling)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 205 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 805 chunks (docling)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 278 chunks (docling)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 120 chunks (docling)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 117 chunks (docling)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 425 chunks (docling)
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 53 chunks (docling)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 72 chunks (docling)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 116 chunks (docling)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 746 chunks (docling)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 270 chunks (docling)
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 118 chunks (docling)
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 117 chunks (docling)
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 365 chunks (docling)
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 33 chunks (docling)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 301 chunks (docling)
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 295 chunks (docling)
+ - Kafka_Die_Verwandlung_.pdf: 107 chunks (docling)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 60 chunks (docling)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 87 chunks (docling)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 250 chunks (docling)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 230 chunks (docling)
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 21 chunks (docling)
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 87 chunks (docling)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 329 chunks (docling)
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 67 chunks (docling)
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 33 chunks (docling)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 972 chunks (docling)
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 62 chunks (docling)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 429 chunks (docling)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 862 chunks (docling)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 76 chunks (docling)
+
+Creating embeddings for 10211 chunks...
+Vector store saved to ./vectorstore_docling_split
+Done.
diff --git a/eval/build_pypdf.log b/eval/build_pypdf.log
new file mode 100644
index 0000000..c3d0e4c
--- /dev/null
+++ b/eval/build_pypdf.log
@@ -0,0 +1,87 @@
+Cleared existing vector store: ./vectorstore_pypdf
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 48482.61it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+Ignoring wrong pointing object 528 0 (offset 0)
+Ignoring wrong pointing object 529 0 (offset 0)
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 237 chunks
+Ignoring wrong pointing object 38 0 (offset 0)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 171 chunks
+Ignoring wrong pointing object 41 0 (offset 0)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 299 chunks
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 43 chunks
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 407 chunks
+Ignoring wrong pointing object 59 0 (offset 0)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 49 chunks
+Ignoring wrong pointing object 71 0 (offset 0)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 95 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 49 chunks
+Ignoring wrong pointing object 438 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 606 chunks
+Ignoring wrong pointing object 89 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 188 chunks
+Ignoring wrong pointing object 177 0 (offset 0)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 743 chunks
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 256 chunks
+Ignoring wrong pointing object 94 0 (offset 0)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 110 chunks
+Ignoring wrong pointing object 100 0 (offset 0)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 111 chunks
+Ignoring wrong pointing object 8 0 (offset 0)
+Ignoring wrong pointing object 10 0 (offset 0)
+Ignoring wrong pointing object 12 0 (offset 0)
+Ignoring wrong pointing object 15 0 (offset 0)
+Ignoring wrong pointing object 80 0 (offset 0)
+Ignoring wrong pointing object 513 0 (offset 0)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 430 chunks
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 49 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 64 chunks
+Ignoring wrong pointing object 27 0 (offset 0)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 108 chunks
+Ignoring wrong pointing object 105 0 (offset 0)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 707 chunks
+Ignoring wrong pointing object 104 0 (offset 0)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 248 chunks
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 113 chunks
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 110 chunks
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 395 chunks
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 32 chunks
+Ignoring wrong pointing object 70 0 (offset 0)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 270 chunks
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 277 chunks
+incorrect startxref pointer(3)
+ - Kafka_Die_Verwandlung_.pdf: 112 chunks
+Ignoring wrong pointing object 102 0 (offset 0)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 55 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 87 chunks
+Ignoring wrong pointing object 114 0 (offset 0)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 230 chunks
+Ignoring wrong pointing object 18 0 (offset 0)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 218 chunks
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 21 chunks
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 80 chunks
+Ignoring wrong pointing object 46 0 (offset 0)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 316 chunks
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 56 chunks
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 31 chunks
+Ignoring wrong pointing object 847 0 (offset 0)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 829 chunks
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 50 chunks
+Ignoring wrong pointing object 15 0 (offset 0)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 381 chunks
+Ignoring wrong pointing object 61 0 (offset 0)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 809 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 59 chunks
+
+Creating embeddings for 9501 chunks...
+Vector store saved to ./vectorstore_pypdf
+Done.
diff --git a/eval/build_pypdf_2000.log b/eval/build_pypdf_2000.log
new file mode 100644
index 0000000..1936815
--- /dev/null
+++ b/eval/build_pypdf_2000.log
@@ -0,0 +1,86 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 42156.52it/s]
+Text splitter: chunk_size=2000, chunk_overlap=400
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+Ignoring wrong pointing object 528 0 (offset 0)
+Ignoring wrong pointing object 529 0 (offset 0)
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 163 chunks
+Ignoring wrong pointing object 38 0 (offset 0)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 128 chunks
+Ignoring wrong pointing object 41 0 (offset 0)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 236 chunks
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 37 chunks
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 307 chunks
+Ignoring wrong pointing object 59 0 (offset 0)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 37 chunks
+Ignoring wrong pointing object 71 0 (offset 0)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 68 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 39 chunks
+Ignoring wrong pointing object 438 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 480 chunks
+Ignoring wrong pointing object 89 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 145 chunks
+Ignoring wrong pointing object 177 0 (offset 0)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 556 chunks
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 197 chunks
+Ignoring wrong pointing object 94 0 (offset 0)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 83 chunks
+Ignoring wrong pointing object 100 0 (offset 0)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 82 chunks
+Ignoring wrong pointing object 8 0 (offset 0)
+Ignoring wrong pointing object 10 0 (offset 0)
+Ignoring wrong pointing object 12 0 (offset 0)
+Ignoring wrong pointing object 15 0 (offset 0)
+Ignoring wrong pointing object 80 0 (offset 0)
+Ignoring wrong pointing object 513 0 (offset 0)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 400 chunks
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 38 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 60 chunks
+Ignoring wrong pointing object 27 0 (offset 0)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 88 chunks
+Ignoring wrong pointing object 105 0 (offset 0)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 532 chunks
+Ignoring wrong pointing object 104 0 (offset 0)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 192 chunks
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 83 chunks
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 83 chunks
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 307 chunks
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 24 chunks
+Ignoring wrong pointing object 70 0 (offset 0)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 212 chunks
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 203 chunks
+incorrect startxref pointer(3)
+ - Kafka_Die_Verwandlung_.pdf: 93 chunks
+Ignoring wrong pointing object 102 0 (offset 0)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 42 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 68 chunks
+Ignoring wrong pointing object 114 0 (offset 0)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 173 chunks
+Ignoring wrong pointing object 18 0 (offset 0)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 181 chunks
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 16 chunks
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 56 chunks
+Ignoring wrong pointing object 46 0 (offset 0)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 246 chunks
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 42 chunks
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 24 chunks
+Ignoring wrong pointing object 847 0 (offset 0)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 650 chunks
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 39 chunks
+Ignoring wrong pointing object 15 0 (offset 0)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 300 chunks
+Ignoring wrong pointing object 61 0 (offset 0)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 641 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 47 chunks
+
+Creating embeddings for 7398 chunks...
+Vector store saved to ./vectorstore_pypdf_2000
+Done.
diff --git a/eval/build_pypdf_2000_hdr.log b/eval/build_pypdf_2000_hdr.log
new file mode 100644
index 0000000..5fe23b3
--- /dev/null
+++ b/eval/build_pypdf_2000_hdr.log
@@ -0,0 +1,84 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57908.65it/s]
+Text splitter: chunk_size=2000, chunk_overlap=400
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+Ignoring wrong pointing object 528 0 (offset 0)
+Ignoring wrong pointing object 529 0 (offset 0)
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 163 chunks
+Ignoring wrong pointing object 38 0 (offset 0)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 128 chunks
+Ignoring wrong pointing object 41 0 (offset 0)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 236 chunks
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 37 chunks
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 307 chunks
+Ignoring wrong pointing object 59 0 (offset 0)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 37 chunks
+Ignoring wrong pointing object 71 0 (offset 0)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 68 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 39 chunks
+Ignoring wrong pointing object 438 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 480 chunks
+Ignoring wrong pointing object 89 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 145 chunks
+Ignoring wrong pointing object 177 0 (offset 0)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 556 chunks
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 197 chunks
+Ignoring wrong pointing object 94 0 (offset 0)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 83 chunks
+Ignoring wrong pointing object 100 0 (offset 0)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 82 chunks
+Ignoring wrong pointing object 8 0 (offset 0)
+Ignoring wrong pointing object 10 0 (offset 0)
+Ignoring wrong pointing object 12 0 (offset 0)
+Ignoring wrong pointing object 15 0 (offset 0)
+Ignoring wrong pointing object 80 0 (offset 0)
+Ignoring wrong pointing object 513 0 (offset 0)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 400 chunks
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 38 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 60 chunks
+Ignoring wrong pointing object 27 0 (offset 0)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 88 chunks
+Ignoring wrong pointing object 105 0 (offset 0)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 532 chunks
+Ignoring wrong pointing object 104 0 (offset 0)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 192 chunks
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 83 chunks
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 83 chunks
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 307 chunks
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 24 chunks
+Ignoring wrong pointing object 70 0 (offset 0)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 212 chunks
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 203 chunks
+incorrect startxref pointer(3)
+ - Kafka_Die_Verwandlung_.pdf: 93 chunks
+Ignoring wrong pointing object 102 0 (offset 0)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 42 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 68 chunks
+Ignoring wrong pointing object 114 0 (offset 0)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 173 chunks
+Ignoring wrong pointing object 18 0 (offset 0)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 181 chunks
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 16 chunks
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 56 chunks
+Ignoring wrong pointing object 46 0 (offset 0)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 246 chunks
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 42 chunks
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 24 chunks
+Ignoring wrong pointing object 847 0 (offset 0)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 650 chunks
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 39 chunks
+Ignoring wrong pointing object 15 0 (offset 0)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 300 chunks
+Ignoring wrong pointing object 61 0 (offset 0)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 641 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 47 chunks
+
+Creating embeddings for 7398 chunks...
diff --git a/eval/build_pypdf_hdr.log b/eval/build_pypdf_hdr.log
new file mode 100644
index 0000000..2dd02ce
--- /dev/null
+++ b/eval/build_pypdf_hdr.log
@@ -0,0 +1,86 @@
+Found 41 PDF(s) under data
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 39351.48it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+
+Loading 41 document(s)...
+Ignoring wrong pointing object 528 0 (offset 0)
+Ignoring wrong pointing object 529 0 (offset 0)
+ - Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf: 237 chunks
+Ignoring wrong pointing object 38 0 (offset 0)
+ - Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf: 171 chunks
+Ignoring wrong pointing object 41 0 (offset 0)
+ - Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf: 299 chunks
+ - Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf: 43 chunks
+ - Beutner,_Barbara_DieBildspracheFranzKafkas.pdf: 407 chunks
+Ignoring wrong pointing object 59 0 (offset 0)
+ - Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf: 49 chunks
+Ignoring wrong pointing object 71 0 (offset 0)
+ - Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf: 95 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf: 49 chunks
+Ignoring wrong pointing object 438 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf: 606 chunks
+Ignoring wrong pointing object 89 0 (offset 0)
+ - Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf: 188 chunks
+Ignoring wrong pointing object 177 0 (offset 0)
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf: 743 chunks
+ - Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf: 256 chunks
+Ignoring wrong pointing object 94 0 (offset 0)
+ - Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf: 110 chunks
+Ignoring wrong pointing object 100 0 (offset 0)
+ - Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf: 111 chunks
+Ignoring wrong pointing object 8 0 (offset 0)
+Ignoring wrong pointing object 10 0 (offset 0)
+Ignoring wrong pointing object 12 0 (offset 0)
+Ignoring wrong pointing object 15 0 (offset 0)
+Ignoring wrong pointing object 80 0 (offset 0)
+Ignoring wrong pointing object 513 0 (offset 0)
+ - DeRentis,_Dina_Neudefinition des Unheimlichen.pdf: 430 chunks
+ - Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf: 49 chunks
+Ignoring wrong pointing object 25 0 (offset 0)
+ - Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf: 64 chunks
+Ignoring wrong pointing object 27 0 (offset 0)
+ - Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf: 108 chunks
+Ignoring wrong pointing object 105 0 (offset 0)
+ - Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf: 707 chunks
+Ignoring wrong pointing object 104 0 (offset 0)
+ - Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf: 248 chunks
+ - Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf: 113 chunks
+ - HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf: 110 chunks
+ - Harzer,_Friedemann_Erzählte Verwandlung.pdf: 395 chunks
+ - Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf: 32 chunks
+Ignoring wrong pointing object 70 0 (offset 0)
+ - Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf: 270 chunks
+ - Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf: 277 chunks
+incorrect startxref pointer(3)
+ - Kafka_Die_Verwandlung_.pdf: 112 chunks
+Ignoring wrong pointing object 102 0 (offset 0)
+ - Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf: 55 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf: 87 chunks
+Ignoring wrong pointing object 114 0 (offset 0)
+ - Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf: 230 chunks
+Ignoring wrong pointing object 18 0 (offset 0)
+ - Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf: 218 chunks
+ - Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf: 21 chunks
+ - Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf: 80 chunks
+Ignoring wrong pointing object 46 0 (offset 0)
+ - Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf: 316 chunks
+ - Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf: 56 chunks
+ - Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf: 31 chunks
+Ignoring wrong pointing object 847 0 (offset 0)
+ - Nekula,_Marek_FranzKafkasSprachen.pdf: 829 chunks
+ - Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf: 50 chunks
+Ignoring wrong pointing object 15 0 (offset 0)
+ - Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf: 381 chunks
+Ignoring wrong pointing object 61 0 (offset 0)
+ - Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf: 809 chunks
+Ignoring wrong pointing object 42 0 (offset 0)
+ - Trost,_Igor_Erzählen und Besprechen.pdf: 59 chunks
+
+Creating embeddings for 9501 chunks...
+Vector store saved to ./vectorstore_pypdf_hdr
+Done.
diff --git a/eval/eval_docling.log b/eval/eval_docling.log
new file mode 100644
index 0000000..65bd41e
--- /dev/null
+++ b/eval/eval_docling.log
@@ -0,0 +1,128 @@
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 51712.95it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+ [1/43] Rang 8 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 5 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 2 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 4 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 2 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 2 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 2 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 8 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 6 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] nicht gefunden Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 1 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 4 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] nicht gefunden Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 2 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 4 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 5 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 16 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 8 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] nicht gefunden Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 11:25
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.67 (29 von 43)
+ Recall@10 0.77 (33 von 43)
+ Recall@20 0.79 (34 von 43)
+ MRR 0.49
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.42 (3 Fragen)
+ sekundaer Recall@5 0.68 MRR 0.50 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 2 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 2 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 2 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 4 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 4 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 4 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 5 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 5 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 6 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 8 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 8 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 8 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 16 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang – sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+
+9 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_docling.txt
+exit 0
diff --git a/eval/eval_docling_hdr.log b/eval/eval_docling_hdr.log
new file mode 100644
index 0000000..6cf7bfc
--- /dev/null
+++ b/eval/eval_docling_hdr.log
@@ -0,0 +1,130 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49399.75it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 17227.50it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 11 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 13 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 3 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 2 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:15
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.93 (40 von 43)
+ Recall@10 0.93 (40 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.86
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.17 (3 Fragen)
+ sekundaer Recall@5 0.97 MRR 0.91 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 11 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 13 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_docling_hdr.txt
diff --git a/eval/eval_docling_hdr_dense.log b/eval/eval_docling_hdr_dense.log
new file mode 100644
index 0000000..8870594
--- /dev/null
+++ b/eval/eval_docling_hdr_dense.log
@@ -0,0 +1,128 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49393.80it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+ [1/43] Rang 2 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 3 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 11 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 2 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 2 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] nicht gefunden Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 2 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 2 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 4 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 2 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 2 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 13 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 3 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 2 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 7 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 10 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] nicht gefunden Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:36
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker aus
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.72 (31 von 43)
+ Recall@10 0.77 (33 von 43)
+ Recall@20 0.81 (35 von 43)
+ MRR 0.55
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.30 (3 Fragen)
+ sekundaer Recall@5 0.72 MRR 0.57 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 2 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 2 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 2 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 2 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 2 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 2 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 3 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 7 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 10 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 11 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 13 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_docling_hdr_dense.txt
diff --git a/eval/eval_docling_hdr_dense_rerank.log b/eval/eval_docling_hdr_dense_rerank.log
new file mode 100644
index 0000000..f0c6449
--- /dev/null
+++ b/eval/eval_docling_hdr_dense_rerank.log
@@ -0,0 +1,130 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 57295.63it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7017.86it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 6 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 14 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 3 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] nicht gefunden Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 2 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:38
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.79 (34 von 43)
+ Recall@10 0.81 (35 von 43)
+ Recall@20 0.84 (36 von 43)
+ MRR 0.72
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.19 (3 Fragen)
+ sekundaer Recall@5 0.82 MRR 0.76 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 6 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 14 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_docling_hdr_dense_rerank.txt
diff --git a/eval/eval_docling_hdr_hybrid.log b/eval/eval_docling_hdr_hybrid.log
new file mode 100644
index 0000000..8f2bc7d
--- /dev/null
+++ b/eval/eval_docling_hdr_hybrid.log
@@ -0,0 +1,124 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 42490.75it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 2 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 3 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 2 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 9 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 3 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 2 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 7 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 4 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 15 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 12 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 4 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 10 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 15 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 16 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 2 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 3 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:36
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker aus
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.84 (36 von 43)
+ Recall@10 0.91 (39 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.70
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.13 (3 Fragen)
+ sekundaer Recall@5 0.88 MRR 0.74 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 2 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 2 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 3 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 3 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 3 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 4 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 4 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 7 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 9 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 10 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 12 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 15 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 15 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 16 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+
+Bericht gespeichert: eval/kafka_docling_hdr_hybrid.txt
diff --git a/eval/eval_docling_hdr_hybrid_rerank.log b/eval/eval_docling_hdr_hybrid_rerank.log
new file mode 100644
index 0000000..645633a
--- /dev/null
+++ b/eval/eval_docling_hdr_hybrid_rerank.log
@@ -0,0 +1,130 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 54940.46it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6908.67it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 2 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 11 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 13 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 3 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 2 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:41
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.93 (40 von 43)
+ Recall@10 0.93 (40 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.86
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.17 (3 Fragen)
+ sekundaer Recall@5 0.97 MRR 0.91 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 2 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 11 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 13 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_docling_hdr_hybrid_rerank.txt
diff --git a/eval/eval_human_docling_dense.log b/eval/eval_human_docling_dense.log
new file mode 100644
index 0000000..06c91a3
--- /dev/null
+++ b/eval/eval_human_docling_dense.log
@@ -0,0 +1,102 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 49029.06it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 4 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] nicht gefunden Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] nicht gefunden Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 9 Sprach Kafka Tschechisch?
+ [14/30] Rang 4 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 6 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 13 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 19 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 5 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 10 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:55
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker aus
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.50 (15 von 30)
+ Recall@10 0.60 (18 von 30)
+ Recall@20 0.67 (20 von 30)
+ MRR 0.41
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.58 MRR 0.47 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 4 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 4 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 5 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 6 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 9 sekundär Sprach Kafka Tschechisch?
+ Rang 10 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 13 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 19 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_docling_dense.txt
diff --git a/eval/eval_human_docling_dense_rerank.log b/eval/eval_human_docling_dense_rerank.log
new file mode 100644
index 0000000..4487283
--- /dev/null
+++ b/eval/eval_human_docling_dense_rerank.log
@@ -0,0 +1,104 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 56455.40it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7151.80it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 3 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] nicht gefunden Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 4 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 19 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 2 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 11 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:57
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.63 (19 von 30)
+ Recall@10 0.63 (19 von 30)
+ Recall@20 0.70 (21 von 30)
+ MRR 0.56
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.73 MRR 0.64 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 4 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 19 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+9 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_docling_dense_rerank.txt
diff --git a/eval/eval_human_docling_hybrid.log b/eval/eval_human_docling_hybrid.log
new file mode 100644
index 0000000..ce72bde
--- /dev/null
+++ b/eval/eval_human_docling_hybrid.log
@@ -0,0 +1,102 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53695.66it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 3 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 8 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 9 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 5 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] nicht gefunden Sprach Kafka Tschechisch?
+ [14/30] Rang 8 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 11 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 5 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 4 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 4 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] nicht gefunden In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:56
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker aus
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.53 (16 von 30)
+ Recall@10 0.63 (19 von 30)
+ Recall@20 0.67 (20 von 30)
+ MRR 0.42
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.62 MRR 0.49 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 4 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 4 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 5 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 5 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 8 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 8 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 9 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 11 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+10 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_docling_hybrid.txt
diff --git a/eval/eval_human_docling_hybrid_rerank.log b/eval/eval_human_docling_hybrid_rerank.log
new file mode 100644
index 0000000..ea943b3
--- /dev/null
+++ b/eval/eval_human_docling_hybrid_rerank.log
@@ -0,0 +1,104 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 68215.67it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_docling_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7178.09it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 5 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 2 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 18 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 2 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 11 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:59
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_docling_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.70 (21 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.63
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.72 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 5 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 18 sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_docling_hybrid_rerank.txt
diff --git a/eval/eval_human_pypdf2000_dense.log b/eval/eval_human_pypdf2000_dense.log
new file mode 100644
index 0000000..4254f97
--- /dev/null
+++ b/eval/eval_human_pypdf2000_dense.log
@@ -0,0 +1,103 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 48052.18it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+ [1/30] Rang 4 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 4 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 6 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 2 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 9 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] nicht gefunden Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 14 Sprach Kafka Tschechisch?
+ [14/30] Rang 12 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 3 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 3 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 9 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 14 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 10 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 2 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 2 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] nicht gefunden In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:15
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche dense, Reranker aus
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.50 (15 von 30)
+ Recall@10 0.63 (19 von 30)
+ Recall@20 0.73 (22 von 30)
+ MRR 0.36
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.00 (4 Fragen)
+ sekundär Recall@5 0.58 MRR 0.42 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 2 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 2 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 2 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 3 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 4 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 4 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 6 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 9 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 9 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 10 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 12 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 14 sekundär Sprach Kafka Tschechisch?
+ Rang 14 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_pypdf2000_dense.txt
diff --git a/eval/eval_human_pypdf2000_hybrid_rerank.log b/eval/eval_human_pypdf2000_hybrid_rerank.log
new file mode 100644
index 0000000..354b93b
--- /dev/null
+++ b/eval/eval_human_pypdf2000_hybrid_rerank.log
@@ -0,0 +1,105 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53539.64it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_2000
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7410.60it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 1 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 16 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 7 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 15 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 1 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] Rang 5 Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 11 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 16:17
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_2000
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 2000 (Overlap 400)
+ Loader pypdf, Kopfzeilen aus
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.70 (21 von 30)
+ Recall@10 0.73 (22 von 30)
+ Recall@20 0.83 (25 von 30)
+ MRR 0.69
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.02 (4 Fragen)
+ sekundär Recall@5 0.81 MRR 0.79 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang 7 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 15 sekundär Sprach Kafka Tschechisch?
+ Rang 16 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+5 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_pypdf2000_hybrid_rerank.txt
diff --git a/eval/eval_human_pypdf_dense.log b/eval/eval_human_pypdf_dense.log
new file mode 100644
index 0000000..a94e58d
--- /dev/null
+++ b/eval/eval_human_pypdf_dense.log
@@ -0,0 +1,102 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 56418.50it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 9 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] nicht gefunden In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] nicht gefunden Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] nicht gefunden Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 6 Sprach Kafka Tschechisch?
+ [14/30] Rang 6 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 2 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 17 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] nicht gefunden In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] nicht gefunden Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] nicht gefunden Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 2 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:50
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker aus
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.37 (11 von 30)
+ Recall@10 0.50 (15 von 30)
+ Recall@20 0.53 (16 von 30)
+ MRR 0.35
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.42 MRR 0.40 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 2 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 6 sekundär Sprach Kafka Tschechisch?
+ Rang 6 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 9 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 17 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang – sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang – sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+14 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_pypdf_dense.txt
diff --git a/eval/eval_human_pypdf_dense_rerank.log b/eval/eval_human_pypdf_dense_rerank.log
new file mode 100644
index 0000000..24c724e
--- /dev/null
+++ b/eval/eval_human_pypdf_dense_rerank.log
@@ -0,0 +1,104 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 45412.26it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7249.05it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 2 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 6 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 9 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] nicht gefunden Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 10 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 3 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 2 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 10 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:53
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.63 (19 von 30)
+ Recall@10 0.77 (23 von 30)
+ Recall@20 0.77 (23 von 30)
+ MRR 0.58
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.73 MRR 0.66 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 2 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 3 sekundär Sprach Kafka Tschechisch?
+ Rang 6 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 9 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang 10 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 10 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+7 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_pypdf_dense_rerank.txt
diff --git a/eval/eval_human_pypdf_hybrid.log b/eval/eval_human_pypdf_hybrid.log
new file mode 100644
index 0000000..12b92d6
--- /dev/null
+++ b/eval/eval_human_pypdf_hybrid.log
@@ -0,0 +1,102 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53790.77it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 4 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 2 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 7 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 19 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] nicht gefunden Sprach Kafka Tschechisch?
+ [14/30] Rang 12 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 10 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 4 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 4 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 5 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 1 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 3 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:51
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker aus
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.53 (16 von 30)
+ Recall@10 0.63 (19 von 30)
+ Recall@20 0.70 (21 von 30)
+ MRR 0.41
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.62 MRR 0.47 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 3 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 4 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 4 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 4 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 5 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 7 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 10 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 12 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 19 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Sprach Kafka Tschechisch?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+9 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_pypdf_hybrid.txt
diff --git a/eval/eval_human_pypdf_hybrid_rerank.log b/eval/eval_human_pypdf_hybrid_rerank.log
new file mode 100644
index 0000000..a4da5f5
--- /dev/null
+++ b/eval/eval_human_pypdf_hybrid_rerank.log
@@ -0,0 +1,104 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
+30 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 40251.65it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 30 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7385.26it/s]
+ [1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
+ [2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
+ [3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
+ [4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
+ [5/30] Rang 3 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
+ [6/30] Rang 5 Was kann man zu Bildformen in Kafkas Werken sagen?
+ [7/30] Rang 11 Wie können die drei Untermieter der Familie Kafka aus einer
+ [8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
+ [9/30] Rang 3 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
+ [10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ [11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ [12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ [13/30] Rang 3 Sprach Kafka Tschechisch?
+ [14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
+ [15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
+ [16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
+ [17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ [18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
+ [19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ [20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
+ [21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
+ [22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
+ [23/30] Rang 2 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
+ [24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
+ [25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ [26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
+ [27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
+ [28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
+ [29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
+ [30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:55
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 30
+
+Ergebnis
+ Recall@5 0.73 (22 von 30)
+ Recall@10 0.77 (23 von 30)
+ Recall@20 0.80 (24 von 30)
+ MRR 0.60
+
+Nach Korpus
+ primär Recall@5 0.00 MRR 0.03 (4 Fragen)
+ sekundär Recall@5 0.85 MRR 0.68 (26 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
+ Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
+ Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
+ Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
+ Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
+ Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
+ Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
+ Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
+ Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
+ Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
+ Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
+ Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
+ Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
+ Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
+ Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
+ Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
+ Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
+ Rang 2 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
+ Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
+ Rang 3 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
+ Rang 3 sekundär Sprach Kafka Tschechisch?
+ Rang 5 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
+ Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
+ Rang 11 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
+ Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
+ Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
+ Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
+ Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
+ Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
+ Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
+
+6 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_human_pypdf_hybrid_rerank.txt
diff --git a/eval/eval_pypdf.log b/eval/eval_pypdf.log
new file mode 100644
index 0000000..f21c7b4
--- /dev/null
+++ b/eval/eval_pypdf.log
@@ -0,0 +1,128 @@
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53525.67it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+ [1/43] Rang 8 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 2 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] nicht gefunden Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 6 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 4 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 7 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 5 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 3 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] nicht gefunden Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] nicht gefunden Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 3 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] nicht gefunden Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 4 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] nicht gefunden Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 5 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] nicht gefunden Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 10:20
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.67 (29 von 43)
+ Recall@10 0.74 (32 von 43)
+ Recall@20 0.74 (32 von 43)
+ MRR 0.51
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.11 (3 Fragen)
+ sekundaer Recall@5 0.70 MRR 0.54 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 3 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 4 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 4 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 5 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 5 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 6 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 7 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 8 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang – primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang – sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+
+11 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_pypdf.txt
+exit 0
diff --git a/eval/eval_pypdf_hdr.log b/eval/eval_pypdf_hdr.log
new file mode 100644
index 0000000..acd9280
--- /dev/null
+++ b/eval/eval_pypdf_hdr.log
@@ -0,0 +1,126 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 48421.06it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6826.59it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 1 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 5 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 9 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 12 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 3 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:29
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.95 (41 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.84
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.23 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.89 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 5 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 9 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 12 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+
+Bericht gespeichert: eval/kafka_pypdf_hdr.txt
diff --git a/eval/eval_pypdf_hdr_dense.log b/eval/eval_pypdf_hdr_dense.log
new file mode 100644
index 0000000..4b1ed90
--- /dev/null
+++ b/eval/eval_pypdf_hdr_dense.log
@@ -0,0 +1,128 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 50541.57it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+ [1/43] Rang 14 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 3 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 5 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 11 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 2 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] nicht gefunden Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 1 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 4 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 2 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 3 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 11 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 10 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 1 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 1 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 13 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 2 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 3 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] nicht gefunden Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] nicht gefunden Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 6 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] nicht gefunden Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:29
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker aus
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.67 (29 von 43)
+ Recall@10 0.72 (31 von 43)
+ Recall@20 0.81 (35 von 43)
+ MRR 0.56
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.40 (3 Fragen)
+ sekundaer Recall@5 0.70 MRR 0.57 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 2 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 2 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 3 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 3 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 3 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 4 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 5 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 6 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 10 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 11 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 11 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 13 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 14 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+
+8 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_pypdf_hdr_dense.txt
diff --git a/eval/eval_pypdf_hdr_dense_rerank.log b/eval/eval_pypdf_hdr_dense_rerank.log
new file mode 100644
index 0000000..d1f3d78
--- /dev/null
+++ b/eval/eval_pypdf_hdr_dense_rerank.log
@@ -0,0 +1,130 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 32203.06it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7920.82it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 15 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 1 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 5 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 6 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 11 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 3 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 5 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] nicht gefunden Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:32
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche dense, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.81 (35 von 43)
+ Recall@10 0.84 (36 von 43)
+ Recall@20 0.88 (38 von 43)
+ MRR 0.71
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.25 (3 Fragen)
+ sekundaer Recall@5 0.85 MRR 0.74 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 5 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 5 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 6 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 11 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 15 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+
+5 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_pypdf_hdr_dense_rerank.txt
diff --git a/eval/eval_pypdf_hdr_hybrid.log b/eval/eval_pypdf_hdr_hybrid.log
new file mode 100644
index 0000000..c161c97
--- /dev/null
+++ b/eval/eval_pypdf_hdr_hybrid.log
@@ -0,0 +1,128 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 48392.48it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+ [1/43] Rang 2 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 2 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 10 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 5 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 5 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 2 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 1 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] nicht gefunden Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 4 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 7 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 5 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 8 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 6 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 7 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 3 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 1 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 1 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 11 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 2 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 11 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 3 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 4 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 1 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:30
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker aus
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.81 (35 von 43)
+ Recall@10 0.93 (40 von 43)
+ Recall@20 0.98 (42 von 43)
+ MRR 0.65
+
+Nach Korpus
+ primaer Recall@5 0.67 MRR 0.49 (3 Fragen)
+ sekundaer Recall@5 0.82 MRR 0.67 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 1 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 2 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 2 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 2 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 3 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+ Rang 3 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 4 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 4 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 5 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 5 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 5 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 6 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 7 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 7 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 8 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 10 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 11 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 11 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang – sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+
+1 Frage(n) ohne Treffer unter den ersten 20.
+Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
+Ist das Dokument überhaupt im Index (rag.list_documents())?
+
+Bericht gespeichert: eval/kafka_pypdf_hdr_hybrid.txt
diff --git a/eval/eval_pypdf_hdr_hybrid_rerank.log b/eval/eval_pypdf_hdr_hybrid_rerank.log
new file mode 100644
index 0000000..789302c
--- /dev/null
+++ b/eval/eval_pypdf_hdr_hybrid_rerank.log
@@ -0,0 +1,126 @@
+Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
+Lese Referenzfragen aus eval/goldset_kafka.csv ...
+43 Frage(n) geladen.
+
+Loading embeddings model...
+
Loading weights: 0%| | 0/391 [00:00, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 41817.91it/s]
+Text splitter: chunk_size=1500, chunk_overlap=300
+Using Ollama (model: gpt-oss:20b)...
+Loaded existing vector store from ./vectorstore_pypdf_hdr
+
+Stelle 43 Frage(n) an den Vektorspeicher ...
+Loading reranker BAAI/bge-reranker-v2-m3...
+
Loading weights: 0%| | 0/393 [00:00, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6685.03it/s]
+ [1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
+ [2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
+ [3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
+ [4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
+ [5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
+ [6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
+ [7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
+ [8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
+ [9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
+ [10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
+ [11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
+ [12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
+ [13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
+ [14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
+ [15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
+ [16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
+ [17/43] Rang 1 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
+ [18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
+ [19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
+ [20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
+ [21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
+ [22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
+ [23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
+ [24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
+ [25/43] Rang 5 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
+ [26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
+ [27/43] Rang 9 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
+ [28/43] Rang 12 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
+ [29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
+ [30/43] Rang 3 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
+ [31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
+ [32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
+ [33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
+ [34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
+ [35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
+ [36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
+ [37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
+ [38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
+ [39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
+ [40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
+ [41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
+ [42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
+ [43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
+
+====================================================================
+Retrieval-Auswertung — 2026-10-07 15:35
+====================================================================
+
+Konfiguration
+ Vektorspeicher ./vectorstore_pypdf_hdr
+ Embedding-Modell BAAI/bge-m3
+ Chunk-Größe 1500 (Overlap 300)
+ Query-Zusatztext aus
+ Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
+ Seitentoleranz ±1
+ Fragen 43
+
+Ergebnis
+ Recall@5 0.95 (41 von 43)
+ Recall@10 0.98 (42 von 43)
+ Recall@20 1.00 (43 von 43)
+ MRR 0.84
+
+Nach Korpus
+ primaer Recall@5 0.33 MRR 0.23 (3 Fragen)
+ sekundaer Recall@5 1.00 MRR 0.89 (40 Fragen)
+
+Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
+ Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
+ Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
+ Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
+ Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
+ Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
+ Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
+ Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
+ Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
+ Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
+ Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
+ Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
+ Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
+ Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
+ Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
+ Rang 1 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
+ Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
+ Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
+ Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
+ Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
+ Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
+ Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
+ Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
+ Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
+ Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
+ Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
+ Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
+ Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
+ Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
+ Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
+ Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
+ Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
+ Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
+ Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
+ Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
+ Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
+ Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
+ Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
+ Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
+ Rang 3 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
+ Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
+ Rang 5 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
+ Rang 9 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
+ Rang 12 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
+
+Bericht gespeichert: eval/kafka_pypdf_hdr_hybrid_rerank.txt