Files
localRAG/eval/goldset_kafka_human.csv
Philipp MockandClaude Opus 5.5 d54b3e5b8b Add Docling corpus pipeline, retrieval evaluation and hybrid search with reranking
- prepare_corpus.py: split double-page scans (split_spreads.py), re-OCR with
  OCRmyPDF/Tesseract only where the existing text layer is worse, Docling
  layout extraction with heading hierarchy, QA report per PDF
- docling_loader.py: cleanup (margin noise, split paragraphs, footnote marks,
  OCR comma/period repair), page mapping back to the original PDF, chunk
  headers with author, title and section
- local_rag.py: bge-m3 embeddings, configurable chunking and loader, index
  settings check (index_info.json), hybrid/union BM25 search with Reciprocal
  Rank Fusion and bge-reranker-v2-m3 cross-encoder; query instruction text
  removed after it lowered recall
- eval_retrieval.py: CLI options, same retrieval path as the chat, tolerant
  file name matching; goldsets and evaluation reports for the Kafka corpus
- grobid_test.py, grobid_qa.py, extract_docling.py, compare_extractors.py:
  extractor tests and quality checks
- .gitignore: corpus PDFs, vector stores and extractor output stay local
- server.py: uses ./vectorstore_docling_hdr

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-07 16:48:12 +02:00

32 lines
4.2 KiB
CSV

frage;korpus;erwartete_quelle;erwartete_seite
Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?;sekundär;Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf;1
Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?;sekundär;Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf;11
Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?;sekundär;Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf;11
In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?;sekundär;Harzer,_Friedemann_Erzählte Verwandlung.pdf;7
Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?;sekundär;Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf;11
Was kann man zu Bildformen in Kafkas Werken sagen?;sekundär;Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf;15
Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?;sekundär;Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf;12
"In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in ""Die Verwandlung""?";sekundär;Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf;2
Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?;sekundär;Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf;2
"Was kann als ""letzte Sohnespflicht"" Gregors gedeutet werden?";sekundär;Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf;6
Wo erfahren die Eltern die Nachricht von Gregors Tod?;sekundär;Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf;6
Wie erklärt Binder die Etymologie des Familiennamens Kafka?;sekundär;Nekula,_Marek_FranzKafkasSprachen.pdf;8
Sprach Kafka Tschechisch?;sekundär;Nekula,_Marek_FranzKafkasSprachen.pdf;9
Wie heißen die beiden Nichten von Kafka?;sekundär;Nekula,_Marek_FranzKafkasSprachen.pdf;9
Welche Sprache spricht Kafka mit seinen Nichten?;sekundär;Nekula,_Marek_FranzKafkasSprachen.pdf;9
Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?;sekundär;Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf;3
"Was bedeutet das tschechische Wort ""Kafka"" auf Deutsch?";sekundär;Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf;2
Welche Art von Laden führte Kafkas Vater?;sekundär;Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf;2
Aus welchem sozialen Milieu stammte Kafkas Vater genau?;sekundär;Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf;2
Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?;sekundär;Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf;9
Wie interpretiert Emrich das Besondere an der Kafkaschen Form?;sekundär;Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf;8
"In welchem Band der Reihe ""Der jüngste Tag"" wurde ""Die Verwandlung"" veröffentlicht?";sekundär;Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf;55
"Seit wann lag ""Die Verwandlung"" abgeschlossen vor, ohne veröffentlicht zu sein?";sekundär;Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf;55
Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?;sekundär;Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf;58
Wie könnte man Kafkas ethischen Rigorismus korrigieren?;sekundär;Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf;58
Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?;sekundär;Trost,_Igor_Erzählen und Besprechen.pdf;1
"Wer ist der Protagonist von ""Die Verwandlung""?";primär;Kafka_Die_Verwandlung.pdf;2
In welche Art von Tier verwandelt sich Gregor Samsa?;primär;Kafka_Die_Verwandlung.pdf;2
Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?;primär;Kafka_Die_Verwandlung.pdf;30
Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?;primär;Kafka_Die_Verwandlung.pdf;32