Philipp MockandClaude Opus 5.5
d54b3e5b8b
- prepare_corpus.py: split double-page scans (split_spreads.py), re-OCR with OCRmyPDF/Tesseract only where the existing text layer is worse, Docling layout extraction with heading hierarchy, QA report per PDF - docling_loader.py: cleanup (margin noise, split paragraphs, footnote marks, OCR comma/period repair), page mapping back to the original PDF, chunk headers with author, title and section - local_rag.py: bge-m3 embeddings, configurable chunking and loader, index settings check (index_info.json), hybrid/union BM25 search with Reciprocal Rank Fusion and bge-reranker-v2-m3 cross-encoder; query instruction text removed after it lowered recall - eval_retrieval.py: CLI options, same retrieval path as the chat, tolerant file name matching; goldsets and evaluation reports for the Kafka corpus - grobid_test.py, grobid_qa.py, extract_docling.py, compare_extractors.py: extractor tests and quality checks - .gitignore: corpus PDFs, vector stores and extractor output stay local - server.py: uses ./vectorstore_docling_hdr Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
59 lines
3.8 KiB
Plaintext
59 lines
3.8 KiB
Plaintext
====================================================================
|
||
Retrieval-Auswertung — 2026-10-07 15:55
|
||
====================================================================
|
||
|
||
Konfiguration
|
||
Vektorspeicher ./vectorstore_docling_hdr
|
||
Embedding-Modell BAAI/bge-m3
|
||
Chunk-Größe 1500 (Overlap 300)
|
||
Query-Zusatztext aus
|
||
Suche dense, Reranker aus
|
||
Seitentoleranz ±1
|
||
Fragen 30
|
||
|
||
Ergebnis
|
||
Recall@5 0.50 (15 von 30)
|
||
Recall@10 0.60 (18 von 30)
|
||
Recall@20 0.67 (20 von 30)
|
||
MRR 0.41
|
||
|
||
Nach Korpus
|
||
primär Recall@5 0.00 MRR 0.03 (4 Fragen)
|
||
sekundär Recall@5 0.58 MRR 0.47 (26 Fragen)
|
||
|
||
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
|
||
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
|
||
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
|
||
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
|
||
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
|
||
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
|
||
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
|
||
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
|
||
Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
|
||
Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
|
||
Rang 4 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
|
||
Rang 4 sekundär Wie heißen die beiden Nichten von Kafka?
|
||
Rang 5 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
Rang 6 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
|
||
Rang 9 sekundär Sprach Kafka Tschechisch?
|
||
Rang 10 primär In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
Rang 13 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
Rang 19 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
|
||
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
|
||
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
|
||
Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
|
||
Rang – sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
|
||
Rang – sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
|
||
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
|
||
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
|
||
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
|
||
|
||
10 Frage(n) ohne Treffer unter den ersten 20.
|
||
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
|
||
Ist das Dokument überhaupt im Index (rag.list_documents())?
|