Files
localRAG/eval/kafka_human_judge_docling_2000_hdr.txt
T
Philipp MockandClaude Opus 5.5 e75716714e Add LLM judge to retrieval eval; switch chat to pypdf with 2000/400 chunks
- eval_retrieval.py: --judge MODEL lets an OpenAI model decide whether the
  top-5 chunks answer each question, regardless of source and page; reports
  Answer@5, answer-level MRR and agreement with the page check; verdicts are
  cached in eval/judge_cache.json
- On the curated goldset, gpt-6-luna rates pypdf and Docling equal
  (Answer@5 0.93 each, MRR 0.90 vs 0.92), so the chat stays on pypdf for now
- local_rag.py: chunks 2000/400, chunk headers off by default, OpenAI model
  gpt-6-luna; server.py loads ./vectorstore_pypdf_2000

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-08 09:07:51 +02:00

127 lines
12 KiB
Plaintext
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
====================================================================
Retrieval-Auswertung — 2026-10-08 09:00
====================================================================
Konfiguration
Vektorspeicher ./vectorstore_docling_2000_hdr
Embedding-Modell BAAI/bge-m3
Chunk-Größe 2000 (Overlap 400)
Loader docling, Kopfzeilen an
Query-Zusatztext aus
Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
Seitentoleranz ±1
Fragen 30
Ergebnis
Recall@5 0.70 (21 von 30)
Recall@10 0.70 (21 von 30)
Recall@20 0.77 (23 von 30)
MRR 0.58
Nach Korpus
primär Recall@5 0.00 MRR 0.02 (4 Fragen)
sekundär Recall@5 0.81 MRR 0.67 (26 Fragen)
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
Rang 2 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
Rang 3 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
Rang 5 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
Rang 14 primär In welche Art von Tier verwandelt sich Gregor Samsa?
Rang 18 sekundär Sprach Kafka Tschechisch?
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
7 Frage(n) ohne Treffer unter den ersten 20.
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
Ist das Dokument überhaupt im Index (rag.list_documents())?
Antwort im Kontext (Prüfung durch gpt-6-luna, erste 5 Treffer)
Antwort@5 0.93 (28 von 30)
MRR (Antwort) 0.92
Abgleich mit Seitenprüfung: beide ja 21, nur Modell ja 7, nur Seite ja 0
Einzelne Fragen (Treffer = erster Auszug, der die Frage beantwortet; Seite = Rang laut Fundstelle)
Treffer 1 | Seite 1 | Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
Auszug 1 sagt ausdrücklich, dass Kafkas Familie seiner literarischen Produktion auch nach seinem Tod gleichgültig gegenüberstand.
Treffer 1 | Seite – | Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
Auszug 1 sagt ausdrücklich, dass die Beurteilung des Vorgesetzten Gregors Selbstbild widerspricht und Zweifel an seinen Verkaufserfolgen weckt.
Treffer 1 | Seite – | Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
Beide Auszüge benennen den Widerspruch zwischen Gregors Selbstbild und der Einschätzung des Prokuristen, der Gregors wenige Abschlüsse kritisiert und dessen fachliche Kompetenz von Gregor selbst als maßgeblich anerkannt wird.
Treffer 1 | Seite 1 | In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
Auszug 1 nennt den zweiten Band ausdrücklich, und Auszug 2 bestätigt Band 2 mit dem Anhang „Die Verwandlungen“.
Treffer 1 | Seite 5 | Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
Alle Auszüge beschreiben konkrete Formen oder Funktionen von Gestik und Mimik bei Kafka, etwa ihre erzählerische Ökonomie, Deutung aus der Perspektive der Figuren, szenische Wirkung und Vieldeutigkeit.
Treffer 1 | Seite 2 | Was kann man zu Bildformen in Kafkas Werken sagen?
Diese Auszüge beschreiben konkrete Merkmale und Funktionen von Kafkas Bildformen, etwa ihr Verhältnis zu realistischer Darstellung, ihre symbolische Bedeutung, ein erweitertes Bildverständnis und werkübergreifende Bildgeflechte; Auszug 4 bleibt allgemein.
Treffer 1 | Seite 1 | In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
Auszug 1 verknüpft ausdrücklich körperlichen Ekel mit Demütigung und Selbstdemütigung und erläutert den Zusammenhang am Kontrast zwischen der Dame im Pelz und Gregors entstelltem Körper.
Treffer 1 | Seite 1 | Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
[1] deutet die Dame als unerreichbare Verkörperung eleganter Weltläufigkeit im Kontrast zu Gregor, [5] als Sinnbild libidinöser Verlockung.
Treffer 1 | Seite 1 | Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
Auszug 1 sagt ausdrücklich, Gregors Tod könne als seine „letzte Sohnespflicht“ gelten.
Treffer 1 | Seite 1 | Wie erklärt Binder die Etymologie des Familiennamens Kafka?
Beide Auszüge nennen Binders Erklärung des Familiennamens Kafka aus „kajke“, einer niederdeutschen Diminutivform des Namens Jakob.
Treffer 1 | Seite – | Sprach Kafka Tschechisch?
[1] sagt ausdrücklich, Kafka habe fast fehlerlos Tschechisch gesprochen, und [5] beschreibt seine Kommunikation auf Tschechisch im häuslichen Umfeld.
Treffer 1 | Seite 1 | Wie heißen die beiden Nichten von Kafka?
Auszug 1 nennt Kafkas Nichten ausdrücklich Marianne und Vera.
Treffer 1 | Seite 1 | Welche Sprache spricht Kafka mit seinen Nichten?
Die Auszüge 1 und 2 sagen ausdrücklich, dass Kafka mit seinen Nichten Tschechisch sprach; Auszug 5 bestätigt dies für die Kinder der Familien Valli und Ottla.
Treffer 1 | Seite 3 | Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
Diese Auszüge beschreiben eine formale Abstimmung der Namen durch gleiche Buchstabenzahl sowie entsprechende Buchstabenpositionen, Vokalgleichklang oder Konsonantentausch.
Treffer 1 | Seite 1 | Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
Auszug 1 sagt ausdrücklich, dass „Kafka“ ein tschechisches Wort ist und auf Deutsch „Dohle“ bedeutet.
Treffer 1 | Seite 2 | Welche Art von Laden führte Kafkas Vater?
Die Auszüge 1 und 2 nennen ausdrücklich ein Galanteriewarengeschäft beziehungsweise einen Galanteriewarenladen, und Auszug 3 bezeichnet den Vater als Galanteriewarenhändler.
Treffer 1 | Seite 3 | Aus welchem sozialen Milieu stammte Kafkas Vater genau?
Die Auszüge 1–4 verorten Hermann Kafka in ärmlichen tschechisch-jüdischen Verhältnissen beziehungsweise im Provinzproletariat und nennen ihn als Sohn eines Fleischhauers oder wandernden Hausierer, während Auszug 5 nur seinen späteren Status als jüdischer Mittelständler beschreibt.
Treffer 1 | Seite 1 | Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
Auszug 1 nennt ausdrücklich Thomas Mann, Franz Kafka und James Joyce als die Schriftsteller, deren Namengebung Bachmann vergleicht.
Treffer 1 | Seite 1 | Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
Auszug 1 erläutert unmittelbar, dass die Form durch das ständige Korrigieren begrenzter Sprach- und Bildformen auf das Universelle ein Schweben und eine Entgrenzung erzeugt; Auszug 4 nennt dazu Summierung und Verfremdung als notwendige Voraussetzungen von Kafkas künstlerischer Methode.
Treffer 1 | Seite 1 | In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
Diese Auszüge nennen ausdrücklich Band 22/23 beziehungsweise Nr. 22/23 der Reihe „Der jüngste Tag“.
Treffer 1 | Seite 1 | Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
Auszug 1 sagt ausdrücklich, dass „Die Verwandlung“ seit Anfang 1913 abgeschlossen vorlag und erst 1915 veröffentlicht wurde.
Treffer 1 | Seite – | Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
Alle Auszüge charakterisieren Kafkas Helden als Menschen, die sich in einer entfremdeten bürgerlichen Gesellschaft einsam, hilflos oder unterworfen erleben und an deren Lebensbedingungen scheitern.
Treffer 1 | Seite 1 | Wie könnte man Kafkas ethischen Rigorismus korrigieren?
Auszug 1 nennt ausdrücklich einen Ansatz zur Korrektur: Bei der Beurteilung von Schuld auch die Umwelt zu berücksichtigen und eine Besserung sowie Wiedereingliederung zu ermöglichen.
Treffer 1 | Seite 1 | Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
Auszug 1 ordnet „Die Verwandlung“ ausdrücklich der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zu.
Treffer 1 | Seite – | Wer ist der Protagonist von "Die Verwandlung"?
Die Auszüge 1, 2 und 5 nennen Gregor Samsa ausdrücklich als Protagonisten beziehungsweise Helden, und Auszug 3 bezeichnet den Helden als Samsa; Auszug 4 nennt keinen konkreten Protagonisten.
Treffer 1 | Seite – | In welche Art von Tier verwandelt sich Gregor Samsa?
Alle Auszüge nennen Gregors Verwandlung in Ungeziefer; Auszug 1 bezeichnet ihn außerdem als Käfer.
Treffer 1 | Seite – | Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
Diese Auszüge beschreiben die zunehmende Entfremdung und Umkehrung der Beziehungen: Gregor wird zunächst rücksichtsloser und gleichgültiger, während seine Familie ihn zunehmend ausgrenzt und einschließt.
Treffer 2 | Seite 2 | Wo erfahren die Eltern die Nachricht von Gregors Tod?
Nur Auszug 2 nennt ausdrücklich den Ort: Die Eltern erfahren die Nachricht im aufrecht sitzenden Zustand im Ehebett.
Treffer – | Seite – | Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
Keiner der Auszüge deutet die drei Untermieter ausdrücklich aus einer biblischen Perspektive; ihre Dreizahl allein reicht für eine zutreffende Antwort nicht aus.
Treffer – | Seite – | Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
Keiner der Auszüge schildert, in welchem Zustand oder unter welchen Umständen die Familie Gregor am Ende auffindet; Auszug 5 erwähnt nur, dass die Bedienstete seinen Tod meldet.