Files
localRAG/eval/kafka_human_judge_pypdf_2000.txt
Philipp MockandClaude Opus 5.5 e75716714e Add LLM judge to retrieval eval; switch chat to pypdf with 2000/400 chunks
- eval_retrieval.py: --judge MODEL lets an OpenAI model decide whether the
  top-5 chunks answer each question, regardless of source and page; reports
  Answer@5, answer-level MRR and agreement with the page check; verdicts are
  cached in eval/judge_cache.json
- On the curated goldset, gpt-6-luna rates pypdf and Docling equal
  (Answer@5 0.93 each, MRR 0.90 vs 0.92), so the chat stays on pypdf for now
- local_rag.py: chunks 2000/400, chunk headers off by default, OpenAI model
  gpt-6-luna; server.py loads ./vectorstore_pypdf_2000

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-08 09:07:51 +02:00

127 lines
12 KiB
Plaintext
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
====================================================================
Retrieval-Auswertung — 2026-10-08 08:44
====================================================================
Konfiguration
Vektorspeicher ./vectorstore_pypdf_2000
Embedding-Modell BAAI/bge-m3
Chunk-Größe 2000 (Overlap 400)
Loader pypdf, Kopfzeilen aus
Query-Zusatztext aus
Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
Seitentoleranz ±1
Fragen 30
Ergebnis
Recall@5 0.70 (21 von 30)
Recall@10 0.73 (22 von 30)
Recall@20 0.83 (25 von 30)
MRR 0.69
Nach Korpus
primär Recall@5 0.00 MRR 0.02 (4 Fragen)
sekundär Recall@5 0.81 MRR 0.79 (26 Fragen)
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
Rang 7 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
Rang 15 sekundär Sprach Kafka Tschechisch?
Rang 16 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
5 Frage(n) ohne Treffer unter den ersten 20.
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
Ist das Dokument überhaupt im Index (rag.list_documents())?
Antwort im Kontext (Prüfung durch gpt-6-luna, erste 5 Treffer)
Antwort@5 0.93 (28 von 30)
MRR (Antwort) 0.90
Abgleich mit Seitenprüfung: beide ja 21, nur Modell ja 7, nur Seite ja 0
Einzelne Fragen (Treffer = erster Auszug, der die Frage beantwortet; Seite = Rang laut Fundstelle)
Treffer 1 | Seite 1 | Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
Auszug 1 sagt ausdrücklich, dass Kafkas Familie seiner literarischen Produktion auch nach seinem Tod gleichgültig gegenüberstand.
Treffer 1 | Seite – | Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
Auszug 1 sagt ausdrücklich, dass die Aussagen des Prokuristen Gregors Selbstbild widersprechen und Zweifel an seinen Verkaufserfolgen wecken.
Treffer 1 | Seite – | Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
Auszug 1 benennt ausdrücklich den Widerspruch zwischen Gregors Selbstbild und der Beurteilung seiner beruflichen Leistungen durch den Prokuristen, der Gregors Verkaufserfolge infrage stellt.
Treffer 1 | Seite 1 | In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
Auszug 1 nennt ausdrücklich Band 2 der Griechischen Kulturgeschichte und führt dort den Abschnitt „Die Verwandlungen“ auf.
Treffer 1 | Seite 1 | Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
Die Auszüge beschreiben Gestik und Mimik als vieldeutige Ausdrucksformen, die innere Zustände knapp verkörpern und von Figuren beobachtet und gedeutet werden.
Treffer 1 | Seite – | Was kann man zu Bildformen in Kafkas Werken sagen?
Die Auszüge beschreiben Bildgestaltung bei Kafka sowohl als erzählerische Bilder und Bildkontraste beziehungsweise übertragene Rede als auch als realitätsnah oder abstrakt verselbständigte Bilder.
Treffer 1 | Seite 1 | In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
Die Auszüge 1, 2, 3 und 5 verknüpfen Gregors körperlichen Ekel beziehungsweise seine abstoßende Gestalt ausdrücklich mit Demütigung und Selbsterniedrigung; Auszug 4 behandelt Ekel, stellt diesen Zusammenhang aber nicht her.
Treffer 1 | Seite 1 | Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
Die Auszüge 1 und 2 deuten die Dame als unerreichbares Ideal und als demütigenden Kontrast zu Gregors Gestalt; Auszug 3 beschreibt das Bild als menschliches Kulturgut und deutet seine Verbindung von Mensch und Tier.
Treffer 1 | Seite 1 | Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
Auszug 1 sagt ausdrücklich, dass Gregors Tod ihm als „letzte Sohnespflicht“ bleibt.
Treffer 1 | Seite 1 | Wo erfahren die Eltern die Nachricht von Gregors Tod?
Nur Auszug 1 nennt ausdrücklich den Ort: Die Eltern erfahren die Nachricht aufrecht sitzend im Ehebett.
Treffer 1 | Seite 1 | Wie erklärt Binder die Etymologie des Familiennamens Kafka?
Auszug 1 gibt Binders Erklärung ausdrücklich wieder: Kafka leite sich von „kajke“, einer niederdeutschen Koseform von Jakob, ab.
Treffer 1 | Seite 1 | Wie heißen die beiden Nichten von Kafka?
Auszug 1 nennt Kafkas Nichten ausdrücklich Marianne und Vera.
Treffer 1 | Seite 1 | Welche Sprache spricht Kafka mit seinen Nichten?
[1] und [2] sagen ausdrücklich, dass Kafka mit seinen Nichten Tschechisch sprach; [4] stützt dies mit einem tschechischen Beispiel an seine Nichte Vera.
Treffer 1 | Seite 1 | Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
Die Auszüge beschreiben die lautliche und buchstabenmäßige Entsprechung von Kafka und Samsa, insbesondere gleiche Vokalfolge beziehungsweise Buchstabenpositionen und einen Konsonantentausch; [4] ergänzt Kafkas Vorbehalt, Samsa sei kein vollständiges Kryptogramm für Kafka.
Treffer 1 | Seite 1 | Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
Auszug 1 sagt ausdrücklich, dass das tschechische Wort „Kafka“ auf Deutsch „Dohle“ bedeutet.
Treffer 1 | Seite 1 | Welche Art von Laden führte Kafkas Vater?
Die Auszüge 1 bis 4 bezeichnen das Geschäft des Vaters als Galanteriewaren- beziehungsweise Kurzwarenhandlung, während Auszug 5 das Thema nicht beantwortet.
Treffer 1 | Seite 1 | Aus welchem sozialen Milieu stammte Kafkas Vater genau?
Alle Auszüge verorten Hermann Kafka in einem ärmlichen tschechisch-jüdischen ländlichen Milieu und nennen seine Herkunft als Sohn eines Fleischhauers beziehungsweise als wandernder Hausierer.
Treffer 1 | Seite 1 | Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
Auszug 1 sagt ausdrücklich, dass Bachmann die Namengebung von Thomas Mann, Franz Kafka und James Joyce vergleicht.
Treffer 1 | Seite 1 | Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
[1] erläutert unmittelbar das ständige Schweben und Zurücknehmen von Aussagen, [2] nennt ergänzend Summierung und Verfremdung als notwendige Verfahren zur Darstellung der Totalität.
Treffer 1 | Seite 1 | In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
Die Auszüge 1, 2 und 5 nennen ausdrücklich den Band 22/23 der Reihe „Der jüngste Tag“.
Treffer 1 | Seite 1 | Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
Beide Auszüge sagen ausdrücklich, dass „Die Verwandlung“ seit Anfang 1913 abgeschlossen vorlag und erst 1915 veröffentlicht wurde.
Treffer 1 | Seite 5 | Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
Die Auszüge 1, 3 und 5 beschreiben Kafkas Helden als kleinbürgerlich geprägte, machtlose oder schwache Menschen, die an ihrem konflikthaften Verhältnis zur Gesellschaft scheitern.
Treffer 1 | Seite 1 | Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
Auszug 1 ordnet ausdrücklich Kafkas Erzählung „Die Verwandlung“ der Gattung der Großstadterzählung beziehungsweise -novelle zu.
Treffer 1 | Seite – | Wer ist der Protagonist von "Die Verwandlung"?
Diese Auszüge nennen Gregor Samsa ausdrücklich als Protagonisten oder Helden der Erzählung.
Treffer 1 | Seite – | In welche Art von Tier verwandelt sich Gregor Samsa?
Alle Auszüge bezeichnen Gregors Gestalt ausdrücklich als Insekt beziehungsweise ungeheueres Ungeziefer; keiner legt eine eindeutige Tierart fest.
Treffer 1 | Seite – | Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
[1] schildert die Umkehr vom versorgenden Familienmitglied zum Ausgeschlossenen, [2] Gregors Wandel von Rücksichtnahme zu Gleichgültigkeit und Angriffslust gegenüber seiner Familie.
Treffer 2 | Seite – | Sprach Kafka Tschechisch?
Diese Auszüge belegen Tschechisch als Kafkas Umgangssprache und nennen konkrete mündliche Kommunikation, wobei Auszug 5 seine aktive Verwendung vorsichtiger formuliert.
Treffer 2 | Seite 1 | Wie könnte man Kafkas ethischen Rigorismus korrigieren?
Beide Auszüge legen nahe, den Rigorismus zu korrigieren, indem man gesellschaftliche Lebensumstände und ihren Einfluss auf individuelles Versagen berücksichtigt, statt allein den Einzelnen zu verurteilen.
Treffer – | Seite – | Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
Keiner der Auszüge deutet die drei Untermieter ausdrücklich aus biblischer Perspektive; der biblische Apfelbezug in [2] betrifft eine andere Szene.
Treffer – | Seite – | Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
Keiner der Auszüge schildert, wie Gregor von seiner Familie aufgefunden wird; Auszug 3 erwähnt nur seinen Tod und das Verhalten der Familie danach.