- eval_retrieval.py: --judge MODEL lets an OpenAI model decide whether the top-5 chunks answer each question, regardless of source and page; reports Answer@5, answer-level MRR and agreement with the page check; verdicts are cached in eval/judge_cache.json - On the curated goldset, gpt-6-luna rates pypdf and Docling equal (Answer@5 0.93 each, MRR 0.90 vs 0.92), so the chat stays on pypdf for now - local_rag.py: chunks 2000/400, chunk headers off by default, OpenAI model gpt-6-luna; server.py loads ./vectorstore_pypdf_2000 Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
127 lines
12 KiB
Plaintext
127 lines
12 KiB
Plaintext
====================================================================
|
||
Retrieval-Auswertung — 2026-10-08 08:44
|
||
====================================================================
|
||
|
||
Konfiguration
|
||
Vektorspeicher ./vectorstore_pypdf_2000
|
||
Embedding-Modell BAAI/bge-m3
|
||
Chunk-Größe 2000 (Overlap 400)
|
||
Loader pypdf, Kopfzeilen aus
|
||
Query-Zusatztext aus
|
||
Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
|
||
Seitentoleranz ±1
|
||
Fragen 30
|
||
|
||
Ergebnis
|
||
Recall@5 0.70 (21 von 30)
|
||
Recall@10 0.73 (22 von 30)
|
||
Recall@20 0.83 (25 von 30)
|
||
MRR 0.69
|
||
|
||
Nach Korpus
|
||
primär Recall@5 0.00 MRR 0.02 (4 Fragen)
|
||
sekundär Recall@5 0.81 MRR 0.79 (26 Fragen)
|
||
|
||
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
|
||
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
|
||
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
|
||
Rang 1 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
|
||
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
|
||
Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
|
||
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
|
||
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
|
||
Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
|
||
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
|
||
Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
|
||
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
|
||
Rang 1 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
|
||
Rang 1 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
|
||
Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
|
||
Rang 5 sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
|
||
Rang 7 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
|
||
Rang 11 primär In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
Rang 15 sekundär Sprach Kafka Tschechisch?
|
||
Rang 16 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
|
||
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
|
||
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
|
||
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
|
||
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
|
||
|
||
5 Frage(n) ohne Treffer unter den ersten 20.
|
||
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
|
||
Ist das Dokument überhaupt im Index (rag.list_documents())?
|
||
|
||
Antwort im Kontext (Prüfung durch gpt-6-luna, erste 5 Treffer)
|
||
Antwort@5 0.93 (28 von 30)
|
||
MRR (Antwort) 0.90
|
||
Abgleich mit Seitenprüfung: beide ja 21, nur Modell ja 7, nur Seite ja 0
|
||
|
||
Einzelne Fragen (Treffer = erster Auszug, der die Frage beantwortet; Seite = Rang laut Fundstelle)
|
||
Treffer 1 | Seite 1 | Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
|
||
Auszug 1 sagt ausdrücklich, dass Kafkas Familie seiner literarischen Produktion auch nach seinem Tod gleichgültig gegenüberstand.
|
||
Treffer 1 | Seite – | Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
|
||
Auszug 1 sagt ausdrücklich, dass die Aussagen des Prokuristen Gregors Selbstbild widersprechen und Zweifel an seinen Verkaufserfolgen wecken.
|
||
Treffer 1 | Seite – | Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
|
||
Auszug 1 benennt ausdrücklich den Widerspruch zwischen Gregors Selbstbild und der Beurteilung seiner beruflichen Leistungen durch den Prokuristen, der Gregors Verkaufserfolge infrage stellt.
|
||
Treffer 1 | Seite 1 | In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
|
||
Auszug 1 nennt ausdrücklich Band 2 der Griechischen Kulturgeschichte und führt dort den Abschnitt „Die Verwandlungen“ auf.
|
||
Treffer 1 | Seite 1 | Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
|
||
Die Auszüge beschreiben Gestik und Mimik als vieldeutige Ausdrucksformen, die innere Zustände knapp verkörpern und von Figuren beobachtet und gedeutet werden.
|
||
Treffer 1 | Seite – | Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
Die Auszüge beschreiben Bildgestaltung bei Kafka sowohl als erzählerische Bilder und Bildkontraste beziehungsweise übertragene Rede als auch als realitätsnah oder abstrakt verselbständigte Bilder.
|
||
Treffer 1 | Seite 1 | In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
|
||
Die Auszüge 1, 2, 3 und 5 verknüpfen Gregors körperlichen Ekel beziehungsweise seine abstoßende Gestalt ausdrücklich mit Demütigung und Selbsterniedrigung; Auszug 4 behandelt Ekel, stellt diesen Zusammenhang aber nicht her.
|
||
Treffer 1 | Seite 1 | Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
|
||
Die Auszüge 1 und 2 deuten die Dame als unerreichbares Ideal und als demütigenden Kontrast zu Gregors Gestalt; Auszug 3 beschreibt das Bild als menschliches Kulturgut und deutet seine Verbindung von Mensch und Tier.
|
||
Treffer 1 | Seite 1 | Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
Auszug 1 sagt ausdrücklich, dass Gregors Tod ihm als „letzte Sohnespflicht“ bleibt.
|
||
Treffer 1 | Seite 1 | Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
Nur Auszug 1 nennt ausdrücklich den Ort: Die Eltern erfahren die Nachricht aufrecht sitzend im Ehebett.
|
||
Treffer 1 | Seite 1 | Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
Auszug 1 gibt Binders Erklärung ausdrücklich wieder: Kafka leite sich von „kajke“, einer niederdeutschen Koseform von Jakob, ab.
|
||
Treffer 1 | Seite 1 | Wie heißen die beiden Nichten von Kafka?
|
||
Auszug 1 nennt Kafkas Nichten ausdrücklich Marianne und Vera.
|
||
Treffer 1 | Seite 1 | Welche Sprache spricht Kafka mit seinen Nichten?
|
||
[1] und [2] sagen ausdrücklich, dass Kafka mit seinen Nichten Tschechisch sprach; [4] stützt dies mit einem tschechischen Beispiel an seine Nichte Vera.
|
||
Treffer 1 | Seite 1 | Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
|
||
Die Auszüge beschreiben die lautliche und buchstabenmäßige Entsprechung von Kafka und Samsa, insbesondere gleiche Vokalfolge beziehungsweise Buchstabenpositionen und einen Konsonantentausch; [4] ergänzt Kafkas Vorbehalt, Samsa sei kein vollständiges Kryptogramm für Kafka.
|
||
Treffer 1 | Seite 1 | Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
Auszug 1 sagt ausdrücklich, dass das tschechische Wort „Kafka“ auf Deutsch „Dohle“ bedeutet.
|
||
Treffer 1 | Seite 1 | Welche Art von Laden führte Kafkas Vater?
|
||
Die Auszüge 1 bis 4 bezeichnen das Geschäft des Vaters als Galanteriewaren- beziehungsweise Kurzwarenhandlung, während Auszug 5 das Thema nicht beantwortet.
|
||
Treffer 1 | Seite 1 | Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
Alle Auszüge verorten Hermann Kafka in einem ärmlichen tschechisch-jüdischen ländlichen Milieu und nennen seine Herkunft als Sohn eines Fleischhauers beziehungsweise als wandernder Hausierer.
|
||
Treffer 1 | Seite 1 | Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
|
||
Auszug 1 sagt ausdrücklich, dass Bachmann die Namengebung von Thomas Mann, Franz Kafka und James Joyce vergleicht.
|
||
Treffer 1 | Seite 1 | Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
|
||
[1] erläutert unmittelbar das ständige Schweben und Zurücknehmen von Aussagen, [2] nennt ergänzend Summierung und Verfremdung als notwendige Verfahren zur Darstellung der Totalität.
|
||
Treffer 1 | Seite 1 | In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
|
||
Die Auszüge 1, 2 und 5 nennen ausdrücklich den Band 22/23 der Reihe „Der jüngste Tag“.
|
||
Treffer 1 | Seite 1 | Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
|
||
Beide Auszüge sagen ausdrücklich, dass „Die Verwandlung“ seit Anfang 1913 abgeschlossen vorlag und erst 1915 veröffentlicht wurde.
|
||
Treffer 1 | Seite 5 | Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
|
||
Die Auszüge 1, 3 und 5 beschreiben Kafkas Helden als kleinbürgerlich geprägte, machtlose oder schwache Menschen, die an ihrem konflikthaften Verhältnis zur Gesellschaft scheitern.
|
||
Treffer 1 | Seite 1 | Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
|
||
Auszug 1 ordnet ausdrücklich Kafkas Erzählung „Die Verwandlung“ der Gattung der Großstadterzählung beziehungsweise -novelle zu.
|
||
Treffer 1 | Seite – | Wer ist der Protagonist von "Die Verwandlung"?
|
||
Diese Auszüge nennen Gregor Samsa ausdrücklich als Protagonisten oder Helden der Erzählung.
|
||
Treffer 1 | Seite – | In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
Alle Auszüge bezeichnen Gregors Gestalt ausdrücklich als Insekt beziehungsweise ungeheueres Ungeziefer; keiner legt eine eindeutige Tierart fest.
|
||
Treffer 1 | Seite – | Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
|
||
[1] schildert die Umkehr vom versorgenden Familienmitglied zum Ausgeschlossenen, [2] Gregors Wandel von Rücksichtnahme zu Gleichgültigkeit und Angriffslust gegenüber seiner Familie.
|
||
Treffer 2 | Seite – | Sprach Kafka Tschechisch?
|
||
Diese Auszüge belegen Tschechisch als Kafkas Umgangssprache und nennen konkrete mündliche Kommunikation, wobei Auszug 5 seine aktive Verwendung vorsichtiger formuliert.
|
||
Treffer 2 | Seite 1 | Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
Beide Auszüge legen nahe, den Rigorismus zu korrigieren, indem man gesellschaftliche Lebensumstände und ihren Einfluss auf individuelles Versagen berücksichtigt, statt allein den Einzelnen zu verurteilen.
|
||
Treffer – | Seite – | Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
|
||
Keiner der Auszüge deutet die drei Untermieter ausdrücklich aus biblischer Perspektive; der biblische Apfelbezug in [2] betrifft eine andere Szene.
|
||
Treffer – | Seite – | Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
|
||
Keiner der Auszüge schildert, wie Gregor von seiner Familie aufgefunden wird; Auszug 3 erwähnt nur seinen Tod und das Verhalten der Familie danach.
|