Files
localRAG/eval/judge_cache.json
Philipp MockandClaude Opus 5.5 e75716714e Add LLM judge to retrieval eval; switch chat to pypdf with 2000/400 chunks
- eval_retrieval.py: --judge MODEL lets an OpenAI model decide whether the
  top-5 chunks answer each question, regardless of source and page; reports
  Answer@5, answer-level MRR and agreement with the page check; verdicts are
  cached in eval/judge_cache.json
- On the curated goldset, gpt-6-luna rates pypdf and Docling equal
  (Answer@5 0.93 each, MRR 0.90 vs 0.92), so the chat stays on pypdf for now
- local_rag.py: chunks 2000/400, chunk headers off by default, OpenAI model
  gpt-6-luna; server.py loads ./vectorstore_pypdf_2000

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
2026-10-08 09:07:51 +02:00

436 lines
17 KiB
JSON
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
{
"266bb27d6f8e7d4cb64e17edd5b468052676977996eabb62130ff4a8838c6119": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass Kafkas Familie seiner literarischen Produktion auch nach seinem Tod gleichgültig gegenüberstand."
},
"cb5c8c54437ec284091f811706a844a4402d20d7c90138b50dd7b16ef58e8716": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass die Aussagen des Prokuristen Gregors Selbstbild widersprechen und Zweifel an seinen Verkaufserfolgen wecken."
},
"3260dadc5e841fbc17a2e47e2a6d8764273d7cdef4d6514974d92d49682de331": {
"auszuege": [
1
],
"begruendung": "Auszug 1 benennt ausdrücklich den Widerspruch zwischen Gregors Selbstbild und der Beurteilung seiner beruflichen Leistungen durch den Prokuristen, der Gregors Verkaufserfolge infrage stellt."
},
"4f52d4c66284fdd8f3f74367c8ee14b8cc6481b3517065169703a2b85dba8366": {
"auszuege": [
1
],
"begruendung": "Auszug 1 nennt ausdrücklich Band 2 der Griechischen Kulturgeschichte und führt dort den Abschnitt „Die Verwandlungen“ auf."
},
"f88f9cbe0ca34958369abaaf6c9f91bd4007b5cd95e4f02e95eac34bfc6384cd": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Die Auszüge beschreiben Gestik und Mimik als vieldeutige Ausdrucksformen, die innere Zustände knapp verkörpern und von Figuren beobachtet und gedeutet werden."
},
"2c9539570f327b896aa3e2f8fbee72bef509855a4782ddc89ba56fd53361243e": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Die Auszüge beschreiben Bildgestaltung bei Kafka sowohl als erzählerische Bilder und Bildkontraste beziehungsweise übertragene Rede als auch als realitätsnah oder abstrakt verselbständigte Bilder."
},
"77a3c046481e87973308209885702008a6ab481d64542c9e0f193fce171c92fe": {
"auszuege": [],
"begruendung": "Keiner der Auszüge deutet die drei Untermieter ausdrücklich aus biblischer Perspektive; der biblische Apfelbezug in [2] betrifft eine andere Szene."
},
"39d4c0563db533f83edd35029645a41f76ab1de721fa76786edb9556e81ee9b5": {
"auszuege": [
1,
2,
3,
5
],
"begruendung": "Die Auszüge 1, 2, 3 und 5 verknüpfen Gregors körperlichen Ekel beziehungsweise seine abstoßende Gestalt ausdrücklich mit Demütigung und Selbsterniedrigung; Auszug 4 behandelt Ekel, stellt diesen Zusammenhang aber nicht her."
},
"126ef040bb8581c5e607ca7cac042065dfb1a9da496094159c301abfc31f593b": {
"auszuege": [
1,
2,
3
],
"begruendung": "Die Auszüge 1 und 2 deuten die Dame als unerreichbares Ideal und als demütigenden Kontrast zu Gregors Gestalt; Auszug 3 beschreibt das Bild als menschliches Kulturgut und deutet seine Verbindung von Mensch und Tier."
},
"808472b80a58cd99d9df561e249c312479b70ed68f451773ef1b7e295904c3c4": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass Gregors Tod ihm als „letzte Sohnespflicht“ bleibt."
},
"255a2a69fcdd9f654e5ce441265be10271bb78487ec7f5a3a4fe689ea8142585": {
"auszuege": [
1
],
"begruendung": "Nur Auszug 1 nennt ausdrücklich den Ort: Die Eltern erfahren die Nachricht aufrecht sitzend im Ehebett."
},
"a66116aaae6acda6de49ac1a5fe1dff05c0a55ecc065fe37108edf8735dfacfd": {
"auszuege": [
1
],
"begruendung": "Auszug 1 gibt Binders Erklärung ausdrücklich wieder: Kafka leite sich von „kajke“, einer niederdeutschen Koseform von Jakob, ab."
},
"7e5e1db0e6c948606950b538c571ed3f72a5093111f05668c50ae152a140a717": {
"auszuege": [
2,
3,
4,
5
],
"begruendung": "Diese Auszüge belegen Tschechisch als Kafkas Umgangssprache und nennen konkrete mündliche Kommunikation, wobei Auszug 5 seine aktive Verwendung vorsichtiger formuliert."
},
"15f73e21f5ffb5b5a2bbd9cca715d24293df1db936d31d20146d3c1f4f25800d": {
"auszuege": [
1
],
"begruendung": "Auszug 1 nennt Kafkas Nichten ausdrücklich Marianne und Vera."
},
"9f704dd38b3e3fd77fd4e0e2085657e106bbefe1dd1a7d5c14fde9f045108f06": {
"auszuege": [
1,
2,
4
],
"begruendung": "[1] und [2] sagen ausdrücklich, dass Kafka mit seinen Nichten Tschechisch sprach; [4] stützt dies mit einem tschechischen Beispiel an seine Nichte Vera."
},
"625b0f0b60e802ecb1e84344bbc88f768316274f4dda29d485580a54c2fdc898": {
"auszuege": [
1,
2,
4,
5
],
"begruendung": "Die Auszüge beschreiben die lautliche und buchstabenmäßige Entsprechung von Kafka und Samsa, insbesondere gleiche Vokalfolge beziehungsweise Buchstabenpositionen und einen Konsonantentausch; [4] ergänzt Kafkas Vorbehalt, Samsa sei kein vollständiges Kryptogramm für Kafka."
},
"d3f1476111efdf1d888ee6c5181cec65882fb25ff58e3db80519a5aa01d799f5": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass das tschechische Wort „Kafka“ auf Deutsch „Dohle“ bedeutet."
},
"d4f3f3d74e6d3788c1b5695830048571cd4c539ba947fc95157b01742fe05ef5": {
"auszuege": [
1,
2,
3,
4
],
"begruendung": "Die Auszüge 1 bis 4 bezeichnen das Geschäft des Vaters als Galanteriewaren- beziehungsweise Kurzwarenhandlung, während Auszug 5 das Thema nicht beantwortet."
},
"53173d0b42df1056dcb885343e9a07e5c4ad816ce77fefca3a68ecba2fccaf65": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Alle Auszüge verorten Hermann Kafka in einem ärmlichen tschechisch-jüdischen ländlichen Milieu und nennen seine Herkunft als Sohn eines Fleischhauers beziehungsweise als wandernder Hausierer."
},
"de91e131ad6f54c06ae5d749d9da10a685c4e318563af2e5693c30f22df2c101": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass Bachmann die Namengebung von Thomas Mann, Franz Kafka und James Joyce vergleicht."
},
"db6101aa6299e9a1b46b4a98aeee50e749967e497476b8b547681f79050a03e0": {
"auszuege": [
1,
2
],
"begruendung": "[1] erläutert unmittelbar das ständige Schweben und Zurücknehmen von Aussagen, [2] nennt ergänzend Summierung und Verfremdung als notwendige Verfahren zur Darstellung der Totalität."
},
"2608dc0fae4f66648a0de419ff613a714bd5d730b1218598c206fe6a1c5c1669": {
"auszuege": [
1,
2,
5
],
"begruendung": "Die Auszüge 1, 2 und 5 nennen ausdrücklich den Band 22/23 der Reihe „Der jüngste Tag“."
},
"da142c5a92236cebf507cbc3dbca18b33cae1002981ab03b8154914911edb6f2": {
"auszuege": [
1,
2
],
"begruendung": "Beide Auszüge sagen ausdrücklich, dass „Die Verwandlung“ seit Anfang 1913 abgeschlossen vorlag und erst 1915 veröffentlicht wurde."
},
"e88e68366655c39d57b75d83b7273c413d5400676ac3269765d824c9cd4bdce6": {
"auszuege": [
1,
3,
5
],
"begruendung": "Die Auszüge 1, 3 und 5 beschreiben Kafkas Helden als kleinbürgerlich geprägte, machtlose oder schwache Menschen, die an ihrem konflikthaften Verhältnis zur Gesellschaft scheitern."
},
"ff82906a55326c84ea32faa8d65afe5c1772a2ae14d504ca8c542e3dd4770720": {
"auszuege": [
2,
4
],
"begruendung": "Beide Auszüge legen nahe, den Rigorismus zu korrigieren, indem man gesellschaftliche Lebensumstände und ihren Einfluss auf individuelles Versagen berücksichtigt, statt allein den Einzelnen zu verurteilen."
},
"f9fad44780948b61fa5731834bef581d96af1e4ba3bb78a527ebca31fda6a397": {
"auszuege": [
1
],
"begruendung": "Auszug 1 ordnet ausdrücklich Kafkas Erzählung „Die Verwandlung“ der Gattung der Großstadterzählung beziehungsweise -novelle zu."
},
"26131d6cb95d12f987f2780f651214ca4bc05eab1b94fb8c2a41a07fe6013e9b": {
"auszuege": [
1,
2,
3,
4
],
"begruendung": "Diese Auszüge nennen Gregor Samsa ausdrücklich als Protagonisten oder Helden der Erzählung."
},
"61843a26b7146112bedf6782cbb7c290f714a1bbb2ad24250667650c94301acf": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Alle Auszüge bezeichnen Gregors Gestalt ausdrücklich als Insekt beziehungsweise ungeheueres Ungeziefer; keiner legt eine eindeutige Tierart fest."
},
"af0bdc4808d5bb162b7e212e495f0cc48a1b528aaf9b369a99a96854e218f011": {
"auszuege": [],
"begruendung": "Keiner der Auszüge schildert, wie Gregor von seiner Familie aufgefunden wird; Auszug 3 erwähnt nur seinen Tod und das Verhalten der Familie danach."
},
"752052072e6ca9d584f02899bc658f34b121a46bcd15b44f486ce65ae49e15f4": {
"auszuege": [
1,
2
],
"begruendung": "[1] schildert die Umkehr vom versorgenden Familienmitglied zum Ausgeschlossenen, [2] Gregors Wandel von Rücksichtnahme zu Gleichgültigkeit und Angriffslust gegenüber seiner Familie."
},
"f312aa1204eeab8dc336aca210ef6a696c84e754f5cab2b05f0ad543f93adc56": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass Kafkas Familie seiner literarischen Produktion auch nach seinem Tod gleichgültig gegenüberstand."
},
"88380bd4d7e5900780d52288e15ff00419629a51db94bb03e919cb0602ea915a": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass die Beurteilung des Vorgesetzten Gregors Selbstbild widerspricht und Zweifel an seinen Verkaufserfolgen weckt."
},
"8473d77f22a6ef34d98563dc93be81d01a132d78154bd9c6f0b6848618b7c0dd": {
"auszuege": [
1,
4
],
"begruendung": "Beide Auszüge benennen den Widerspruch zwischen Gregors Selbstbild und der Einschätzung des Prokuristen, der Gregors wenige Abschlüsse kritisiert und dessen fachliche Kompetenz von Gregor selbst als maßgeblich anerkannt wird."
},
"6bd0fc3a3eb2bf0398c469f36751b45f378e4021e71c3ce1ddd154046efec73d": {
"auszuege": [
1,
2
],
"begruendung": "Auszug 1 nennt den zweiten Band ausdrücklich, und Auszug 2 bestätigt Band 2 mit dem Anhang „Die Verwandlungen“."
},
"889f4f9fe48e953aca88e5044f62f4f13118ba4621f79ed06c0b6e5d4ba33897": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Alle Auszüge beschreiben konkrete Formen oder Funktionen von Gestik und Mimik bei Kafka, etwa ihre erzählerische Ökonomie, Deutung aus der Perspektive der Figuren, szenische Wirkung und Vieldeutigkeit."
},
"6db1ac7381c30cb3d867141c0dde839362190535503d8563368ba80709860eaa": {
"auszuege": [
1,
2,
3,
5
],
"begruendung": "Diese Auszüge beschreiben konkrete Merkmale und Funktionen von Kafkas Bildformen, etwa ihr Verhältnis zu realistischer Darstellung, ihre symbolische Bedeutung, ein erweitertes Bildverständnis und werkübergreifende Bildgeflechte; Auszug 4 bleibt allgemein."
},
"1a57746f66670fccec00b100b37f48c9f0b7c66f6d0359155d5c97ad9b840fa8": {
"auszuege": [],
"begruendung": "Keiner der Auszüge deutet die drei Untermieter ausdrücklich aus einer biblischen Perspektive; ihre Dreizahl allein reicht für eine zutreffende Antwort nicht aus."
},
"2352e0d76305783f7d968a3e9d1f38ce4e6543dff09f6cdaafdf74ece8e92669": {
"auszuege": [
1
],
"begruendung": "Auszug 1 verknüpft ausdrücklich körperlichen Ekel mit Demütigung und Selbstdemütigung und erläutert den Zusammenhang am Kontrast zwischen der Dame im Pelz und Gregors entstelltem Körper."
},
"23b0c1227ca6ce0812b58c5d8756f7a47b5a832ecdaf8cc3a8756dec65d95f5c": {
"auszuege": [
1,
5
],
"begruendung": "[1] deutet die Dame als unerreichbare Verkörperung eleganter Weltläufigkeit im Kontrast zu Gregor, [5] als Sinnbild libidinöser Verlockung."
},
"1d5bc038e540afd590b202a9498f520819ef6408aa3cc085f4cf8b975c5380f4": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, Gregors Tod könne als seine „letzte Sohnespflicht“ gelten."
},
"ce529a5ad8384f681e8da68608ed35ef65227f1155696a8c0c2f8f7d75d89d3d": {
"auszuege": [
2
],
"begruendung": "Nur Auszug 2 nennt ausdrücklich den Ort: Die Eltern erfahren die Nachricht im aufrecht sitzenden Zustand im Ehebett."
},
"43093f44348571f34bf5e13d6c84ba200ec558410fdefe8f5be5a9cab446ada8": {
"auszuege": [
1,
2
],
"begruendung": "Beide Auszüge nennen Binders Erklärung des Familiennamens Kafka aus „kajke“, einer niederdeutschen Diminutivform des Namens Jakob."
},
"5a6c5baf12785c2293824698ed705734fcd564e7d0fd160c0fa21d31896bfda6": {
"auszuege": [
1,
5
],
"begruendung": "[1] sagt ausdrücklich, Kafka habe fast fehlerlos Tschechisch gesprochen, und [5] beschreibt seine Kommunikation auf Tschechisch im häuslichen Umfeld."
},
"887a03aff9884d2080db6ee9faddf57927068db65b8c847346a0a44c544fd650": {
"auszuege": [
1
],
"begruendung": "Auszug 1 nennt Kafkas Nichten ausdrücklich Marianne und Vera."
},
"95de9bbc505fbb913878bf7072618417b459cb1df9550b476e6e21f37f18ddee": {
"auszuege": [
1,
2,
5
],
"begruendung": "Die Auszüge 1 und 2 sagen ausdrücklich, dass Kafka mit seinen Nichten Tschechisch sprach; Auszug 5 bestätigt dies für die Kinder der Familien Valli und Ottla."
},
"d64b726dd60280ed45abc0f8dcbedb2ee83c17677ce71556a65e80b82dec1747": {
"auszuege": [
1,
2,
3,
5
],
"begruendung": "Diese Auszüge beschreiben eine formale Abstimmung der Namen durch gleiche Buchstabenzahl sowie entsprechende Buchstabenpositionen, Vokalgleichklang oder Konsonantentausch."
},
"327dedb20feb52be2449f752db0e345aeb4c63d4df85c2bb9c7f0705442e3627": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass „Kafka“ ein tschechisches Wort ist und auf Deutsch „Dohle“ bedeutet."
},
"94b863088e7f75c795ae3df7fe3bd9c64a02ff968173199857b60abfb41425e8": {
"auszuege": [
1,
2,
3
],
"begruendung": "Die Auszüge 1 und 2 nennen ausdrücklich ein Galanteriewarengeschäft beziehungsweise einen Galanteriewarenladen, und Auszug 3 bezeichnet den Vater als Galanteriewarenhändler."
},
"5e5512ba26a215132af3d9b71ed863bec808cf1ead7c2a5d7c2ab0abfc3cf76b": {
"auszuege": [
1,
2,
3,
4
],
"begruendung": "Die Auszüge 1–4 verorten Hermann Kafka in ärmlichen tschechisch-jüdischen Verhältnissen beziehungsweise im Provinzproletariat und nennen ihn als Sohn eines Fleischhauers oder wandernden Hausierer, während Auszug 5 nur seinen späteren Status als jüdischer Mittelständler beschreibt."
},
"a255cba7a525c368c59fae8c9c2668787cddeeb1a1640ae7057067fb7b381668": {
"auszuege": [
1
],
"begruendung": "Auszug 1 nennt ausdrücklich Thomas Mann, Franz Kafka und James Joyce als die Schriftsteller, deren Namengebung Bachmann vergleicht."
},
"e633b9b62814f3540764c63478cd250d98a36e6c678c11ed710516b35022f5ca": {
"auszuege": [
1,
4
],
"begruendung": "Auszug 1 erläutert unmittelbar, dass die Form durch das ständige Korrigieren begrenzter Sprach- und Bildformen auf das Universelle ein Schweben und eine Entgrenzung erzeugt; Auszug 4 nennt dazu Summierung und Verfremdung als notwendige Voraussetzungen von Kafkas künstlerischer Methode."
},
"cdf6b6d768b853344281dfe999aeed405dc8c214a32ca09fe50a33d6608cca42": {
"auszuege": [
1,
4,
5
],
"begruendung": "Diese Auszüge nennen ausdrücklich Band 22/23 beziehungsweise Nr. 22/23 der Reihe „Der jüngste Tag“."
},
"95f5730a4c379018998c7c04fd5e1ead5ebe8f380fef47e199fbee01d1474c10": {
"auszuege": [
1
],
"begruendung": "Auszug 1 sagt ausdrücklich, dass „Die Verwandlung“ seit Anfang 1913 abgeschlossen vorlag und erst 1915 veröffentlicht wurde."
},
"eb6617010f4a314856cdabc02189fe8fa74728ebc18fb06528e1a50099150d64": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Alle Auszüge charakterisieren Kafkas Helden als Menschen, die sich in einer entfremdeten bürgerlichen Gesellschaft einsam, hilflos oder unterworfen erleben und an deren Lebensbedingungen scheitern."
},
"1ce9a81e5898beb700ba0b34aef0dc3c2bf56229d344f07d3f9d5c56af312c0e": {
"auszuege": [
1
],
"begruendung": "Auszug 1 nennt ausdrücklich einen Ansatz zur Korrektur: Bei der Beurteilung von Schuld auch die Umwelt zu berücksichtigen und eine Besserung sowie Wiedereingliederung zu ermöglichen."
},
"b8a61ffae0862f59279d9a176326b37134d2f1495678d4d128181984984d35c1": {
"auszuege": [
1
],
"begruendung": "Auszug 1 ordnet „Die Verwandlung“ ausdrücklich der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zu."
},
"7935b921838a7c54dc36f66233534e4bb46ad6355e16cd4341e21d2a4cbb188d": {
"auszuege": [
1,
2,
3,
5
],
"begruendung": "Die Auszüge 1, 2 und 5 nennen Gregor Samsa ausdrücklich als Protagonisten beziehungsweise Helden, und Auszug 3 bezeichnet den Helden als Samsa; Auszug 4 nennt keinen konkreten Protagonisten."
},
"82235540a0f6fb8351ba94d4d1ce2a045a8b0ac4eec393cac7b55ea88e60cf7e": {
"auszuege": [
1,
2,
3,
4,
5
],
"begruendung": "Alle Auszüge nennen Gregors Verwandlung in Ungeziefer; Auszug 1 bezeichnet ihn außerdem als Käfer."
},
"27b3e2adc6e4905ff899ef4f7972ea5031778e97c1dff23ff1f0d0eba2f3bec9": {
"auszuege": [],
"begruendung": "Keiner der Auszüge schildert, in welchem Zustand oder unter welchen Umständen die Familie Gregor am Ende auffindet; Auszug 5 erwähnt nur, dass die Bedienstete seinen Tod meldet."
},
"75cd420d947ce5c46821e8709337faf8523821b41b24f0f3d3dec223aff5351c": {
"auszuege": [
1,
2,
3,
5
],
"begruendung": "Diese Auszüge beschreiben die zunehmende Entfremdung und Umkehrung der Beziehungen: Gregor wird zunächst rücksichtsloser und gleichgültiger, während seine Familie ihn zunehmend ausgrenzt und einschließt."
}
}