Files
localRAG/eval/eval_pypdf_hdr.log
2026-10-07 16:49:22 +02:00

127 lines
10 KiB
Plaintext

Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
Lese Referenzfragen aus eval/goldset_kafka.csv ...
43 Frage(n) geladen.
Loading embeddings model...
Loading weights: 0%| | 0/391 [00:00<?, ?it/s]
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 48421.06it/s]
Text splitter: chunk_size=1500, chunk_overlap=300
Using Ollama (model: gpt-oss:20b)...
Loaded existing vector store from ./vectorstore_pypdf_hdr
Stelle 43 Frage(n) an den Vektorspeicher ...
Loading reranker BAAI/bge-reranker-v2-m3...
Loading weights: 0%| | 0/393 [00:00<?, ?it/s]
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6826.59it/s]
[1/43] Rang 1 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
[2/43] Rang 1 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
[3/43] Rang 3 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
[4/43] Rang 1 Warum ist der Umschlag in die zweite Person in der Erzählung
[5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
[6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
[7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
[8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
[9/43] Rang 1 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
[10/43] Rang 1 Welche Ausgangskonstellation erweist sich in der Verwandlung
[11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
[12/43] Rang 1 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
[13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
[14/43] Rang 1 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
[15/43] Rang 3 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
[16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
[17/43] Rang 1 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
[18/43] Rang 1 In welche Bereiche wird die Wirklichkeit in der Verwandlung
[19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
[20/43] Rang 2 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
[21/43] Rang 1 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
[22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
[23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
[24/43] Rang 4 Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
[25/43] Rang 5 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
[26/43] Rang 1 Welches immer wiederkehrende Schema bestimmt nach Hillmann d
[27/43] Rang 9 Wie reagiert die Schwester, als sie Gregor am ersten Morgen
[28/43] Rang 12 Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
[29/43] Rang 2 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
[30/43] Rang 3 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
[31/43] Rang 1 Was steht auf der kleinen Säule am Dorfausgang, von der in K
[32/43] Rang 1 Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
[33/43] Rang 1 Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
[34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
[35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
[36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
[37/43] Rang 1 Worauf verweisen die eckigen Schultern des Beters nach Lehma
[38/43] Rang 1 Welche Deutungen der Verwandlung werden im Exkurs über ihren
[39/43] Rang 1 Welche Konjunktion wird fälschlich als Merkmal des Prager De
[40/43] Rang 1 Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
[41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
[42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
[43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
====================================================================
Retrieval-Auswertung — 2026-10-07 15:29
====================================================================
Konfiguration
Vektorspeicher ./vectorstore_pypdf_hdr
Embedding-Modell BAAI/bge-m3
Chunk-Größe 1500 (Overlap 300)
Query-Zusatztext aus
Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
Seitentoleranz ±1
Fragen 43
Ergebnis
Recall@5 0.95 (41 von 43)
Recall@10 0.98 (42 von 43)
Recall@20 1.00 (43 von 43)
MRR 0.84
Nach Korpus
primaer Recall@5 0.33 MRR 0.23 (3 Fragen)
sekundaer Recall@5 1.00 MRR 0.89 (40 Fragen)
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
Rang 1 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
Rang 1 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
Rang 1 sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
Rang 1 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
Rang 1 sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
Rang 1 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
Rang 1 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
Rang 1 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
Rang 1 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
Rang 1 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
Rang 1 sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
Rang 1 sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
Rang 1 sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
Rang 1 sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
Rang 1 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
Rang 1 sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
Rang 1 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
Rang 1 sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
Rang 2 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
Rang 2 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
Rang 3 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
Rang 3 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
Rang 3 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
Rang 4 sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
Rang 5 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
Rang 9 primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
Rang 12 primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
Bericht gespeichert: eval/kafka_pypdf_hdr.txt