129 lines
10 KiB
Plaintext
129 lines
10 KiB
Plaintext
Lese Referenzfragen aus eval/goldset_kafka.csv ...
|
||
43 Frage(n) geladen.
|
||
|
||
Loading embeddings model...
|
||
Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
|
||
|
||
Loading weights: 0%| | 0/391 [00:00<?, ?it/s]
|
||
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 53525.67it/s]
|
||
Text splitter: chunk_size=1500, chunk_overlap=300
|
||
Using Ollama (model: gpt-oss:20b)...
|
||
Loaded existing vector store from ./vectorstore_pypdf
|
||
|
||
Stelle 43 Frage(n) an den Vektorspeicher ...
|
||
[1/43] Rang 8 Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der
|
||
[2/43] Rang 2 Wo konnte man nach Kittler und Neumann sehen, wie einer eine
|
||
[3/43] Rang 2 Wie wird im Kommentar die nachlassende Sehkraft Gregors myth
|
||
[4/43] nicht gefunden Warum ist der Umschlag in die zweite Person in der Erzählung
|
||
[5/43] Rang 1 Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der An
|
||
[6/43] Rang 1 Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt
|
||
[7/43] Rang 1 Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfheben
|
||
[8/43] Rang 1 Welche Käferart nennt Kafka selbst für Gregor, und wie bezei
|
||
[9/43] Rang 2 Wie lässt sich das Kreisen der Krähen um den Schlossturm als
|
||
[10/43] nicht gefunden Welche Ausgangskonstellation erweist sich in der Verwandlung
|
||
[11/43] Rang 1 Aus welcher Sprache könnte die Wendung aus unruhigen Träumen
|
||
[12/43] Rang 6 Wie beurteilt Binder Corngolds Deutung der Verwandlung als G
|
||
[13/43] Rang 1 Warum bestreitet Kudszus den abschließenden Charakter des Sc
|
||
[14/43] Rang 4 Welche sprichwörtliche Redensart verwendet Kafka im Gespräch
|
||
[15/43] Rang 2 Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brie
|
||
[16/43] Rang 1 Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die
|
||
[17/43] Rang 7 Wie reagieren der Prokurist und die Mutter auf Gregors angeb
|
||
[18/43] Rang 5 In welche Bereiche wird die Wirklichkeit in der Verwandlung
|
||
[19/43] Rang 1 Welche gesellschaftlichen Haltungen entlarvt Kafka in den Re
|
||
[20/43] Rang 1 Welches modale Hilfsverb steht in Kafkas Romanen an der Spit
|
||
[21/43] Rang 3 Wie verändert sich die Figur der Mutter im Verlauf der Verwa
|
||
[22/43] Rang 1 Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbu
|
||
[23/43] Rang 1 Welcher Tagebucheintrag belegt, dass die Irrealisierung in B
|
||
[24/43] nicht gefunden Wie wird Gregor nach seinem Tod von der Bedienerin bezeichne
|
||
[25/43] Rang 1 Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch,
|
||
[26/43] nicht gefunden Welches immer wiederkehrende Schema bestimmt nach Hillmann d
|
||
[27/43] nicht gefunden Wie reagiert die Schwester, als sie Gregor am ersten Morgen
|
||
[28/43] nicht gefunden Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit i
|
||
[29/43] Rang 3 Mit welchen Worten ruft die Bedienerin Gregor zu sich, und w
|
||
[30/43] Rang 2 Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Besch
|
||
[31/43] nicht gefunden Was steht auf der kleinen Säule am Dorfausgang, von der in K
|
||
[32/43] nicht gefunden Welche Figur im Verschollenen hat den gleichen Beruf wie Kaf
|
||
[33/43] nicht gefunden Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Unge
|
||
[34/43] Rang 1 Welche Chiffren einer fetischisierten Lust kehren in Kafkas
|
||
[35/43] Rang 1 Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht K
|
||
[36/43] Rang 1 Wofür steht die Uhrkette in der Tagebuchskizze über den Gast
|
||
[37/43] Rang 4 Worauf verweisen die eckigen Schultern des Beters nach Lehma
|
||
[38/43] nicht gefunden Welche Deutungen der Verwandlung werden im Exkurs über ihren
|
||
[39/43] Rang 5 Welche Konjunktion wird fälschlich als Merkmal des Prager De
|
||
[40/43] nicht gefunden Welche Verwandlungsgeschichte nennt Neumann als beispielhaft
|
||
[41/43] Rang 1 Wofür steht der Name des Bürgermeisters Salvatore im Jäger G
|
||
[42/43] Rang 2 Wie wird das Naturerleben in Kafkas frühen Prosastücken wie
|
||
[43/43] Rang 1 Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und
|
||
|
||
====================================================================
|
||
Retrieval-Auswertung — 2026-10-07 10:20
|
||
====================================================================
|
||
|
||
Konfiguration
|
||
Vektorspeicher ./vectorstore_pypdf
|
||
Embedding-Modell BAAI/bge-m3
|
||
Chunk-Größe 1500 (Overlap 300)
|
||
Query-Zusatztext aus
|
||
Seitentoleranz ±1
|
||
Fragen 43
|
||
|
||
Ergebnis
|
||
Recall@5 0.67 (29 von 43)
|
||
Recall@10 0.74 (32 von 43)
|
||
Recall@20 0.74 (32 von 43)
|
||
MRR 0.51
|
||
|
||
Nach Korpus
|
||
primaer Recall@5 0.33 MRR 0.11 (3 Fragen)
|
||
sekundaer Recall@5 0.70 MRR 0.54 (40 Fragen)
|
||
|
||
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
|
||
Rang 1 sekundaer Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?
|
||
Rang 1 sekundaer Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?
|
||
Rang 1 sekundaer Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?
|
||
Rang 1 sekundaer Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?
|
||
Rang 1 sekundaer Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?
|
||
Rang 1 sekundaer Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?
|
||
Rang 1 sekundaer Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?
|
||
Rang 1 sekundaer Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?
|
||
Rang 1 sekundaer Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?
|
||
Rang 1 sekundaer Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?
|
||
Rang 1 sekundaer Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?
|
||
Rang 1 sekundaer Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?
|
||
Rang 1 sekundaer Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?
|
||
Rang 1 sekundaer Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?
|
||
Rang 1 sekundaer Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?
|
||
Rang 1 sekundaer Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?
|
||
Rang 1 sekundaer Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?
|
||
Rang 2 sekundaer Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?
|
||
Rang 2 sekundaer Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?
|
||
Rang 2 sekundaer Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?
|
||
Rang 2 sekundaer Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?
|
||
Rang 2 sekundaer Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?
|
||
Rang 2 sekundaer Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?
|
||
Rang 3 sekundaer Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?
|
||
Rang 3 primaer Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?
|
||
Rang 4 sekundaer Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?
|
||
Rang 4 sekundaer Worauf verweisen die eckigen Schultern des Beters nach Lehmann?
|
||
Rang 5 sekundaer In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?
|
||
Rang 5 sekundaer Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?
|
||
Rang 6 sekundaer Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?
|
||
Rang 7 sekundaer Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?
|
||
Rang 8 sekundaer Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?
|
||
Rang – sekundaer Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?
|
||
Rang – sekundaer Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?
|
||
Rang – sekundaer Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?
|
||
Rang – sekundaer Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?
|
||
Rang – primaer Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?
|
||
Rang – primaer Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?
|
||
Rang – sekundaer Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?
|
||
Rang – sekundaer Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?
|
||
Rang – sekundaer Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?
|
||
Rang – sekundaer Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?
|
||
Rang – sekundaer Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?
|
||
|
||
11 Frage(n) ohne Treffer unter den ersten 20.
|
||
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
|
||
Ist das Dokument überhaupt im Index (rag.list_documents())?
|
||
|
||
Bericht gespeichert: eval/kafka_pypdf.txt
|
||
exit 0
|