106 lines
7.1 KiB
Plaintext
106 lines
7.1 KiB
Plaintext
Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
|
||
Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
|
||
30 Frage(n) geladen.
|
||
|
||
Loading embeddings model...
|
||
|
||
Loading weights: 0%| | 0/391 [00:00<?, ?it/s]
|
||
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 41904.46it/s]
|
||
Text splitter: chunk_size=1500, chunk_overlap=300
|
||
Using Ollama (model: gpt-oss:20b)...
|
||
Loaded existing vector store from ./vectorstore_docling_2000
|
||
|
||
Stelle 30 Frage(n) an den Vektorspeicher ...
|
||
Loading reranker BAAI/bge-reranker-v2-m3...
|
||
|
||
Loading weights: 0%| | 0/393 [00:00<?, ?it/s]
|
||
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 6445.58it/s]
|
||
[1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
|
||
[2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
|
||
[3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
|
||
[4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
|
||
[5/30] Rang 3 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
|
||
[6/30] nicht gefunden Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
[7/30] nicht gefunden Wie können die drei Untermieter der Familie Kafka aus einer
|
||
[8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
|
||
[9/30] Rang 1 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
|
||
[10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
[11/30] Rang 1 Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
[12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
[13/30] Rang 17 Sprach Kafka Tschechisch?
|
||
[14/30] nicht gefunden Wie heißen die beiden Nichten von Kafka?
|
||
[15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
|
||
[16/30] Rang 2 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
|
||
[17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
[18/30] Rang 2 Welche Art von Laden führte Kafkas Vater?
|
||
[19/30] Rang 3 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
[20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
|
||
[21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
|
||
[22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
|
||
[23/30] nicht gefunden Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
|
||
[24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
|
||
[25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
[26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
|
||
[27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
|
||
[28/30] nicht gefunden In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
[29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
|
||
[30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
|
||
|
||
====================================================================
|
||
Retrieval-Auswertung — 2026-10-07 17:08
|
||
====================================================================
|
||
|
||
Konfiguration
|
||
Vektorspeicher ./vectorstore_docling_2000
|
||
Embedding-Modell BAAI/bge-m3
|
||
Chunk-Größe 2000 (Overlap 400)
|
||
Loader docling, Kopfzeilen aus
|
||
Query-Zusatztext aus
|
||
Suche dense, Reranker BAAI/bge-reranker-v2-m3
|
||
Seitentoleranz ±1
|
||
Fragen 30
|
||
|
||
Ergebnis
|
||
Recall@5 0.60 (18 von 30)
|
||
Recall@10 0.60 (18 von 30)
|
||
Recall@20 0.63 (19 von 30)
|
||
MRR 0.51
|
||
|
||
Nach Korpus
|
||
primär Recall@5 0.00 MRR 0.00 (4 Fragen)
|
||
sekundär Recall@5 0.69 MRR 0.59 (26 Fragen)
|
||
|
||
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
|
||
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
|
||
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
|
||
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
|
||
Rang 1 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
|
||
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
Rang 1 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
|
||
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
|
||
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
|
||
Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
|
||
Rang 2 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
|
||
Rang 2 sekundär Welche Art von Laden führte Kafkas Vater?
|
||
Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
|
||
Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
|
||
Rang 3 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
Rang 17 sekundär Sprach Kafka Tschechisch?
|
||
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
|
||
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
|
||
Rang – sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
Rang – sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
|
||
Rang – sekundär Wie heißen die beiden Nichten von Kafka?
|
||
Rang – sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
|
||
Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
|
||
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
|
||
Rang – primär In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
|
||
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
|
||
|
||
11 Frage(n) ohne Treffer unter den ersten 20.
|
||
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
|
||
Ist das Dokument überhaupt im Index (rag.list_documents())?
|
||
|
||
Bericht gespeichert: eval/kafka_m2000_human_docling_2000_dense.txt
|