105 lines
7.0 KiB
Plaintext
105 lines
7.0 KiB
Plaintext
Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
|
||
Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
|
||
30 Frage(n) geladen.
|
||
|
||
Loading embeddings model...
|
||
|
||
Loading weights: 0%| | 0/391 [00:00<?, ?it/s]
|
||
Loading weights: 100%|██████████| 391/391 [00:00<00:00, 45412.26it/s]
|
||
Text splitter: chunk_size=1500, chunk_overlap=300
|
||
Using Ollama (model: gpt-oss:20b)...
|
||
Loaded existing vector store from ./vectorstore_pypdf_hdr
|
||
|
||
Stelle 30 Frage(n) an den Vektorspeicher ...
|
||
Loading reranker BAAI/bge-reranker-v2-m3...
|
||
|
||
Loading weights: 0%| | 0/393 [00:00<?, ?it/s]
|
||
Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7249.05it/s]
|
||
[1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
|
||
[2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
|
||
[3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
|
||
[4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
|
||
[5/30] Rang 2 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
|
||
[6/30] Rang 6 Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
[7/30] Rang 9 Wie können die drei Untermieter der Familie Kafka aus einer
|
||
[8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
|
||
[9/30] nicht gefunden Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
|
||
[10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
[11/30] Rang 10 Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
[12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
[13/30] Rang 3 Sprach Kafka Tschechisch?
|
||
[14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
|
||
[15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
|
||
[16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
|
||
[17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
[18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
|
||
[19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
[20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
|
||
[21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
|
||
[22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
|
||
[23/30] Rang 2 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
|
||
[24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
|
||
[25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
[26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
|
||
[27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
|
||
[28/30] Rang 10 In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
[29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
|
||
[30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
|
||
|
||
====================================================================
|
||
Retrieval-Auswertung — 2026-10-07 15:53
|
||
====================================================================
|
||
|
||
Konfiguration
|
||
Vektorspeicher ./vectorstore_pypdf_hdr
|
||
Embedding-Modell BAAI/bge-m3
|
||
Chunk-Größe 1500 (Overlap 300)
|
||
Query-Zusatztext aus
|
||
Suche dense, Reranker BAAI/bge-reranker-v2-m3
|
||
Seitentoleranz ±1
|
||
Fragen 30
|
||
|
||
Ergebnis
|
||
Recall@5 0.63 (19 von 30)
|
||
Recall@10 0.77 (23 von 30)
|
||
Recall@20 0.77 (23 von 30)
|
||
MRR 0.58
|
||
|
||
Nach Korpus
|
||
primär Recall@5 0.00 MRR 0.03 (4 Fragen)
|
||
sekundär Recall@5 0.73 MRR 0.66 (26 Fragen)
|
||
|
||
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
|
||
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
|
||
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
|
||
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
|
||
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||
Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
|
||
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
|
||
Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
|
||
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||
Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
|
||
Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
|
||
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
|
||
Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
|
||
Rang 2 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
|
||
Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
|
||
Rang 2 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
|
||
Rang 3 sekundär Sprach Kafka Tschechisch?
|
||
Rang 6 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
|
||
Rang 9 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
|
||
Rang 10 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||
Rang 10 primär In welche Art von Tier verwandelt sich Gregor Samsa?
|
||
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
|
||
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
|
||
Rang – sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
|
||
Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
|
||
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
|
||
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
|
||
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
|
||
|
||
7 Frage(n) ohne Treffer unter den ersten 20.
|
||
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
|
||
Ist das Dokument überhaupt im Index (rag.list_documents())?
|
||
|
||
Bericht gespeichert: eval/kafka_human_pypdf_dense_rerank.txt
|