Add build and evaluation logs
Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>
This commit is contained in:
Claude Opus 5.5
@@ -0,0 +1,104 @@
|
||||
Warning: You are sending unauthenticated requests to the HF Hub. Please set a HF_TOKEN to enable higher rate limits and faster downloads.
|
||||
Lese Referenzfragen aus eval/goldset_kafka_human.csv ...
|
||||
30 Frage(n) geladen.
|
||||
|
||||
Loading embeddings model...
|
||||
␍Loading weights: 0%| | 0/391 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 391/391 [00:00<00:00, 40251.65it/s]
|
||||
Text splitter: chunk_size=1500, chunk_overlap=300
|
||||
Using Ollama (model: gpt-oss:20b)...
|
||||
Loaded existing vector store from ./vectorstore_pypdf_hdr
|
||||
|
||||
Stelle 30 Frage(n) an den Vektorspeicher ...
|
||||
Loading reranker BAAI/bge-reranker-v2-m3...
|
||||
␍Loading weights: 0%| | 0/393 [00:00<?, ?it/s]␍Loading weights: 100%|██████████| 393/393 [00:00<00:00, 7385.26it/s]
|
||||
[1/30] Rang 1 Wie stand Kafkas Familie seiner literarischen Tätigkeit nach
|
||||
[2/30] nicht gefunden Was sagen die Aussagen seines Vorgesetzten über Gregors beru
|
||||
[3/30] nicht gefunden Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen
|
||||
[4/30] Rang 1 In welchem Band von Jacob Burckhardts Griechischer Kulturges
|
||||
[5/30] Rang 3 Was kann man zu Formen der Gestik und Mimik in Kafkas Werken
|
||||
[6/30] Rang 5 Was kann man zu Bildformen in Kafkas Werken sagen?
|
||||
[7/30] Rang 11 Wie können die drei Untermieter der Familie Kafka aus einer
|
||||
[8/30] Rang 1 In welchem Zusammenhang stehen körperlicher Ekel und Selbstd
|
||||
[9/30] Rang 3 Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeu
|
||||
[10/30] Rang 1 Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||||
[11/30] Rang 2 Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||||
[12/30] Rang 1 Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||||
[13/30] Rang 3 Sprach Kafka Tschechisch?
|
||||
[14/30] Rang 1 Wie heißen die beiden Nichten von Kafka?
|
||||
[15/30] Rang 1 Welche Sprache spricht Kafka mit seinen Nichten?
|
||||
[16/30] Rang 1 Inwiefern sind die Namen Kafka und Samsa aufeinander abgesti
|
||||
[17/30] Rang 1 Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||||
[18/30] Rang 1 Welche Art von Laden führte Kafkas Vater?
|
||||
[19/30] Rang 1 Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||||
[20/30] Rang 1 Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hin
|
||||
[21/30] Rang 1 Wie interpretiert Emrich das Besondere an der Kafkaschen For
|
||||
[22/30] Rang 2 In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwa
|
||||
[23/30] Rang 2 Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne verö
|
||||
[24/30] nicht gefunden Welche Art von Helden in einer Gesellschaft zeichnet Kafka i
|
||||
[25/30] Rang 1 Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||||
[26/30] Rang 1 Welche Erzählung von Franz Kafka ist der Gattung der Großsta
|
||||
[27/30] nicht gefunden Wer ist der Protagonist von "Die Verwandlung"?
|
||||
[28/30] Rang 9 In welche Art von Tier verwandelt sich Gregor Samsa?
|
||||
[29/30] nicht gefunden Unter welchen Umständen wird Gregor am Ende der Erzählung vo
|
||||
[30/30] nicht gefunden Wie verändert sich Gregors Verhältnis zu seiner Familie im V
|
||||
|
||||
====================================================================
|
||||
Retrieval-Auswertung — 2026-10-07 15:55
|
||||
====================================================================
|
||||
|
||||
Konfiguration
|
||||
Vektorspeicher ./vectorstore_pypdf_hdr
|
||||
Embedding-Modell BAAI/bge-m3
|
||||
Chunk-Größe 1500 (Overlap 300)
|
||||
Query-Zusatztext aus
|
||||
Suche hybrid, Reranker BAAI/bge-reranker-v2-m3
|
||||
Seitentoleranz ±1
|
||||
Fragen 30
|
||||
|
||||
Ergebnis
|
||||
Recall@5 0.73 (22 von 30)
|
||||
Recall@10 0.77 (23 von 30)
|
||||
Recall@20 0.80 (24 von 30)
|
||||
MRR 0.60
|
||||
|
||||
Nach Korpus
|
||||
primär Recall@5 0.00 MRR 0.03 (4 Fragen)
|
||||
sekundär Recall@5 0.85 MRR 0.68 (26 Fragen)
|
||||
|
||||
Einzelne Fragen (Rang = Position des ersten korrekten Treffers)
|
||||
Rang 1 sekundär Wie stand Kafkas Familie seiner literarischen Tätigkeit nach Kafkas Tod gegenüber?
|
||||
Rang 1 sekundär In welchem Band von Jacob Burckhardts Griechischer Kulturgeschichte gibt es ein eigenes Kapitel über Metamorphosen?
|
||||
Rang 1 sekundär In welchem Zusammenhang stehen körperlicher Ekel und Selbstdemütigung in "Die Verwandlung"?
|
||||
Rang 1 sekundär Was kann als "letzte Sohnespflicht" Gregors gedeutet werden?
|
||||
Rang 1 sekundär Wie erklärt Binder die Etymologie des Familiennamens Kafka?
|
||||
Rang 1 sekundär Wie heißen die beiden Nichten von Kafka?
|
||||
Rang 1 sekundär Welche Sprache spricht Kafka mit seinen Nichten?
|
||||
Rang 1 sekundär Inwiefern sind die Namen Kafka und Samsa aufeinander abgestimmt?
|
||||
Rang 1 sekundär Was bedeutet das tschechische Wort "Kafka" auf Deutsch?
|
||||
Rang 1 sekundär Welche Art von Laden führte Kafkas Vater?
|
||||
Rang 1 sekundär Aus welchem sozialen Milieu stammte Kafkas Vater genau?
|
||||
Rang 1 sekundär Welche Namen vergleicht Ingeborg Bachmann in ihrem Essay hinsichtlich der Namensgebung?
|
||||
Rang 1 sekundär Wie interpretiert Emrich das Besondere an der Kafkaschen Form?
|
||||
Rang 1 sekundär Wie könnte man Kafkas ethischen Rigorismus korrigieren?
|
||||
Rang 1 sekundär Welche Erzählung von Franz Kafka ist der Gattung der Großstadterzählung beziehungsweise Großstadtnovelle zuzuordnen?
|
||||
Rang 2 sekundär Wo erfahren die Eltern die Nachricht von Gregors Tod?
|
||||
Rang 2 sekundär In welchem Band der Reihe "Der jüngste Tag" wurde "Die Verwandlung" veröffentlicht?
|
||||
Rang 2 sekundär Seit wann lag "Die Verwandlung" abgeschlossen vor, ohne veröffentlicht zu sein?
|
||||
Rang 3 sekundär Was kann man zu Formen der Gestik und Mimik in Kafkas Werken sagen?
|
||||
Rang 3 sekundär Wie kann das Bild der eleganten Dame in Gregors Zimmer gedeutet werden?
|
||||
Rang 3 sekundär Sprach Kafka Tschechisch?
|
||||
Rang 5 sekundär Was kann man zu Bildformen in Kafkas Werken sagen?
|
||||
Rang 9 primär In welche Art von Tier verwandelt sich Gregor Samsa?
|
||||
Rang 11 sekundär Wie können die drei Untermieter der Familie Kafka aus einer biblischen Perspektive gedeutet werden?
|
||||
Rang – sekundär Was sagen die Aussagen seines Vorgesetzten über Gregors berufliche Leistung aus?
|
||||
Rang – sekundär Inwiefern steht Gregors Selbstwahrnehmung seiner beruflichen Leistung im Widerspruch zu den Aussagen seines Vorgesetzten?
|
||||
Rang – sekundär Welche Art von Helden in einer Gesellschaft zeichnet Kafka in seinen Geschichten?
|
||||
Rang – primär Wer ist der Protagonist von "Die Verwandlung"?
|
||||
Rang – primär Unter welchen Umständen wird Gregor am Ende der Erzählung von seiner Familie aufgefunden?
|
||||
Rang – primär Wie verändert sich Gregors Verhältnis zu seiner Familie im Verlauf der Erzählung?
|
||||
|
||||
6 Frage(n) ohne Treffer unter den ersten 20.
|
||||
Prüfen: Steht die Fundstelle wirklich dort? Stimmt der Dateiname?
|
||||
Ist das Dokument überhaupt im Index (rag.list_documents())?
|
||||
|
||||
Bericht gespeichert: eval/kafka_human_pypdf_hybrid_rerank.txt
|
||||
Reference in New Issue
Block a user