Add Docling corpus pipeline, retrieval evaluation and hybrid search with reranking

- prepare_corpus.py: split double-page scans (split_spreads.py), re-OCR with
  OCRmyPDF/Tesseract only where the existing text layer is worse, Docling
  layout extraction with heading hierarchy, QA report per PDF
- docling_loader.py: cleanup (margin noise, split paragraphs, footnote marks,
  OCR comma/period repair), page mapping back to the original PDF, chunk
  headers with author, title and section
- local_rag.py: bge-m3 embeddings, configurable chunking and loader, index
  settings check (index_info.json), hybrid/union BM25 search with Reciprocal
  Rank Fusion and bge-reranker-v2-m3 cross-encoder; query instruction text
  removed after it lowered recall
- eval_retrieval.py: CLI options, same retrieval path as the chat, tolerant
  file name matching; goldsets and evaluation reports for the Kafka corpus
- grobid_test.py, grobid_qa.py, extract_docling.py, compare_extractors.py:
  extractor tests and quality checks
- .gitignore: corpus PDFs, vector stores and extractor output stay local
- server.py: uses ./vectorstore_docling_hdr

Co-Authored-By: Claude Opus 5.5 <noreply@anthropic.com>

eval/goldset_kafka.csv

@@ -0,0 +1,44 @@
+"frage","korpus","erwartete_quelle","erwartete_seite","anmerkung"
+"Welche Funktion hat das In-Ohnmacht-Fallen der Mutter in der Verwandlung, und auf welchen Dichter wird dabei verwiesen?","sekundaer","Abraham,_Ulf_FRANZ KAFKA_ DIE VERWANDLUNG von ULF ABRAHAM.pdf","29","Kleist; signalisiert Begrenztheit der Figur"
+"Wo konnte man nach Kittler und Neumann sehen, wie einer einen lebenden Ochsen frisst?","sekundaer","Bauer-Wabnegg,_Walter_MonsterUndMaschinenArtistenUndTechnikInFranzKafkasWerk.pdf","18","im Kino; Bezug auf E 157"
+"Wie wird im Kommentar die nachlassende Sehkraft Gregors mythologisch gedeutet?","sekundaer","Beicken,_Peter_FranzKafka.DieVerwandlung_ErlaeuterungenUndDokumente.pdf","18","Sophokles, ödipales Inzestmotiv und Blindheit"
+"Warum ist der Umschlag in die zweite Person in der Erzählung Heimkehr nur eine scheinbare Ausnahme?","sekundaer","Beissner,_Friedrich_KafkasDarstellungDesTraumhftenInnerenLebens.pdf","8","Selbstanrede in einem Monolog"
+"Was bedeutet das Sonnenlicht, in dem Karl Roßmann bei der Ankunft in New York die Freiheitsstatue sieht?","sekundaer","Beutner,_Barbara_DieBildspracheFranzKafkas.pdf","50","Freiheit verbunden mit Licht und Leben, Wunsch und Hoffnung Karls"
+"Ahmt das Naturbild im Amerika-Roman die Welt nach oder legt es sie aus?","sekundaer","Bezzel,_Christoph_NaturBeiKafka_StudienZurAesthetikDesPoetischenZeichens.pdf","4","Naturbild ist Zeichen, das Werk legt Welt aus"
+"Welcher dreistufige Ablauf zeigt sich im Motiv des Kopfhebens, als Gregor aus dem Bett zu kommen versucht?","sekundaer","Binder,_Hartmut_ErzaehlstrategieInKafkasVerwandlung.pdf","8","Angst, Korrekturversuch, Misslingen"
+"Welche Käferart nennt Kafka selbst für Gregor, und wie bezeichnet ihn die Bedienerin?","sekundaer","Binder,_Hartmut_Kafka-Komentar_DieVerwandlung.pdf","5","Schwarzkäfer (T 325), Mistkäfer"
+"Wie lässt sich das Kreisen der Krähen um den Schlossturm als Vorwegnahme des Romanverlaufs deuten?","sekundaer","Binder,_Hartmut_KafkaHandbuch_Band2_AText_BAesthetik.pdf","83","Kreisbahnen K.s um das Schloss; Strukturparallele"
+"Welche Ausgangskonstellation erweist sich in der Verwandlung im Erzählverlauf als nicht tragfähig?","sekundaer","Binder,_Hartmut_KafkaHandbuch_Band2_CDieEinzelenenWerke.pdf","24","Solidarität zwischen den Geschwistern"
+"Aus welcher Sprache könnte die Wendung aus unruhigen Träumen erwachen im ersten Satz der Verwandlung stammen?","sekundaer","Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel3.pdf","32","Tschechisch; auch Thomas Mann, Tod in Venedig"
+"Wie beurteilt Binder Corngolds Deutung der Verwandlung als Geschichte einer verwandelten Metapher?","sekundaer","Binder,_Hartmut_Kafkas_Verwandlung_EntstehungDeutungWirkung_Kapitel4.pdf","35","nicht verifizierbare Spekulation, Voraussetzungen irrig"
+"Warum bestreitet Kudszus den abschließenden Charakter des Schlusskapitels im Prozess?","sekundaer","Binder,_Hartmut_MotivUndGestaltungBeiFranzKafka_Darstellung_DieVerwandlung.pdf","9","Ferne der Helden vom Ziel; Schloss als Fragment stimmiger"
+"Welche sprichwörtliche Redensart verwendet Kafka im Gespräch zwischen K. und dem Fabrikanten, und wo wird ihr Vorstellungsbereich entfaltet?","sekundaer","Binder,_Hartmut_RedensartenUndRedewendungenBeiKafka.pdf","12","sein Kreuz tragen; Dom-Kapitel"
+"Wie reagiert Clara in Hoffmanns Sandmann auf Nathanaels Brief über Coppelius?","sekundaer","DeRentis,_Dina_Neudefinition des Unheimlichen.pdf","35","tief erschüttert, Coppola verfolgt sie bis in den Schlaf"
+"Welche Quellen Kafkas zum Roman Der Verschollene erwähnt die Kritische Kafka-Ausgabe nicht?","sekundaer","Dirksen,_Jens_KafkaWowertlich_ZurKritischenAusgabeDerSchriftenTagebuecherBriefe.pdf","8","Holitscher, Soukup"
+"Wie reagieren der Prokurist und die Mutter auf Gregors angebliches Unwohlsein?","sekundaer","Eschweiler,_Christian_KafkasErzaehlungenUndIhr VerborgenerHintergrund.pdf","12","Unwohlsein aus geschäftlichen Rücksichten überwinden; nichts im Kopf als das Geschäft"
+"In welche Bereiche wird die Wirklichkeit in der Verwandlung differenziert, sodass die Alltagswelt wie eine Art Traum erscheint?","sekundaer","Fiechter,_HansPaul_KafkasFiktionalerRaum.pdf","10","Traum-Welt, Wach-Welt, Käfer-Körper"
+"Welche gesellschaftlichen Haltungen entlarvt Kafka in den Reflexionen seiner Hundefigur?","sekundaer","Fingerhut,_Karl-Heinz_DieFuktionDerTierfigurenImWerkeFranzKafkas.pdf","93","Forschungen eines Hundes; Wer Speise hat, behält sie"
+"Welches modale Hilfsverb steht in Kafkas Romanen an der Spitze der Häufigkeitsrangliste, und welches fehlt in den Textproben?","sekundaer","Gerhardt,_Marlis_DieSpracheKafkas_EineSemiotischeUntersuchung.pdf","22","können vorn, dürfen nicht nachweisbar; Textschicht stark beschädigt"
+"Wie verändert sich die Figur der Mutter im Verlauf der Verwandlung?","sekundaer","Grosse,_Wilhelm_FranzKafka_DieVerwandlung_Lektuereschluessel.pdf","13","hilflos, dann Beschützerin, dann schläfrige Hilflosigkeit"
+"Wie unterscheiden sich ästhetische Texte von Pamphlet, Werbung oder Predigt im Umgang mit Werten?","sekundaer","HartNibbrig,_CriatsiaanL_JaUndNein_StudienZurKonstitutionVonnWertgefuegenInTexten.pdf","9","handlungstheoretische statt werttheoretische Begründung"
+"Welcher Tagebucheintrag belegt, dass die Irrealisierung in Beschreibung eines Kampfes einer Traumarbeit entspringt?","sekundaer","Harzer,_Friedemann_Erzählte Verwandlung.pdf","65","9. November 1911, Theaterphantasie am Altstädter Ring; Standbild Karls IV."
+"Wie wird Gregor nach seinem Tod von der Bedienerin bezeichnet, und was bedeutet das für die Ordnung des Gewöhnlichen?","sekundaer","Hasselblatt,_Dieter_Zauber und Logik_Eine Kafka-Studie. .pdf","8","das Zeug; Gewöhnliches kommt in Ordnung"
+"Welches Buch von Schopenhauer empfahl Kafka Gustav Janouch, und womit begründete er die Lektüre?","sekundaer","Heintz,_Guenter_FranzKafka_SprachreflexionAlsDichterischeEinbildungskraft.pdf","22","Über Sprache und Worte; wegen der Sprache lesen; Textschicht stark beschädigt"
+"Welches immer wiederkehrende Schema bestimmt nach Hillmann den Aufbau von Kafkas Geschichten?","sekundaer","Hillmann,_Heinz_FranzKafka_DichtungstheorieUndDichtungsgestalt.pdf","34","Einbruch und Verdrängung; Es ist nichts"
+"Wie reagiert die Schwester, als sie Gregor am ersten Morgen nicht gleich in seinem Zimmer findet?","primaer","Kafka_Die_Verwandlung_.pdf","13","schlägt die Tür zu, kommt auf Fußspitzen zurück; Milchnapf"
+"Wie erlebt Gregor den Vater, als er ihn nach längerer Zeit in Uniform wiedersieht?","primaer","Kafka_Die_Verwandlung_.pdf","21","war das noch der Vater?; früher müde im Schlafrock"
+"Mit welchen Worten ruft die Bedienerin Gregor zu sich, und wie droht sie ihm?","primaer","Kafka_Die_Verwandlung_.pdf","25","alter Mistkäfer; hebt einen Stuhl"
+"Welches Gegenbild bildet der Dicke zum Ich-Erzähler in Beschreibung eines Kampfes?","sekundaer","Kittler,_Wolf_BriefOderBlick_DieSchreibsitutationDerFruehenTexteVonFranzKafka.pdf","4","Stange in baumelnder Bewegung; gelber Schädel"
+"Was steht auf der kleinen Säule am Dorfausgang, von der in Kafkas Text über den Kaiser die Rede ist?","sekundaer","Kittler,_Wolf_Neumann,_Gerhard_KafkasDruckeZuLebzeiten.pdf","17","der heilige Drache, Atem in Richtung Peking"
+"Welche Figur im Verschollenen hat den gleichen Beruf wie Kafkas spätere Verlobte Felice Bauer?","sekundaer","Kittler,_Wolf_SchreibmaschineSprechmaschinen_EffekteTechnischerMedienImWerkFranzkafkas.pdf","18","Therese, Schreibmaschinistin"
+"Wie verhält sich bei Kafka der Anspruch der Aufgabe zum Ungenügen des Menschen?","sekundaer","Klatt,_Reinhard_BildUndStrukturInDerDichtungFranzKafka.pdf","28","Dasein als Verpflichtung zur Tat, niemals abbrechender Kampf"
+"Welche Chiffren einer fetischisierten Lust kehren in Kafkas Texten immer wieder?","sekundaer","Kremer,_Detlef_Kafka_DieErtotikDesSchreibens.pdf","6","Pelzwerk, Peitschen, Stiefel, rosa Wunde"
+"Was bedeutet Larve nach Grimms Wörterbuch, und wie bezieht Krock das auf Gregor?","sekundaer","Krock,_Marianne_FranzKafkaVerwandlung_DeutungNachBrehmsThierleben.pdf","4","Gespenst, Schreckgestalt; unerlöste Seele, Vorhölle"
+"Wofür steht die Uhrkette in der Tagebuchskizze über den Gast mit der Uhrkette?","sekundaer","Krock,_Marianne_Oberflaechen-UndTiefenschichtImWerkeKafkas.pdf","27","Himmelskette"
+"Worauf verweisen die eckigen Schultern des Beters nach Lehmann?","sekundaer","Lehmann,_Hans-Thies_DerBuchstaeblicheKoerper_ZurSelbstinszenierungDerLiteraturBeiFranzKafka.pdf","12","Ecken des Papiers, Buch im Auslagefenster"
+"Welche Deutungen der Verwandlung werden im Exkurs über ihren Gleichnischarakter erwogen?","sekundaer","Matz,_Wolfgang_DerSchlafDerVernunftGebiertUngeheuer_MotiveZuEinerLektuereVonKafkasVerwandlung.pdf","3","Entfremdung, La belle et la bête, Kastration"
+"Welche Konjunktion wird fälschlich als Merkmal des Prager Deutsch gewertet, und welche verwendet Julie Kafka parallel dazu?","sekundaer","Nekula,_Marek_FranzKafkasSprachen.pdf","42","trotzdem im Sinne von obwohl; obzwar"
+"Welche Verwandlungsgeschichte nennt Neumann als beispielhaft, und was versucht Kafka darin?","sekundaer","Neumann,_Gerhard_FranzKafka_DerNameDieSpracheUndDieOrdnungDerDinge.pdf","8","Affe Rotpeter; Selbsterschaffung des Menschen"
+"Wofür steht der Name des Bürgermeisters Salvatore im Jäger Gracchus?","sekundaer","Rajec,_Elizabeth_NamenUndIhreBedeutungenImWerkFranzKafkas-EinInterpretatorischerVersuch.pdf","20","Erlöser, Retter, Heiland"
+"Wie wird das Naturerleben in Kafkas frühen Prosastücken wie Zerstreutes Hinausschaun dargestellt?","sekundaer","Richter,_Helmut_FranzKafka_WerkUndEntwurf.pdf","32","kein Naturbild, Distanzhaltung des Außenseiters"
+"Wie bezeichnete Kafka nach Nekula sein eigenes Deutsch, und woran orientierte sich die Prager Oberschicht sprachlich?","sekundaer","Trost,_Igor_Erzählen und Besprechen.pdf","3","Prager Deutsch mit Blick auf die Aussprache; deutsche Hochsprache, Abgrenzung von Kuchelböhmisch"