Benutzer-Werkzeuge

Webseiten-Werkzeuge


ki:sitzungen:2026-11-08_galnet

Dies ist eine alte Version des Dokuments!


Galnet: Abruf, Schema und Test mit 3310

Datum 2026-11-08
KI Claude (claude-opus-5-5)
Status Test 3310 im dev-wiki – wartet auf Olivers Urteil
Vorherige Sitzung 2026-11-08_touristenbaken
Bezug struktur (Schritt 8), 2026-10-26_mehrsprachigkeit (Konzept), galnet, galnet

Ergebnis

  • Neuer Abruf galnet_fetch.py (ersetzt elitearchive_new.py): speichert die rohe API-Antwort pro Sprache und Monat (galnet_raw/<SPRACHE>/<JJJJ-MM>.json), baut index.csv und changes.log. Erneuter Aufruf = monatliches Update (fehlende/gescheiterte Monate + letzte 2 Monate). Sperre gegen Parallelläufe. Liegt bei Oliver unter Wiki-Archiv/scripts/.
  • Bestand (Stand 08.11.): 3563 Artikel. EN 3479 (3301–3312), DE 2204 (3302–Mitte 3304 und ab 3306), dazu ES/FR/PT-BR/RU; EN-US = EN. 3300 liefert die API nicht. Das alte TXT-Archiv hatte 833 Artikel verloren (v. a. 3302).
  • Schema galnet (Import per JSON, zugewiesen galnet:**): date (Date, Echtzeit), date_ingame (Text, TT.MM.JJJJ), picture, frontier_id, url, translation (Frontier/eigene/KI/fehlt), factions, corporations, persons, systems, codex, storyline (Page, mehrfach).
  • Test 3310 (= 2024): 76 Meldungen, 12 Monatsseiten, Jahresseite, galnet, archiv (Tabelle mit Filterzeile). 48 Bilder unter galnet:. 444 Verknüpfungen auf 78 Ziele + 9 Schiffe per related.
  • Abschnitt „Galnet-Meldungen“ (neueste 10) in den Vorlagen persons, factions, corporations, misc, species, system. Sidebar blendet Einzelmeldungen aus.

Entscheidungen

  • Eine Seite pro Meldung: galnet:JJJJ:MM:TT_NN (Echtzeit). _NN nach Frontier-ID aufsteigend – die API liefert Meldungen eines Tages in zufälliger Reihenfolge (alle 00:00 Uhr).
  • Mehrere Schlagwort-Felder statt einem (gefilterte Auswahl beim Eintragen, geordnete Box).
  • Alle Meldungen bekommen eine deutsche Seite. Fehlende übersetzt Claude; Olivers alte Übersetzungen werden nicht blind übernommen, sondern verglichen – die bessere gewinnt, Unterschiede werden aufgelistet.
  • EN-US bleibt im Archiv (Archivgedanke).
  • Handlungsstränge unter stories:storyline:<name> (stories: auch für Romane, Kurzgeschichten, Drew Wagars Geschichtsblog).
  • Systeme immer eintragen, auch ohne Seite (rote Links); ebenso neue Personen/Organisationen.
  • Verschlagworten macht Claude.
  • Erst ein Jahr nur Deutsch; wenn es Oliver gefällt, Rest und andere Sprachen.

Aufbau

  • Meldung:

    , Überschrift, Text als <blockquote> mit <cite>GalNet, TT.MM.JJJJ</cite>, rechts {{structbox>galnet}}. *…* → kursiv, •-Zeilen → Liste. KI-Übersetzung mit Hinweis „ungeprüft“.

  • Monatsseite galnet:JJJJ:MM:start: Monatsreiter + struct-Tabelle %pageid% ~ galnet:JJJJ:MM:*. Jahresseite analog.
  • Bilder: JPG, max. 1920 px, Dateiname = Frontier-Name klein (galnet:newsimage_thargoids3.jpg).
  • Import: Seiten per FTP, Daten per CSV (Mehrfachwerte mit Komma), danach Nachträge mit struct_saveData (immer galnet + relations mitschicken).

Auffälligkeiten

  • DE 25.10.3310: Frontier-Text enthält <Titan8> statt „Cocijo“ – korrigiert.
  • 15.08.3310: zwei Meldungen mit entgegengesetztem Ausgang (Utopia-Kampagne erfolgreich / gescheitert) – beide von Frontier veröffentlicht.
  • Einige DE-Datensätze 3302–3304 sind unübersetzt (englischer Text) → translation = fehlt.
  • 84 Meldungen gibt es nicht auf Englisch (Länder-Meldungen 3302–3304); Vorschlag: Originalsprache + kurze DE-Seite mit Box – offen.

Offene Punkte

  • FIXME Oliver prüft die Darstellung (Box, Monats-/Jahresseite, Archiv mit dynfilters, limit: 10 in den Listen – über die Schnittstelle nicht prüfbar, kein getPageHTML).
  • FIXME Box-Listen bei vielen Treffern (Thargoiden 45, Aegis 33 allein 3310) – siehe ideen.
  • FIXME Rote Links anlegen: Personen (Ram Tah, Jerome Archer, Nakato Kaine, Seo Jin-ae, Isolde Rochester, Maxine Patro, Torben Rademaker), Organisationen (Utopia, Kumo Crew), Konzern Azimuth Biotech, 29 Systeme, 4 Handlungsstränge (thargoid_war, supercruise_overcharge, winters_presidency, herman_colt).
  • FIXME Schiffe als eigenes Feld (ships) statt related?
  • FIXME 3300 und Olivers eigene Übersetzungen aus dem Wiki-Backup; alte Tagesseiten (galnet:2014:09:19).
  • FIXME Monatliches Update per systemd-Timer bei Oliver.

Für die nächste KI

Galnet-Test 3310 steht im dev-wiki. Arbeitsdateien (Skripte, tags_3310.py, CSV) liegen nur in Claudes Sitzung; das Rohmaterial hat Oliver (galnet_raw/). Nächster Schritt hängt an Olivers Urteil über die Darstellung. Danach: weitere Jahre, Übersetzungsvergleich mit Olivers alten Seiten (Backup nötig), andere Sprachen.

Nachtrag 09.11.: Umzug nach news:galnet und alter Rahmen

  • Namensraum jetzt news:galnet: (laut edwiki bündelt news: Galnet, Updates/Patch Notes, ggf. Timeline – war am 08.11. übersehen). Alle IDs oben lesen sich als news:galnet:JJJJ:MM:TT_NN, Bilder news:galnet:<frontiername>.jpg.
  • Umzug: Zuweisung news:galnet:** angelegt, dann Move-Plugin (Seiten + Medien). Daten und Bildfelder sind mitgewandert, eine Ausnahme: bei 2024:10:16_01 blieb das Bildfeld auf dem alten Pfad (von Hand korrigiert) – beim großen Import gleich mit den neuen Pfaden arbeiten. Move ändert keine Filtertexte (%pageid% ~ …) und keine Regex in der Sidebar – beides nachgezogen.
  • Rahmen wie im alten edwiki: Überschrift zentriert,

    , —-, Reiter Aktuelle Galnet News | Übersicht (chronologisch) | Archiv mit Suche, Inhalt in <WRAP center round box 90%>, unten —- +

    .

    • galnet: neueste Meldung komplett (links Text, rechts Bild ?450), wie früher der RSS-Feed. Text steht direkt auf der Seite (include-Plugin ist installiert, würde aber Box und

      der Meldung mit einbinden) – das Update-Skript soll die Seite künftig neu schreiben.

    • overview (früher start2 mit Yearbox): Tabelle Jahr × Monate als Links.
    • Jahres-/Monatsseiten und archiv im selben Rahmen.
  • news: kurze Übersicht (GalNet, Updates folgt).
  • FIXME Alte Zuweisung galnet:** kann Oliver löschen. galnet_fetch.py erzeugt jetzt news:galnet:-IDs (neue Fassung an Oliver).

Nachtrag 09.11.: Bestandsaufnahme altes edwiki.de

  • Backup: data/pages/galnet/ (Tagesseiten 2014–2026, 3457 Meldungen) + data/media/galnet/ (120 Bilder).
  • Abgleich mit Frontier (Datum ±3 Tage, Titel/Text bzw. Eigennamen/Zahlen): 3264 zugeordnet (94 %). Ohne Gegenstück: 56 × 3300 + ca. 130 (v. a. Wochenberichte 3301/3302 – beim jeweiligen Jahr von Hand prüfen). 299 Frontier-Meldungen fehlen im alten Wiki (148 × 3301, 69 × 3312).
  • Ohne Frontier-DE: 1430, davon 1237 mit Olivers Übersetzung → prüfen statt neu übersetzen (Original + Fassung nebeneinander, Fehler korrigieren, Änderungen auflisten). Neu zu übersetzen: ca. 190.
  • Entschieden: Frontier-Bilder/-Infos gehen vor Olivers gewählten Bildern (die nur bei Meldungen ohne Frontier-Bild). Sprachseiten laufen bei jedem Jahr gleich mit. 3300 vorerst nicht übernehmen (Quelle war eine Alpha/Beta-Sammelseite, nicht mehr auffindbar; ohne Quelle unklar, ob sinnvoll) – bleibt im Backup.
  • Nächste Etappe: Import-Skript verallgemeinern (alle Sprachen, Lückenbericht, gemeinsame Namensliste für Schlagwörter, Startseite), erster Lauf 3311 + 3312.

Nachtrag 09.11.: Import-Skript und Paket 3311 + 3312

  • galnet_fetch.py lädt jetzt auch die Bilder (galnet_raw/images/, WebP über image-service.zaonce.net, gleiche Adresse wie Frontiers Seite); –images-only holt nur fehlende.
  • build_galnet.py (Claude): erzeugt pro Jahr DE-Seiten, Sprachseiten (en en-us es fr pt-br ru), Monats-/Jahresseiten, overview, start (neueste Meldung), Bilder (JPG ≤ 1920 px), struct-CSV, related-Nachträge und einen Lückenbericht. DE-Quelle: Frontier-DE → eigene/KI-Übersetzung (translations/<JJJJ>.json) → sonst Original + Eintrag im Bericht. Bild: Frontier → sonst Olivers altes Bild.
  • Schlagwörter je Jahr in tags/<JJJJ>.json (Kürzel-Listen tags_src/), gemeinsame Namensliste names.py für Vorschläge. Liegt alles in Claudes Arbeitsordner – bei Sitzungsende als ZIP an Oliver.
  • Paket 3311 + 3312: 137 Meldungen (alle Frontier-DE), 6 × 137 Sprachseiten, dazu die Sprachseiten für 3310. Neue Handlungsstränge: powerplay, colonisation, hip_87621, distant_worlds_3, lady_zi, colonia_anniversary, wellness_trend. Neue rote Links: Personen Madelyn Teague, Terri Tora, Frank Raddix, Lexi October, Zachary Rackham, Lady Zi; codex:misc:october_consortium (nicht die Codex-„Consortium“!), codex:misc:frontline_solutions; Konzerne Vista Genomics, Vodel, Rackham Capital Investments. Schiffe per related (23 Meldungen).

Nachtrag 09.11. abends: 3311 + 3312 im dev-wiki

  • Import 3311 + 3312 fertig (137 Meldungen + Sprachseiten, Sprachseiten 3310 nachgeholt). CSV-Import nur mit gitbacked aus (sonst Zeitüberschreitung). 23 Schiffs-Verknüpfungen per struct_saveData nachgetragen.
  • Bilder-Fehler behoben: galnet_fetch.py hatte das Base64-Padding (==) der Bildadresse abgeschnitten → 48 Bilder mit 404. Jetzt identisch mit Frontiers Seite, 131 von 132 Bildern geladen. Es fehlt nur NewsImageShipyard (bei Frontier wirklich kaputt, schon damals) → 4 Meldungen 3304/3305 nehmen Olivers altes Bild. Zwei Meldungen 3301 haben in der API den leeren Bildnamen .png → altes Bild. Frontiers Seite zeigt bei fehlendem Bild ein Kampfbanner als Ersatz.
  • Regel im Import-Skript: Frontier-Bild → sonst altes edwiki-Bild → sonst news:galnet:galnet_generic.jpg; steht im Lückenbericht.
  • Arbeitsdateien (Skripte, tags/, tags_src/, match.json) als galnet_werkzeuge.zip bei Oliver – für die nächste Sitzung mitgeben, zusammen mit galnet_raw/.
  • Nächste Jahre (Plan): 3309 → 3306 (Frontier-DE, nur Verschlagwortung), dann 3302–3304, dann 3304 (2. Hälfte)/3305/3301 mit Prüfung von Olivers Übersetzungen.
  • Werkzeuge liegen jetzt im Wiki: werkzeuge – Skripte, Kürzel und Schlagwörter je Jahr als herunterladbare Code-Blöcke, dazu der Ablauf pro Jahr. Nicht im Wiki: match.json (5,7 MB, aus Backup + galnet_raw mit match.py neu erzeugbar) und galnet_raw/ selbst (bei Oliver).

Nachtrag 09.11. spät: edwiki-import.php

  • Neues Server-Skript edwiki-import.php (neben doku.php, nur für Admins), Code und Bedienung: edwiki_import. Ablauf: gitbacked aus → Paket entpacken (pages/, media/) → <schema>_*.csv einlesen → beliebig viele weitere Pakete → Abschließen: Suchindex nur für die eingespielten Seiten → gitbacked an → Link zu edwiki-git-sync.php. Arbeitet in 20-s-Häppchen mit Selbst-Neuladen (kein 504), kann nach Abbruch fortgesetzt werden, Notfall-Knopf schaltet gitbacked wieder an.
  • Pakete per Formular oder (größer als die Upload-Grenze) per FTP nach data/tmp/edwiki-import/eingang/. Zu große Uploads werden jetzt klar gemeldet.
  • CSV führt zusammen statt zu überschreiben: Spalten schema.feld für weitere Schemas (relations.related); Felder/Schemas, die nicht in der CSV stehen, bleiben erhalten. Damit entfallen die struct_saveData-Nachträge – build_galnet.py schreibt related direkt in die CSV und baut galnet_paket_<JJJJ>.zip.
  • Fallstricke, die das Skript abfängt: OPcache hält conf/plugins.local.php einige Sekunden alt (→ opcache_invalidate und Warten, bis gitbacked wirklich nicht mehr geladen ist); in „Mort“ gibt es inc/indexer.php nicht mehr (→ \dokuwiki\Search\Indexer).
  • Im Testwiki geprüft: Paket 3309 (153 Meldungen, 1082 Seiten, 73 Bilder) – CSV in 2 s, Suchindex 1082 Seiten in 24 s, kein einziger gitbacked-Commit während des Imports, gitbacked danach wieder aktiv; Abbruch/Fortsetzen; zweites CSV ohne related lässt related stehen.
  • FIXME Oliver: edwiki-import.php per FTP neben doku.php legen, galnet_paket_3309.zip damit einspielen (enthält auch die aktualisierten Werkzeug-Seiten), danach edwiki-git-sync.php. Alte Zuweisung galnet:** löschen.

Nachtrag 10.11.: 3309 eingespielt (erster Lauf mit edwiki-import.php)

  • Oliver hat 3309 in zwei Teilen eingespielt (Upload-Grenze auf lima-city: 4 MB pro Datei, 10 MB pro Anfrage; Teil 2 per FTP-Eingang). Geprüft: 153 Meldungen mit struct-Daten (151 Frontier, 1 eigene, 1 KI), alle 73 Bilder vorhanden, Sprachseiten da, Volltextsuche findet DE- und Sprachseiten, Übersicht enthält 3309.
  • Fehler im Skript behoben: war gitbacked schon aus, brach das Skript ab (DokuWiki meldet „fehlgeschlagen“, wenn sich nichts ändert). Jetzt wird der Zustand vorher geprüft.
  • build_galnet.py teilt jetzt in Pakete von ca. 3,5 MB.
  • Panne: Die Werkzeug-Startseite im Paket war eine ältere lokale Kopie und hat den Abschnitt „Ergänzungen ab 3309“ überschrieben – wiederhergestellt. Regel: Werkzeug-Seiten vor dem Packen aus dem Wiki holen.
  • FIXME Code-Seiten edwiki_import und build_galnet im Wiki sind eine Fassung zu alt (ohne gitbacked-Prüfung bzw. noch 8 MB statt 3,5 MB) – kommen mit dem Paket 3308. Maßgeblich ist bis dahin die edwiki-import.php auf dem Server.

Nachtrag 10.11. abends: Paket 3308

  • 255 Meldungen, alle mit Frontier-DE und Frontier-Bild (Lückenbericht leer), Sprachseiten in allen 6 Sprachen. 1887 Verknüpfungen, 242 Meldungen mit Handlungsstrang.
  • Neue Handlungsstränge: aegis (Auflösung und Reformversuche), nmla (NMLA, ACT, Lords of Restoration, Entführung Arissas), colonia_bridge, hudson_contravention (Amtszeitverlängerung), marlinist_colonies, kumo_crew_rebellion (Vidar Trask), golconda, red_family, xeno_peace (Dalton Chase, Kingfisher). salvation umfasst Azimuth/Proteus-Welle/HIP 22460; winters_presidency auch Rackhams Kandidatur für 3309.
  • names.py erweitert um wiederkehrende Personen (u. a. Saskia Landau, Nikolas Glass, Morag Halloran, Rachel Ziegler, Maxton Price, Tayo Maikori, Caleb Wycherley, Dalton Chase, Vidar Trask, Anders Blaine, Caspian Leopold, Sima Kalhana; Ingenieure Liz Ryder, Zacariah Nemo), Organisationen (codex:misc:act, nmla, lords_of_restoration, darkwater_inc, marlinist_colonies, red_family, thargoid_advocacy_project, inra) und den Konzern taurus_mining_ventures. Alles rote Links.
  • tag_year.py bereinigt Systemkandidaten aus dem deutschen Text.
  • build_galnet.py: misst die ZIP-Größe beim Schreiben (≤ 3,7 MB), CSV im letzten Teil (braucht die Seiten aus den vorherigen Teilen). Teile der Reihe nach einspielen.
  • Im Testwiki geprüft: 3 Teile nacheinander, 255/255 Meldungen mit Daten, keine gitbacked-Commits.
  • Im Paket (Teil 3) auch die aktuellen Werkzeug-Seiten: start, build_galnet, edwiki_import, common, names, tag_year, y2022, tags_2022 – damit ist der FIXME von oben erledigt.

Nachtrag 10.11. spät: 3308 geprüft, Paket 3307

  • 3308 im dev-wiki geprüft: 255 Meldungen mit Daten, neue Bilder vorhanden, Werkzeug-Seiten aktuell, Volltextsuche findet die Texte.
  • Paket 3307: 273 Meldungen, alle Frontier-DE und Frontier-Bild (Lückenbericht leer), Sprachseiten in 6 Sprachen, 1812 Verknüpfungen, 235 mit Handlungsstrang. Zwei Teile (3,9 / 3,6 MB).
  • Neue Handlungsstränge: galactic_summit, alliance_election_3307, starship_one (Prozess gegen Vincent, Jupiter Rochester, Jupiter Division), lakon_takeover, federal_surveillance (Proactive Detection Bureau, Abspaltungen), winking_cat (inkl. Jokers' Deck und der Rätsel-Meldungen vom Dezember), onionhead_gamma, scriveners_clan, delta_pavonis_conference, adamastor_hesperus.
  • names.py erweitert (u. a. Jupiter Rochester, Lucas Vincent, Brad Mitchell, Niamh Seutonia, Lorcan Scordato, Aaron Whyte, Jenna Fairfax, Milo Castile, Theta Seven, Winking Cat, Astrid Minerva-Duval, Karl Nerva, Imogen le Ray; codex:misc:jupiter_division, nova_imperium, jokers_deck, scriveners_clan, eg_union; Konzern torval_mining auch über „Torval-Mastopolos“).
  • Fehler behoben: „Pilots Federation“ im Fließtext ergab bisher die Fraktion Föderation.
  • Korrektur-CSV: 3308 wurde mit der erweiterten Liste neu verschlagwortet; 14 geänderte Meldungen (v. a. neu erkannte Namen) stecken als galnet_2022_korrektur.csv in Teil 2. Im Testwiki geprüft: Korrektur greift, 273/273 Meldungen 3307 mit Daten, keine gitbacked-Commits.

Nachtrag 10.11. abends: 3307 geprüft, Paket 3306

  • 3307 im dev-wiki geprüft: Daten da, Korrektur-CSV 3308 hat gegriffen (z. B. Karl Nerva jetzt bei 3 Meldungen 3308). Hinweis: struct-Abfragen mit einer Mehrfachspalte lassen Zeilen weg, in denen diese Spalte leer ist (z. B. Jahresrückblicke ohne Handlungsstrang) – das ist kein Datenverlust.
  • 3306 hat nur 74 Meldungen (Januar 2, Juni 1, September–Dezember 71). Olivers altes edwiki hat exakt dieselben – Galnet hatte Februar bis August 3306 eine Pause, keine Lücke im Abruf.
  • Paket 3306: alle Frontier-DE und Frontier-Bild (Lückenbericht leer), 472 Verknüpfungen. Neuer Handlungsstrang coalsack_nebula; sonst nmla, marlinist_colonies, imperial_family (Ermordung Prinz Harolds, Hadrian Duval), starship_one, lakon_takeover, adamastor_hesperus, thargoid_war.
  • names.py + Harold Duval, Rory Webster, Leo Magnus, Naomi Landseer, Cynthia Sideris, Jordan Rochester → Korrektur-CSVs für 3307 (20 Meldungen) und 3308 (6) in Teil 2.
  • Im Testwiki geprüft: 74/74 mit Daten, Korrekturen greifen, keine gitbacked-Commits.
ki/sitzungen/2026-11-08_galnet.1794341119.txt.gz · Zuletzt geändert: von claude