Logroboter
IT-Koordinator
Franta Bendl, DJ0ZY
Am Anger 12
85598 Baldham
dj0zy@darc.de
Logroboter
Der Logroboter des DARC-Referats für DX und HF-Funksport nimmt den Contestmanagern des Referats viel Arbeit bei den per E-Mail eingehenden Contestlogs ab.
Das Referat stellt auch anderen DARC-Gliederungen den Logroboter zur Verfügung, Anfragen dazu bitte an den IT-Koordinator.
Funktionsumfang
- sortiert Viren und Spam aus (ohne Löschen)
- prüft das einzelne Log auf maschinell erkennbare Fehler (ohne Vergleich mit anderen Logs)
- schickt dem Absender eine Eingangsbestätigung mit Prüfbericht
- erkennt automatisch das Rufzeichen, fasst mehrere E-Mails von demselben Rufzeichen zusammen
- generiert die Logeingangsliste im Web
- Webschnittstelle für Contestmanager, um nicht automatisch erkannte Logs zuzuordnen und Daten manuell einzutragen
- Claimed-Score-Liste mit den Punktzahlen aus den Logs
- Soapbox (= Kommentare) im Web, sowohl automatisch aus den Logs, als auch per Webformular
- Hochlademöglichkeit für die Endergebnisse
- Endergebnisliste
- passwortgeschütze UBN-Dateien (Fehlerberichte nach Auswertung)
- bei Contesten des DX- und HF-Funksportreferats auch Übernahme in die Contest-Ergebnis-Datenbank mit Urkundendruck
Die eigentliche Auswertung, also bei jedem QSO die Logs der beiden QSO-Partner zu vergleichen, muss der Contestmanager selbst bzw. mit einer sonstigen Software machen.
Bei der Punktzahl, QSO-Zahl und Multizahl unterstützt der Logroboter bisher nur eine Gesamtzahl; Einzelauswertungen pro Band sind zwar geplant, für die Fertigstellung der Programmierarbeiten gibt es jedoch noch keinen Termin.
Mit anderen Worten: Bei Contesten, bei denen für dasselbe Rufzeichen Logs in mehreren Teilnehmeklassen eingereicht werden, unterstützt der Logroboter nur bei der Sortierung nach Rufzeichen, nicht bei der Sortierung nach Klasse; es sei denn, man richtet je Klasse einen eigenen Roboter mit separater E-Mail-Adresse ein.
Der Logroboter kann automatisch nur Logs im Format STF oder Cabrillo verarbeiten, der Contestmanager kann aber die manuell QSO-Zahlen in die Claimed-Score-Liste eintragen, wenn bei ihm Logs in sonstigen Formaten oder auf Papier eingehen.
Um Logbuchautoren die Arbeit zu vereinfachen, akzeptiert der Logroboter alle Contestnamen und Kategoriebezeichnungen von Cabrillo auch in STF und umgekehrt.
Anleitung zum Logroboter
Hier entsteht nach und nach eine Anleitung für Contestmanager, die den vom Referat für DX und HF-Funksport betriebenen Logroboter nutzen.
Hingegen ist das Administrationshandbuch des Logroboters für die Administratoren des DXHF-Servers im Versionskontrollsystem unter site_perl/logrobot.txt.
Zeitplanung
Der Contestmanager sollte spätestens eine Woche vor dem Contest den IT-Koordinator bitten, den Logroboter für das neue Jahr zu konfigurieren und den Logroboter einzuschalten. Der Contestmanager sollte eine E-Mail mit einem Testlog schicken und kontrollieren, dass die E-Mail-Adresse des Logroboter angeschaltet ist und er korrekte Antworten liefert. Außerdem sollte er in der Logroboterantwort alle Links ausprobieren und Jahreszahlen überprüfen, da lauern erfahrungsgemäß Fehler.
Der Logroboter bleibt dann angeschaltet, die paar Spams in der Woche vor dem Contest lassen sich schnell löschen. Spätestes ab Start des Contests sollte der Logroboter laufen, damit Teilnehmer, die nur am Anfang ein paar Punkte verteilen, ihr Log sofort schicken können. Sollte er ab Conteststart noch nicht laufen, bitte umgehend den IT-Koordinator auch telefonisch informieren.
Nach Ende des Einsendeschlusses sollte der Contestmanager den IT-Koordinator bitten, die E-Mail-Adresse des Logroboters abzuschalten. E-Mails gehen dann an den Absender zurück mit der Meldung: „550 <fdssb@dxhf.darc.de>: Recipient address rejected: User unknown (recipient_access)“.
Spamfilter
Der zentrale Virenfilter des Servers www.dxhf.darc.de sortiert E-Mails mit Viren oder.exe-Anhängen aus. Diese E-Mails werden zentral gespeichert. Nur Serveradministratoren können über das Log des E-Mail-Servers /var/log/mail und mit Blick in die aussortierten /data/amavis/virusmails/ eventuelle falsch wegsortierte E-Mails finden. Dazu sind Datum und Uhrzeit der E-Mail hilfreich.
E-Mails, die als Spam klassifiziert werden, landen in der Datei caughtspam. E-Mails, die als automatische Antwort klassifiziert werden, oder eine falsche Absender- oder Empfängeradresse tragen, landen in der Datei undelivMail. Von allen anderen kommt in die Datei alleLogs eine Sicherheitskopie, der Logroboter legt ein zzz-Verzeichnis an und bearbeitet die E-Mail inhaltlich.
Die Dateien caughtspam, undelivMail und alleLogs liegen im Verzeichnis des entsprechenden Jahres. Zumindest caughtspam und undelivMail sind für den Contestmanager per Web über das Verzeichnis /admin/ lesbar. Allerdings sollte der Administrator, der den Logroboter abschaltet, diese beiden Dateien nach eventuell falsch aussortierten E-Mails durchsuchen.
Der Contestmanager kann Spam, der nicht automatisch erkannt wurde, manuell aussortieren. Er landet dann im per Web aufrufbaren Verzeichnis admin/(jahr)/trash/.
E-Mail einem Rufzeichen zuordnen
Erkennt der Logroboter das Rufzeichen, ordnet er die E-Mail diesem Rufzeichen zu. So sind alle E-Mails, die zu einem Rufzeichen eingehen, in einem Verzeichnis zusammengefasst. Das gilt auch für Logs, die Qualitätsmängel haben.
Der Contestmanager kann nicht zugeordnete E-Mails und falsch zugeordnete E-Mails (z.B. Roboterfehler oder falsche Rufzeichenangabe im Log) manuell einem Rufzeichen zuordnen.
Das letzte zugeordnete Log wird für die Auswertung verwendet.
E-Mail-Adressen
Über „Ändern/Neu“ kann sich der Contestmanager zu einem Rufzeichen alle zugeordneten E-Mails auflisten lassen. Dort sind auch die jeweiligen E-Mail-Adressen des Absenders aufgeführt. Kamen zu einem Rufzeichen mehrere Logs von unterschiedlichen E-Mail-Adressen, werden alle angeschrieben, wenn der Contestmanager allen Teilnehmern mit „Mail an alle“ etwas mitteilen will.
DXCC-Entity, WAE-Land
Beim Start des Logroboters spielt der Administrator auch die aktuelle cty.dat ein, sodass der Logroboter automatisch jedem Rufzeichen das richtige DXCC-Entity bzw. WAE-Land zuordnen kann. Der Contestmanager kann dies nachträglich korrigieren.
Logs hochladen
Der Contestmanager kann Logs hochladen, ohne sie durch den Logroboter zu schicken. Das geht über Push auf der Ampelseite im Adminbereich. Ggf. muss er vorher das Rufzeichen neu anlegen. Nützlich ist das, wenn er ein Log in ein für die Auswertung benötigtes Format umgewandelt hat; die Ampel zeigt Grün, wenn zu dem letzten für das Rufzeichen eingegangenen Log ein umgewandeltes hochgeladen wurde.
Contestdatenbank, Urkunden, Clubmeisterschaft, Kurzwellenpokal
Der Logroboter speichert immer nur die Ergebnisse des aktuellen Jahrs. Deshalb gibt es die DARC-Ergebnisdatenbank. Jederzeit können die eingereichten Punkte (Claimed Scores/Raw Scores) und die Endergebnisse (Final Scores) in die Ergebnisdatenbank übertragen werden. Diese Übernahme kann ein Logroboteradministrator, die Clubmeisterschaftsverantwortliche und der Kurzwellenpokalverantwortliche manuell anstoßen, es geht also nicht automatisch.
Urkunden sind dann automatisch in der Ergebnisdatenbank abrufbar, wenn es sich um Endergebnisse handelt und ein Urkundenbild hinterlegt ist. Der Contestmanager muss einen Webmaster informieren, dass er in der Urkundenseite des Contests das neue Jahr einbauen soll.
Vorläufige Endergebnisse: Einige Contestmanager veröffentlichen die Endergebnisse mit dem Logroboter für einige Tage mit dem Kommentar „vorläufige Endergebnisse“, und bitten die Teilnehmer, eventuelle grobe Fehler zu melden; erst danach sind es die endgültigen Endergebnisse, und dann lassen sie sie in die Ergebnisdatenbank übertragen und die Urkunden sind abrufbar.
Clubmeisterschaft, Kurzwellenpokal
Zählt der Contest zur Clubmeisterschaft oder zum Kurzwellenpokal, werden beim Einspeisen in die Ergebnisdatenbank automatisch neue Zwischenstände berechnet. Das gilt sogar schon für eingereichte Punkte (Claimed Scores).
Ein Sonder-DOK muss bei Contesten, die zur Clubmeisterschaft zählen, in der Ergebnisliste angegeben sein, damit die Clubmeisterschaft richtig berechnet und keine Warnung wegen falschen DOKs ausgegeben wird. Das gilt auch für CMxx des amtierenden Clubmeisters.
Für die Clubmeisterschaft und den Kurzwellenpokal werden ausschließlich die offiziellen Ergebnislisten der jeweiligen Conteste verwendet, Änderungswünsche (z.B. Operator, DOK bei VFDB/DARC-Doppelmitgliedschaft) müssen deshalb immer über den jeweiligen Contestauswerter gehen. Das ist für die Clubmeisterschaft in 4.1 und für den Kurzwellenpokal in „Auswertung 2.“ der Ausschreibung vorgeschrieben.
Passwort für UBN-Datei nochmals zusenden
Wenn der Teilnehmer sein Passwort nochmals zugesandt haben möchte, um die UBN-Datei abzurufen, kann der Contestmanager das wie folgt machen:
Auf der öffentlichen UBN-Seite auf das Rufzeichen klicken, um die zzz-Nummer herauszufinden. Dann im internen Verzeichnis admin/<jahr>/eingang/zzzXXXXX die Datei sourceMail.reply aufrufen, die alle Angaben enthält.
Falls der Logroboter noch mit den Daten des betreffenden Jahres läuft, geht es schneller: Der Contestmanager kann über "Ändern/Neu" das Rufzeichen aufrufen und unten direkt auf das zzz-Verzeichnis klicken.
Wenn der Contestmanager nur die UBN-Datei verschicken will, kann er sie direkt in admin/<jahr>/ubn/ abrufen.
Ergebnisse archivieren
Die Ergebnislisten sowie die Seite mit den Kommentaren (Soapbox) stehen immer nur für das aktuelle Jahr zur Verfügung. Denn wird der Logroboter für das nächste Jahr initialisiert, sind diese Daten weg, deshalb müssen sie vorher archiviert werden, indem sie auf eine andere Webseite kopiert werden, z.B. in eine Typo3-Seite.
Neuerungen beim Logroboter
Dies sind die letzten wesentlichen Neuerungen beim Logroboter.
Log-Upload WAG
2014-10-18: Erste Fassung eines Loguploads beim WAG.
WAEDC-Clubwertung
2014-02-28: Berechnung und Anzeige der Clubwertung (Europa und DX) beim WAEDC.
DOK bei entryloglst.cgi (XCHK)
2013-11-01: Deutschlanderkennung bei DL/... korrigiert. DOK (myinfo) wird nun aus den QSO-Zeilen der gewandelten Logs genommen, wenn es der Ausbildungscontest, der WAG, der 10-m- oder der Weihnachtscontest ist.
rx_n-Verzeichnisse nach Zeit/Datum sortiert
2013-10-23: Die rx_n-Verzeichnisse eines Rufzeichens werden nun nicht mehr nach Zeit/Datum der Zuordnung sortiert, sondern nach Eingang der E-Mail. Schickt ein Teilnehmer z.B. zuerst eine ADIF-Datei, später eine STF-Datei, wurde bisher die STF-Datei automatisch unter rx_1 angelegt, die spätere manuelle Zuordnung der ADIF-Datei durch den Auswerter hingegen rx_2. Mit der Änderung wird rx_1 nach rx_2 verschoben und die ADIF-Datei erhält rx_1. Dadurch ist immer im höchsten rx-Verzeichnis auch die letzte eingegangene E-Mail. Bestehende falsche Reihenfolgen hingegen bleiben wie sie sind.
Leerzeichen im Club
2013-10-22: Überflüssige Leerzeichen im Contestclub (Schlüsselwort Club) werden nun auch innerhalb (Doppelleerzeichen) und nicht nur am Anfang und Ende automatisch gelöscht, was die Zusammenführung beim WAEDC beschleunigt.
24-HOURS beim WAEDC
2013-09-17: Nicht mehr bei 24-HOURS, sondern bei 48-HOURS (in Category oder CategoryTime) geht der WAEDC-Logroboter jetzt von Multi-Op-Betrieb aus und setzt die Kategorie entsprechend.
Keine SWL-Klasse mehr beim WAEDC
2013-09-14: Ab jetzt sortiert der WAEDC-Logroboter SWL-Logs wegen der abgeschafften SWL-Klasse als Checklogs ein.
Callsignarea aus Location-ARRL-Section (WAEDC)
2013-09-13: Bei USA-Stationen beim WAEDC ist die Callsign-Area des Standorts erforderlich. Falls unbekannt, wird die Station ab sofort erstmal K zugeordnet, der Auswerter muss manuell nachforschen. Ist jedoch im Feld Location die ARRL-Section angegeben, dann wird ab sofort automatisch daraus die Callsign-Area des Standorts ermittelt.
Clubadmin beim WAEDC
2013-09-11: Zur schnellen Bearbeitung und Vereinheitlichung der Bezeichnungen der Contestclubs (Feld Club) gibt es jetzt Clubadmin, aufrufbar über „Clubs“ im linken Menü der WAEDC-Administrationsoberfläche.
Club mindestens 5 Zeichen (WAEDC)
2013-09-10: Beim WAEDC gibt der Logroboter eine Warnung aus, wenn der Contestclub (Feld Club) kürzer als 5 Zeichen lang ist, da Abkürzungen oft mehrdeutig sind.
Saar-Contest
2013-07-19: Der Logroboter unterstützt jetzt auch den Saar-Contest.
neue Digitalklasse (DARC-Party)
2013-06-07: Bei den DARC-Partys (Februar-Party und Funkertag im Juni) unterstützt der Logroboter jetzt die neue Digitalklasse.
Betreffzeile dekodieren, mail.ru-Problem
2013-04-19: Der Logroboter dekodiert jetzt die Betreffzeile, bevor er darin nach dem Rufzeichen sucht. Das war insbesondere mit MIME64-kodierten Betreffzeilen von mail.ru ein Problem.
Claimed Score bei Cabrillo
2013-04-06: Ab sofort wird auch bei Cabrillo-Logs der Claimed Score in der Logroboterantwort aufgeführt.
Location: DX – kein Sonder-DOK DX
2013-04-05: Bei „Location: DX“ nimmt der Logroboter das nur noch dann als Sonder-DOK DX, wenn das Log von DK0DX ist.
Bei Cabrillo nicht auf Claimed Scores
2013-02-06: Bei Cabrillo-Logs gibt der Logroboter keine Hinweise mehr auf Claimed Score/QSO/Mult, da die Cabrillo-Spezifikation solche Angaben nicht vorsieht.