Bitstreamarchivierung für Kitodo

Automatisierte Abgabe und Wiederherstellung der Archivpaket für die Archivierung über die Datensicherung (IBMSpectrum Protect). Ein Archivpaket besteht aus einem Digitalisat und wird als gepacktes Archivpaket (Format: tar) an die Datensicherung zur Archivierung übergeben bzw. aus dem Bitstreamarchiv wiederhergestellt.

Archivierung

Über ein Ingestverzeichnis wird das zu archivierende Digitalisat in einem Verzeichnis von der Fachabteilung eingestellt. Das Verzeichnis wird nach der Signatur des Digitalisat benannt und dem entsprechenden Service (goobi; z.B. goobi_2000037634). In einem Unterordner docs2archive wird von der Fachabteilung die Archivierungsanforderung angelegt. Die Archivierungsanforderung ist eine leere Datei, die wie der Ablageordner mit der Signatur des zu archivierenden Digitalisat und dem entsprechenden Servicenamen benannt und gespeichert wird. Das Hauptscript search4archivejobs.sh sucht in dem Verzeichnis docs2archive nach Archivierungsanforderung und startet bei vorhandener Archiviernungsanforderung das Script docs2archive.sh. Dieses übernimmt die Verarbeitung:

• packt das Digitalisat in ein gepacktes Archivpaket
• startet den Datensicherungsclient und übergibt das Archivpaket. Dabei werden vorhandenen Archivierungsanforderungen sequentiell abgearbeitet. Eine in Abarbeitung befindliche Archivierngsanforderung wird mit einer Tilde vor dem Dateinamen gekennzeichnet.

Wiederherstellung

Die Fachabteilung legt eine Wiederherstellungsanforderung in das Verzeichnis docs2retrieve. Die Wiederherstellungsanforderung ist eine leere Datei mit der Signatur als Dateinamen. Das Hauptscript search4archivejobs.sh sucht in dem Verzeichnis docs2retrieve nach Wiederherstellungsanforderungen und bei Vorhandensein einer Anforderung wird das Script docs2retrieve.sh gestartet. Das Script docs2retrieve.sh startet den Datensicherungsclient zur Wiederherstellung. Das wiederhergestellte Archivpaket wird in den Ordner retrieved entpackt abgelegt und kann dort von der Fachabteilung abgeholt werden.

Aufräumarbeiten

Die im Ingestverzeichnis abgelegten Digitalisate werden über das Script checkarchive2remove.sh gelöscht. Dazu wird durch das Script geprüft, ob die Archivpakete erfolgreich im Bistreamearchiv abgelegt wurden. Ist dies erfolgt, wird im Ingestverzeichnis das Archivpaket gelöscht.

Logging

Alle prozessierten Schritte werden in einer Logdatei /var/log/jobs/archive/$(hostname)archive_processingdate +%Y%m%d.log mitgeschrieben. Diese Logdateien werden nicht gelöscht.

Alle anderen Fehlermeldungen werden in folgedner Logdatei mitgeschrieben: /var/log/server/$(hostname)_date +%Y%m%d.log.

Vorraussetzung

• Datensicherungsclient: ISP-Cient neuste Version
• Access Rechte auf SDVARCHIV Node der Datensicherung
• Anbindung NAS Speicher, Zugriffsrechte für den Server
• Zugang zum Git der SLUB

Start Scripte

search4Archivejobs.sh <Ingestverzeichnis> <tsm_optfile>

docs2archive.sh <Ingestverzeichnis> <Signatur> <tsm_optfile> <archivierungsanforderngsverzeichnis>

docs2retrieve.sh <Ingestverzeichnis> <Signatur> <tsm_optfile>

Installation

Anbindung NAS Speicher an Server

Edit /etc/fstab:

### Kitodo

212.201.62.107:/vol/archivierung_processing_02     /media/nfs-mounts/sdvnas12/archiv/goobi     nfs rw,vers=3

### Archivierungslogdateien

212.201.62.107:/vol/archivierung_log_01/archive_processing      /var/log/jobs/archive                                   nfs rw,vers=3

### Logdateien fuer Server

212.201.62.73:/vol/linux_server_logs/sdv23varchive08            /var/log/server                                         nfs rw,vers=3

Mount auf der Kommandozeile:

skug@sdv23archive05:/opt/scripts# sudo mount -a

Ablage Scripte

Clone aus GIT der SLUB:

root@sdv23archive08:/#cd /opt

root@sdv23archive08:/opt#sudo git clone https://git.slub-dresden.de/krug/bitstreamarchivierung_mediathek.git`

Anlegen Cronjobs

Edit Crontab:

root@sdv23archive08:/#crontab -e

* * * * * /opt/scripts/search4archivejobs.sh /media/nfs-mounts/sdvnas12/archiv/mediathek /opt/tivoli/tsm/client/ba/bin/dsm-archive.opt docs2archive>/dev/null 2>&1

oder

root@sdv23archive08:/#cp /opt/bitstreamarchivierung_fotohek/crontab.backup /var/spool/cron/crontabs

Konfiguration Datensicherungsclient

Kopieren der Konfigurationsdateien:

root@sdv23archive08:/#cp /opt/bitstreamarchivierung_mediathek/dsm.sys dsm-archive.opt /opt/tivoli/tsm/client/ba/bin/

Einmaliges Anmelden:

root@sdv23archive08:/#cd /opt/tivoli/tsm/client/ba/bin/
root@sdv23archive08:/#dsmc -optfile=dms-archive.opt

Sequentielle Bearbeitung

Wird ein Archvipaket oder Weiederherstellungsanfrage bearbeitet, wird in diesem Verzeichnis eine Datei mit Prozess ID abgelegt. Damit ist gewährleistet, dass nur ein Prozess bearbeitet wird. Im Fehlerfall (z.Bsp. Datensicherungsclient ist nicht erreichbar), wird dieser Lock nicht gelöscht und es kann weder eine Archiveirung noch eine Wiederherstellung passieren. Dieser Lock muss nach Fehlerbehebung manuell gelöscht werden.

Erstelle ein Verzeichnis locks:

root@sdv23archive08:/#cd /var
root@sdv23archive08:/#mkdir locks

Start und Stop

Stop

Auskommentieren Cronjobs in der Crontab über die Kommandozeile auf dem Server: crontab -e

Start

Entfernen Auskommentierungen in der Crontab: crontab -e