Beginn Inhaltsbereich

Beginn Navigator

Ende Navigator

Drucken zu Facebook    


Der Ingest-Prozess


Mit dem Ingest-Prozess werden die für die Archivierung vorgesehenen Publikationen mit den dazugehörenden Metadaten vom Produzenten übernommen, kontrolliert, aufbereitet und schliesslich im Archiv abgelegt. Zudem werden die Erschliessungssysteme wie der Bibliothekskatalog der NB mit den Informationen über die neu ins Archiv aufgenommenen Publikationen aufdatiert.
Der Ingest-Prozess besteht aus einer ganzen Reihe von einzelnen Arbeitsschritten, die automatisiert ablaufen:

1. Datenannahme

Der Ingest-Prozess überprüft periodisch die Schnittstellen zu den Produzenten und übernimmt die vorhandenen Daten respektive Metadaten in den Prozess.
Im Wesentlichen können neue Publikationen über ein Webformular angemeldet oder direkt als ZIP-File über WebDAV auf einen Server im Bundesamt für Informatik und Telekommunkation (BIT) abgelegt werden. Zudem kann die NB mittels OAI-PMH (Open Archives Initiative – Protocol for Metadata Harvesting), die Kataloge von Universitätsbibliotheken auf neue Dissertationen hin überprüfen und die Metadaten auf diesem Weg erhalten.

2. Daten auspacken/entkomprimieren

Sofern die Daten als ZIP-Files angeliefert werden, werden sie entkomprimiert.

3. Metadaten umwandeln

Mit jedem Datenlieferanten ist das Format, in dem die Metadaten geliefert werden, vereinbart worden. Üblicherweise werden die Metadaten in der Form übernommen, wie sie im Preprint-Prozess des Produzenten anfallen. In der Regel handelt es sich dabei um XML- oder SGML-Dateien, die nun via XSL-Transformationen ins interne Datenformat der Schweizerischen Nationalbibliothek (NB) umgewandelt werden (Erläuterungen der Fachbegriffe unter Wikipedia). Dieses NB-interne Format besteht im Wesentlichen aus einem METS-Container, welcher bibliografische Metadaten im MARCXML-Format enthält und für die technischen und administrativen Metadaten das Format PRESMET (Preservation Metadata) der National Library of New Zealand verwendet.

4. Elektronische Publikationen übernehmen

Bei der Datenannahme, dem ersten Prozessschritt von Ingest, werden häufig nur Metadaten angeliefert. Das heisst, dass sich das Ingest-System die Online-Publikationen selber nachher unter dem in den Metadaten verzeichneten Link besorgen muss. Mit diesem Prozessschritt werden sowohl einzelne PDF-Dokumente als auch ganze Websites eingesammelt.

5. Qualitätssicherung

Qualitätssicherungsschritte werden bei verschiedenen Prozessschritten unternommen. Überprüft werden unter anderem die Virenfreiheit, die Vollständigkeit der abgelieferten Datenpakete, Dateiformate, die Konformität der Metadaten bezüglich dem vereinbarten Metadatenschema und die doppelte Ablieferung von Datenpaketen. Für die Überprüfung der Dateiformate wird JHOVE eingesetzt.
Zur Qualitätssicherung gehört auch das Sicherstellen der Rechte. Diese beinhalten zum einen das Recht, die betreffende digitale Publikation archivieren zu dürfen. Darin enthalten ist sowohl die Erlaubnis, die von der NB als nötig erachtete Zahl von Kopien erstellen zu dürfen als auch zukünftige Erhaltungsmassnahmen wie z.B. Migrationen durchführen zu können. Zum anderen werden in diesem Arbeitsschritt die Zugriffsrechte auf die archivierten Daten mit dem Produzenten vereinbart. Die Spannweite reicht dabei von einem Zugriffsverbot in den kommenden Jahren bis hin zur freien Verfügbarkeit. Beim Schweizerischen Handelsamtblatt (SHAB) wird im Rahmen der Qualitätssicherung die Gültigkeit der digitalen Signatur auf jedem einzelnen Dokument überprüft und dokumentiert.

6. Relationen / Versionsmanagement

Analog zum Bibliothekskatalog werden in Ingest die hierarchischen Beziehungen von Archivpaketen verzeichnet. So gibt es für periodische Publikationen ein Archivpaket für den Titel der Publikation und weitere Pakete für jede einzelne Ausgabe.
Bei periodisch eingesammelten Websites wird ebenfalls ein Titeleintrag erstellt. Diesem wird jeder Snapshot der entsprechenden Website zugeordnet.

7. Persistent Identifier / URN

Jedem Archivpaket wird eine eindeutige Identifikation in Form eines Uniform Resource Names als National Bibliography Number (URN:NBN) zugeteilt. Diese wird dem Resolving-Server der Deutschen Nationalbibliothek (DNB) zusammen mit den dazugehörenden URLs (Uniform Resource Locator) mittels Mails mit einem XML-Attachment mitgeteilt. Das Ingest-System leitet den nächsten Prozessschritt erst ein, wenn die angemeldete URN auf dem Resolving-Server abgefragt werden kann.
Weitere Informationen zur URN siehe:
Die NB vergibt URN auf der Basis einer Laufnummer. Für Archivpakete, die nicht im Internet zugänglich gemacht werden können, wird dabei ein interner Identifikator verwendet, der aber wie eine URN aufgebaut ist.
Die vollständige URN lautet beispielsweise urn:nbn.ch:bel-2567 während als interner Identifikator bel-2567 verwendet wird. Damit kann bei Bedarf sehr einfach für Archivpakete, die nach einiger Zeit öffentlich zugänglich gemacht werden dürfen, nachträglich eine URN vergeben werden, indem man dem internen Identifikator „urn:nbn:ch“ voranstellt und die Anmeldung beim Resolving-Server der DNB vornimmt.

8. Kontrolle, Vervollständigung

Im Rahmen einer Schlusskontrolle wird automatisiert überprüft, ob alle im Verlauf des Verarbeitungsprozesses angefallenen Informationen in den Metadaten verzeichnet sind und deren Vollständigkeit gewährleistet ist.

9. Einspeisen in Systeme

In diesem Prozessschritt werden die in engem Zusammenhang mit dem Ingest stehenden Systeme mit Informationen versorgt. Die vollständigen Metadaten im XML-Format werden im Data Management abgelegt. Das Archival Information Package, das sowohl die eigentliche digitale Publikation als auch die Metadaten enthält, wird in Form eines Tarballs in den Langzeitspeicher eingespiesen. Die bibliographischen Metadaten werden von MARCXML in MARC21 umgewandelt und in dieser Form dem Bibliothekskatalog Helveticat übergeben, der sie seinerseits automatisiert einfügt.

10. Bereinigung

Schliesslich werden in einem Bereinigungsschritt überflüssige, im Laufe des Prozesses angefallene Informationen über ein Archival Information Package aus dem Data Management gelöscht.

Zurück zur Übersicht Ingest

Zuletzt aktualisiert am: 12.12.2012

Ende Inhaltsbereich



http://www.nb.admin.ch/nb_professionnel/01693/01696/01876/01877/01880/index.html?lang=de