Wie sichert ihr eure Media-Files?

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Es gibt schon auch noch andere Gründe, wo was passieren kann, zB plötzlicher Servertod beim Schreiben der Datenbank, oder beim Umschaufeln der Daten, etc. Normalerweise passiert nix, unter blöden Umständen aber schon - und wenn, dann erfahrungsgemäß [Murphy] gleich ordentlich.

Deshalb habe ich ja oben geschrieben, das ich persönlich das Raid für die Sicherung verwende und die Daten auf der Workstation vorhalte.

Was die Datenbank betrifft, die wird ebenfalls repliziert zwischen Workstation und Raidsystem. Also selbst wenn bei dieser Konstellation das Raid komplett abrauchen würde (die Change ist schlechter als 2 6er im Lotto hintereinander), liegen die Daten auf mindestens einer Workstation.

Was den Techniker angeht, um ein anständiges System aufzusetzen bracht es keinen 24/7-Techniker. Denn das Aufsetzen ist eine einmalige Sache und die Administration braucht maximal einige Stunden im Monat bei denen, die sich keinen 24/7 Techniker leisten können. Dort ist das Netzwerk erfahrungsgemäss entsprechend klein.

Es gibt, wie bei allen DIngen, auch hier verschiedene Meinungen und Ansätze. Ich halte mich an meine Erfahrungen, dass doppelte Datenhaltung (dabei einmal auf nem redundanten Raid) ausreichend ist. EIne zusätzliche Bandsicherung schadet natürlich trotzdem nicht.
Und, wie erwähnt, hilft die beste Datensicherungsstrategie nichts, wenn das System so aufgesetzt ist, dass jeder Daten löschen und einspielen kann. Denn damit steigt auch die Virengefahr und die Gefahr des versehentlichen Löschens.
Es gehört einfach beides zusammen, denn Backup ohne Systemsicherheit macht wenig Sinn und umgekehrt genau das Gleiche.

 

[yps77]

AW: Wie sichert ihr eure Media-Files?

Also mal Ehrlich, wenn ein Techniker die Dateirechte so setzt, das Dateien versehentlich gelöscht werden können, soll er sich nen anderen Job suchen.

Grundsätzlich ist es kein Problem, ein System so aufzubauen, dass jeder nur das tun kann, was er tun darf. Und wenn die Redaktion keine Dateien löschen darf, wird das unterbunden. Wenn sie Dateien löschen darf, werden diese nur markiert und nach einer gewissen Zeit erst gelöscht.

Welches Betriebssystem unterstützt das auf Dateiebene? Ich kenne keins. Wir sprechen hier ja nicht nur von mittels Datenbank organisierten Musikarchiven. Stell dir vor, der User hat in seinem Home-Verzeichnis versehentlich eine Word-Datei gelöscht, die ein wichtiges Manuskript für einen Beitrag enthielt. Oder ihm fällt auf, dass er gestern versehentlich eine Änderung gemacht hat, bei der wichtige Informationen verloren gegangen sind. Was nun? Genau dafür sind Backups da.

Ein gutes Backup-System macht daher täglich (oder noch häufiger) "Snapshots" vom Zustand des Dateisystems und speichert auch bei Änderungen die letzten x Versionen einer Datei. Normalerweise nach einem gestaffelten Schema: x Tage lang wird täglich eine Version aufbewahrt, danach noch y Wochen lang eine weitere.

Professionelle Systeme (z.B. Tivoli Storage Manager) unterstützen sowas von Haus aus. Zuhause habe ich mir unter Linux einige Shell-Scripts geschrieben, die einmal pro Tag laufen und ein solches Schema mit den Parametern 7/4 realisieren: Ich kann sieben Tage lang die an diesem Tag aktuelle Version zurückholen, außerdem weitere vier Wochen lang die Version, die an dem Sonntagabend der betreffenden Woche aktuell war. Die Scripts nutzen dabei alle möglichen Tricks (rsync, hardlinks, cpio), um redundante Datenhaltung zu vermeiden. Das heißt, jede Datei(version) wird nur genau einmal auf der Platte abgelegt und auch nur dann übertragen, wenn sie sich geändert hat. Dank rsyncs-SSH-Fähigkeit klappt das sogar über's Netz. Ich sichere auch meinen Rootserver damit.

Wer sich dafür interessiert, hier ist eine Webseite, die ein ähnliches Vorgehen beschreibt: http://caia.swin.edu.au/reports/020927A/

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Welches Betriebssystem unterstützt das auf Dateiebene? Ich kenne keins.

Jedes Linux/Unix/Irix u.ä. unterstützen das. Es ist dort kein Problem, Befehle wie rm o.ä. zu verbiegen und auf einen Scripte umzuleiten. Man muss die Boardmittel halt ein wenig erweitern, was aber mit 5-10 Zeilen Bash locker erledigt ist.

Für Dokumente gibt es Versionskontrollen (ähnlich Subversion für Programmierer), die dann zumindest die vorherige Datei wieder herstellen können, bzw. die komplette Versionshistory speichern und vorhalten.

Die Sache mit dem verzögerten Löschen setze ich recht erfolgreich um bei mir. Beim "löschen" wird die Datei in einen bestimmten Ordner auf dem Server übertragen und bleibt dort eine voreingestellte Zeit. einmal täglich prüft ein Cromjob, ob die Datei seit X Tagen nicht mehr bearbeitet würde. Wenn dem so ist, wird die Datei entgültig gelöscht (alternativ kann sie auch in ein Archiv wandern o.ä.)

Es gibt, je nach Bedarf und persönlichen Geschmack, unzählige Möglichkeiten. rsync per SSH ist die Lösung, die ich bevorzuge, setzt allerdings einige an Wissen vorraus. Also keine Triviallösung für den reinen Anwender. Das ist aber die Backupproblematik grundsätzlich nicht. Wer Wert auf Datensicherheit legt, sollte sich jedem Fall jemanden suchen, der sich auskennt, wenn nicht ausreichend Wissen vorhanden ist.

 

[Dude]

AW: Wie sichert ihr eure Media-Files?

Die Scripts nutzen dabei alle möglichen Tricks (rsync, hardlinks, cpio), um redundante Datenhaltung zu vermeiden.

Exakt sowas gibt's auch schon in vorgekaut: http://www.dirvish.org/ bzw. Debian-Paket dirvish. Läuft prima bei mir.

 

[yps77]

AW: Wie sichert ihr eure Media-Files?

Cool, kannte ich gar nicht. Das gucke ich mir bei Gelegenheit mal an.

 

[McCavity]

AW: Wie sichert ihr eure Media-Files?

Betriebssysteme wie zum Beispiel Sun Solaris (aktuell Version 10 U4 von 08/07, U5 soll vermutlich im März 08 kommen) unterstützen sowas auch out of the Box, ohne Scripts oder Zusatzpakete. Die Zauberworte heißen hier ACL und RBAC. Damit kann man wunderbar Benutzer anlegen, die normal nur lesen dürfen, sich die Schreibberechtigung aber bei Bedarf über eine Rolle aneignen können. Geht sicherlich auch mit anderen Betriebssystemen ähnlich, jeder wird da sicherlich das verwenden, was er am besten kennt, bzw. was am ehesten ins Budget paßt... PEBKACs schließt aber auch so ein Vorgehen nicht generell aus, es macht sie nur ein bischen unwahrscheinlicher

Grüßlis,

McCavity

 

[yps77]

AW: Wie sichert ihr eure Media-Files?

Nein, das meinte ich nicht. Bei ACLs und RBAC handelt es sich um ganz "normale" Zugriffskontrolle (mit erweiterten Verwaltungsmöglichkeiten). Also der Entscheidung, wer was lesen, schreiben oder löschen darf. Das verhindert natürlich das unberechtigte Löschen einer Datei, nicht aber das versehentliche Löschen (für das man zwar die Berechtigung hat, was man aber eigentlich gar nicht wollte). Das passiert häufiger als einem lieb ist.

Pegasus sprach davon, das Betriebssystem so zu konfigurieren, dass beim Löschen einer Datei die Datei nicht wirklich entfernt sondern zur zur Löschung markiert wird, um sie dann später in einem "Wartungsdurchlauf" tatsächlich zu löschen, zu sichern oder zu archivieren. Das ist mehr, als der Windows-Papierkorb kann. Und auch unter Linux muss man dazu einiges verbiegen, wie Pegasus schreibt. Dazu muss man sich aber sicher sein, dass die User tatsächlich nur dieses umgebogene "rm" zum Löschen verwenden, und nicht irgendein GUI-Filemanager doch wieder auf die direkten Betriebssystemfunktionen zugreift.

 

[McCavity]

AW: Wie sichert ihr eure Media-Files?

Das ist in der Tat ein kniffliges Problem, aber 100% Sicherheit kann eh niemand garantieren. Murphy's Law schlägt halt doch immer da zu, wo man es am wenigsten erwartet. Am "sichersten" fährt man natürlich mit einer Kombination mehrerer Techniken, wie ACL/RBAC, zeitversetztem Löschen *und* Backup - aber da stellt sich dann sofort die Frage, ob der Aufwand mit dem erzielten Nutzen zu vereinbaren ist und ob das alles finanzierbar ist...

Grüßlis,

McCavity

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

aber da stellt sich dann sofort die Frage, ob der Aufwand mit dem erzielten Nutzen zu vereinbaren ist und ob das alles finanzierbar ist...

Vorallem ist es nötig, abzuwägen, ab wann der Aufwand für eine Sicherungstrategie den Aufwand für die Neubeschaffung der Daten überschreitet. Denn wenn eine Backuplösung schon bei der Einrichtung 25000€ kostet, für die Neubeschaffung aber z.B. 2 Mannmonate anfallen, ist die Backuplösung zu teuer im Verhältnis zum Nutzen.

 

[flashlighter]

AW: Wie sichert ihr eure Media-Files?

Ist vielleicht nicht die beste Variante, aber ich habe die Sicherung bei unserem digitalen Musikarchiv so eingerichtet:

2 HDDs gleicher Größe (in unserem Fall 500GB) sind in einem Server. Auf der einen werden Daten gespecihert, die dann einmal pro Tag (immer nachts wenn wenig los ist im Netz) per rsync mit der anderen HDD syncronisiert werden. RAID 1 für arme halt

Für unsere Zwecke (Bürgerradio) reicht das vollkommen aus.

Ist aber ein interessanter Thread

grüße, flashlighter

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Wieso richtet ihr dann kein Softraid ein? Kostent keinen Pfennig und ist ebenso effektiv, wie ein Hardwareraid.
Zumindest unter Linux dauert sowas ca. 15 Minuten.

 

[RudiOnTheAir]

AW: Wie sichert ihr eure Media-Files?

2 HDDs gleicher Größe (in unserem Fall 500GB) sind in einem!! Server.

Der nächste Netzteiltod mit vorangegangenem versorgen der Festplatten mit
erheblich mehr als 12/5 Volt kommt bestimmt.

Hatte mal ein Kollege. Der saß sogar daneben, und wunderte sich über das plötzliche hochdrehen der Platten. ... alles im Eimer.!

 

[flashlighter]

AW: Wie sichert ihr eure Media-Files?

Wegen dem "versehntlichen Löschen"- Problem...

Ich habe mehr Angst, dass einer der Leute, die das Musikarchiv pflegen, "versehntlich" etwas löschen, als dass die Platte kaputt geht. Und wenn die Platte doch kaputt gehen sollte, dann ist zumindest nicht so viel verloren( soviel wird da eh nicht dran gemacht ).

Edit:@RadioOnTheAir: ja, dazu kommt dann noch ein Backup auf externe Platte ab und zu

grüße

 

[Potter]

AW: Wie sichert ihr eure Media-Files?

Zumal sollte das Backup in einer zweiten Brandzone gelagert werden. Bei einem Sicherungskonzept für Daten sollte man auch Feuer und Diebstahl mit einplanen..die Sicherungen auf der Arbeit liegen schön zwei Brandabschnitte weiter in einem Lampertz Datensicherungsschrank.

Wobei man dabei wirklich das Kosten / Nutzen Verhältnis im Auge behalten muss. Privat nutze ich auch "nur" ein Backup, wie erwähnt, auf einen Fileserver im Keller.

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Hatte mal ein Kollege. Der saß sogar daneben, und wunderte sich über das plötzliche hochdrehen der Platten. ... alles im Eimer.!

Wie alt war das Netzteil denn? Bei aktuellen Netzteilen ist so ein Problem praktisch ausgeschlossen. Zusätzlich trennen moderne Platten die Spannungsversorgung elektrisch bei Überspannung und Überstrom.

Dieses Problem hatte ich einmal bei einem Netzteil, das damals (vor 5 Jahren) bereits 12 Jahre im Dienst war und die Festplatte war eine 9,1GB SCSI-Platte, die noch weit entfernt von heutiger Technik war.

 

[tomtom76]

AW: Wie sichert ihr eure Media-Files?

was mich interessieren würde:

Wie gross sind eure Musikarchive?
Und in welchen Format sind die Audiofiles dort abgelegt?
Wie kommen neue Dateien (=Lieder) dazu?

Wer pflegt diese ein?

lg
tom

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Bei mir sind es aktuell ca. 25.000 Songs. Als Format nutze ich 256kbps MP3 ( meine UPNP-Renderer kommen mit anderen Formatne nur bedingt zurecht)
Neue Audiofiles kommen durch rippen von Schallplatten und CDs dazu. Per FreeDB oder Handarbeit landen dann alle Daten in einer Datenbank. Das Ganze basiert auf einer Eigenentwicklung mit Mysql-Backend programmiert in C++

Ähnlich passiert das mit meinen Videos, aber das dürfte hier nicht unbedingt Thema sein

 

[Studio Rebstock]

AW: Wie sichert ihr eure Media-Files?

• Wie gross sind eure Musikarchive?

  iTunes behauptet, bei mir seien ca. 13'000 Titel zu finden. Allerdings ist noch nicht alles erfasst.
  .

• Und in welchen Format sind die Audiofiles dort abgelegt?

  mp2, 256 kbps cbr, 44,1 kHz, Stereo
  .

• Wie kommen neue Dateien (=Lieder) dazu?

  Sampler und Best-Of - Alben werden komplett gerippt, Soundtracks etc. nur teilweise und Promos nur nach vorheriger Prüfung.
  .

• Wer pflegt diese ein?

  Ich. Dann weiß ich wenigstens, wer den Müll verzapft hat.

Gruß, Uli

 

[c.rothe]

AW: Wie sichert ihr eure Media-Files?

@Pegasus:

Seagate trennt sich nicht vom Netz sondern von Bauteilen., wenn eine falsche Spannung angelegt wird.
Habe im Dezember einen neuen Festplattenlüfter für meine 500GB-Platte eingebaut, der leider eine falsche Polung an die Festplatte angelegt hat. 5V auf 12V und umgedreht.

Daraufhin wurde die Festplatte katholisch (weisser Rauch) - und das wars. Habe die gleiche nochmal gekauft und die Platine umgebaut in die alte. Läuft bis heute ohne Datenverlust. Aber ärgerlich wars und ich kaufe nie wieder billige HDD-Lüfter bei ebay!

Christoph

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Du solltest auch Abstand nehmen, Seagate zu kaufen, wenn du Wert auf Datensicherheit legst

Grundsätzlich gilt natürlich bei jeder Hardware, wenn es um Sicherheit geht, nicht das Billige, sondern das Beste. Denn ganz schnell kann billig zu teuer werden.

@c.rothe
In deinem Fall hast du es ja selbst erlebt. Billig ist nur solange billig, bis es teuer wird

 

[sk91]

AW: Wie sichert ihr eure Media-Files?

Du solltest auch Abstand nehmen, Seagate zu kaufen, wenn du Wert auf Datensicherheit legst

Grundsätzlich gilt natürlich bei jeder Hardware, wenn es um Sicherheit geht, nicht das Billige, sondern das Beste. Denn ganz schnell kann billig zu teuer werden.

@c.rothe
In deinem Fall hast du es ja selbst erlebt. Billig ist nur solange billig, bis es teuer wird

Vielen Dank für den Tipp

Werde mir glaube ich eine externe Festplatte kaufen ist das schnellste?
und mit dem ich mich auch noch recht gut auskenne

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Wenn du nen passenden Anschluss hast, nimm aber gleich eSATA, ist schneller als USB, kannst aber nur an neuere Rechner anklemmen. Und eine externe Festplatte nie als alleiniges Backupmedium nutzen. Grad solche Festplatten sterben gerne den Erschütterungstod.

 

[c.rothe]

AW: Wie sichert ihr eure Media-Files?

... Sea gate oder Sea gate nicht... habe sonst aber keine sonderlich schlechten Erfahrungen mit der Marke.

Ausserdem gibt es bei mir regelmässig Backup-To-Disk auf eine USB-Platte, wäre also ärgerlich gewesen (war 2 Wochen alt und ich hatte viel gemacht) aber nicht der Weltuntergang...

Christoph

 

[DS]

AW: Wie sichert ihr eure Media-Files?

Festplatten halten nun mal nicht ewig.

Mit der Marke Seagate habe ich auch noch keine schlechte Erfahrungen gehabt, nutze ich seit sehr vielen Jahren.

 

[Pegasus]

AW: Wie sichert ihr eure Media-Files?

Die Platten sind nicht das Problem. Es geht um die Elektronik, die z.B. bei Spannungsstössen schnell Rauchzeichen gibt. Andere Firmen gehen den Weg, dass der Spannungseingang elektrisch abgetrennt wird.
Ich hab hier auch Seagate-Platten im Server, allerdings ein Netzteil, dass jegliche Spannungsstösse verhindert.

Es ist wie überall, erst im Havariefall merkt man, ob man die richtige Marke einsetzt. Andere Hersteller haben andere Probleme, perfekte Hardware gibts halt nicht.