2015年04月28日

またバックアップの散漫なメモ。

A4で4枚程度の資料をつくろうとしたメモ書き。ここから1枚5行くらいに圧縮されるよ。

◆データバックアップと言うけれど
 用語の定義はしっかりしとかんとあきまへんよと。バックアップって単語は聞き手、立ち位置ごとに意味とか全然違いそうですし! ユーザや仕事のデータをバックアップすんのと、PCやサーバのシステムのバックアップすんのと全然違うけど両方ともバックアップ言うたりしますし。
 そもそも種類があるとか考えたこと無いんじゃないでしょうか、当事者になんないと。

▼データ複製(クローン、ミラー、レプリケーション)と障害への備え
 まず、なんかあった時の備えとして現状の環境やデータを複製して残す、って感じのバックアップ。ハードソフトOS問わず、障害発生が前提なので、外付けHDDや別のPC、NAS等のファイルサーバを用意しときましょう。

 WindowsやOSX等のOS、システムのバックアップは、トラブってから復旧までの時間を減らすためのもの。復旧するため、HDDを初期化するにせよマシンを入れかえるにせよ、バックアップした段階の環境に戻れます。
 でも、あんまし頻繁にバックアップしても「すでにダメな気配」を複製してたりするわけで、タイミングはいつでもよりは、綺麗まっさら要るものインストールしたあととか、そこそこの周期とか計画立てとくべきです。もちろんシステムのバックアップデータを複数保管するとかでもOK。
 また、もう一台、同じ環境のPCやサーバを用意するバックアップもあります。マシンスペック低くても、とりあえず本機を復旧してる間は我慢しつつ、それでなんとかする感じで。ただ、管理の手間というか、放置してるとイザという時に起動しなくて顔色真っ青&胃がキリキリって可能性あるので、定期検診的な起動チェック動作チェックしとくべきですけども。

 作業データのバックアップは、うっかり上書きとか何故か開かないとか、そういうトラブルへの対応。でも、こちらも頻繁にバックアップすると「壊れたデータをバックアップ先で上書き」って惨事の可能性アリアリ。バックアップしたタイミングごとに別フォルダやファイルとして保存すれば、ダメデータしか残らないディザスターは防げますが、こんどはたくさんデータが生まれてワケ分かんないかもしれません。

 基本的には、今あるものをそっくりそのまま複製して、障害に備える感じでしょうか。今動いてるものを止めないように保険をかけるイメージです。
 安価な掛け捨てか、それなりに保証されたものか、コストはピン切りですが無駄にはしたくないところです。


▼データ保管(アーカイブ、バックアップ)とファイル検索
 こっちは、今使わないからどこかに移動、保管しておこうってヤツです。終わった仕事をDVDに焼いたり、外付けHDDへ移したり、今は使わないし二度と使わないかも知れないけど残しておこう、と。PCやクラウド問わず記憶領域のサイズがクソ大きくなって、「容量圧迫してっからどっか逃がそう」ってことも昔ほどじゃないんでしょうが、整理してどっかに仕舞っておくほうが都合良いのも確かだと思います。
 あと、容量が大きくなってもそれに伴ってデータのサイズが肥大化してたり、データを溜め込んじゃって空きは少ない!って良くありますよね。

 障害対策とも言えますが、整理整頓的なイメージのほうが強いですかねこちらは。こちらのバージョンが複数あると、どれが最新か、どれが正しいのか分からなくなるので、完パケ、保存用の一揃えだけ残しといたほうが良いと思います。

 こちらはデータを倉庫に仕舞いこむ、ラベル貼って整理するイメージです。ダンボールに詰めて表書き貼って棚で分けてとかないと、検索したけど同じものがたくさん出てきたよ!って話になるので、複製とくらべて準備が必要ですね。
 また、現実でも保管先の倉庫で火災が!水害が!盗難が!って話もあるわけで、ファイルやHDD、DVDが読めない、ウェブサービスが終了なんて可能性を考えて、これらの複製を二重三重に取ることもあります。復旧サービスや金銭の補償やがあっても、データや失った信用が戻ってくるとは限りませんしね。


 
◆予備の予備
 バックアップを複数取っておけば、2つダメでも3つめで助かった! なんて素敵なドラマが生まれるかもしれません、が、可能性が低いからドラマというか、つまりはレアケースではあります。どっちかというと、2つダメって環境がダメ。でもそういうのって、その時にならないと気づかない。怖い! なので、いろいろトラブルを想定して、かつその可能性を掛け算して、一番イヤな状況と耐えられる状況に分けてって整理と準備はわりと重要。

 ハードの故障に備えて同種の機材を用意するなら、製造時期やメーカーを変えるとか、クラウドや仮想化を使ってハードウェア依存を避けるとか。逆に同時期に2台用意して定期的に使い分けすることで、トラブル発生、でも予備機が動かない!って状況は避けられるでしょう。

 ソフトの不具合やトラブルに備えるなら、データの保存形式を汎用するとか、違うOSで同じソフトを用意するとか、別PCにソフトウェアの旧バージョンを用意するとか、環境自体を変えるのも手です。特定の何かに依存したデータだと、イザという時に逃げ場が無いかもしれません。

 データを保管するにしても、例えば2年ごとに複製をとりつつ複製元は消さず、継ぎ足しつつダブり上等で残すパターンはいかがでしょう。どれが最新か、どの段階で弄ったか、そのへんの把握が微妙になる可能性もありますが、HDD故障して全滅…なんて最悪のパターンは避けられます。データを探す手間は増えますけどね。

◆オンラインとオフライン
 複製にしても保管しても、常時利用可能なフォルダ、サーバ、HDDに用意するかどうかは考えたほうが良いです。電気代はともかく、ハードウェアなら常時通電による経年劣化や物理的故障、デジタルならOSのトラブルやウィルス障害、なんらかのファイルシステム破損も考えられます。逆に通電せず故障に気づかない、アクセスしないまま放置してウェブサービス終了などのトラブルの可能性もあります。

 オンラインなら作業もラクですぐに弄れる動かせる、でも何かしら弱い部分は残ります。オフラインなら何も変わらないので心配しなくていいけれど、必要になった時に、探す呼び出す動かす通電する手間は生まれます。

 DVDやブルーレイ、テープなどメディアに複製、保管すると、可動部のある機器より故障・破損の可能性は下げられますが、再生機器自体の保管、調達コストが発生するので、そのへんは割り切りが必要だと思います。MOディスクとかJazとかPDカートリッジ(殻をバラせばなんとか使え…るような)とか、その接続コネクタがSCSIとかそういう。


◆どれがどれ?
 複製とも保管とも違いますが、作業した増分を追記、残すバックアップもあります。昨日作業分、今日作業分だけ切り分けて保存、保管することで、ある日、ある時間のデータを選んで抜き出せるようになります。OSXなら「Time Machine」、Windowsなら「シャドウコピー」機能を使えば(使っていれば)、こういったデータの巻き戻しが出来ます。
 同じファイル、フォルダで延々更新し続ける、でもいちいち別の場所に複製したりするのは面倒とか、今は要らないので消すけどもしかしたら後で要るかもしれない、なんて場合に効果がありますね。

 ただし、保存した分だけHDDなりクラウドなりの容量を喰うので、動画あたりの馬鹿でかいデータを扱うには向いてませんし、あとで細かく管理、整理しようとしても機械的に保存してるので訳わからんかもしれません。
 あ、動画使うんだからクソでかいHDDやストレージ使うだろって流れかもしれませんが、そんな風に残すってあんまし聞いたことない。どっちかというとアクセス早いストレージ使うとかそういう方向みたい。


◆データがダブりまくってる!
 インテリジェンスあふれるバックアップシステムでは重複ファイルの排除なんて機能もありますが、仕事によっては「ここから流用してるけど、完パケに入れるから複数存在ありありだわー」なんて話もあるので、保管用ファイルサーバやバックアップシステムやアプリケーションを導入すれば即解決、とか全然ありえないどころかむしろ混乱する可能性のほうが高いです。
 

 下版データをネット経由で回収していた、とある版元さんは、途中から「案件ごとにDVDで焼く」方針に変わりました。

(※何か説明しようとして飽きて終了)


posted by あまおかさん at 17:27 | Comment(0) | server

2015年04月15日

ずるずる使ってきたDTP用のファイルサーバを切り替えるとして(メモ)

また散漫なメモ。

今使ってるLinux+Fullpress+iSCSI-10GbE NAS(SAS x12/RAID10)から、移行先として考えてるWindows Server2013+ExtremeZ-IP+インフィニバンド接続RAIDは、OSX&Windowsが50台接続しても大丈夫なのかって心配をはっきりさせようとかそういう。
それなら国内代理店のToo.に聞けよって話ですけどね! でも正面から聞けば「大丈夫ですよ!」って答えるに決まってるけども。


現状はこんな感じ。

  • 同時接続は50程度
  • LinuxにOSX/OS9が接続できるプログラム(fullpress)が動いてる。Windowsにはsmb+文字コード変換のプログラムで対応
  • OSXは新旧あり、Windows新旧ありの接続
  • 扱うファイルのサイズは数キロKBから数GBまで
  • 扱うファイル形式もさまざま
  • サーバのファイルを直接開く
  • クライアント〜サーバ間は1GbEで統一(スイッチはもちょっと帯域ある)
  • ストレージは6TB。容量はマイグレーションやレプリケーション、障害時の復旧時間の都合。
  • 繁忙期には1日合計100GBぐらいのファイルコピー(read/write)&更新、暇な時は20GB程度
  • ストレージはiSCSIなNAS
  • NASはSAS1TBの12本をRAID10で6TB
  • ストレージの接続は10GbE x2でmultipath

そして切り替えるとしたら要求項目的な。
  • 同時接続数は50程度
  • サーバのファイルを直接開く
  • 専門業者を呼ばないとダメなサービスはNG、業者が死んでも問題ないものを使う
  • ファイルサーバ、単なるバケツとして使う
  • ストレージ、ハードウェアの拡張性が高いとか融通利くとか

ファイルサーバ単体に高度な耐久性、可用性を求めず、そこそこで。サーバすっとんだら全滅って状況は、できれば避けたい。


▼OSとか売り物とかそういう大雑把な分け方として

  • Windows Server
  • Windows Storage Serve
  • ExtremeZ-IP(+Windows Sever/Storage Server)
  • OSX Server
  • NAS(Windows Storage Server)
  • NAS(Linux)

▼ハードウェア的な意味で
買いっぱなしで済むわけでも無いっつーか、保守は壊れないように、じゃなくて壊れたの交換に費用がどれだけ要るか。世の中にはデータ復旧サービス付きのHDDもありますが、修理中はデータをいじれないのは忘れちゃいけません。OS入ってたらサーバとして動かないしほら。

  • Dellとかhpとか富士通とかNECのPCサーバ
  • QNAPとかdroboとかバッファローとか10万ぐらいのNAS
  • ちょっとエンタープライズ感あるニューテックとかのNAS
  • もっとエンタープライズ感あるEMCとか
▼サーバのネットワーク接続で使う規格的な何かとして
複数束ねて障害耐性や帯域拡大ってのも込みで、PCサーバをWindowsで動かしてると選び放題ってのはありますな。
ネットワークやスイッチだけ速くすると、ストレージへのアクセスがボトルネックになってサーバ発狂って可能性もあったりなかったりかしら。

  • 1GbE 1000base-T(とかファイバでSXとかLXとか)
  • 10GbE 10Gbase-T(とかSRとか)

40GbEとか動画ならともかくDTPではオーバースペックすぐる。なによりスイッチ高いし。

▼サーバとストレージとの接続ハードウェア規格的な何か
メンテや障害時の対応を、ユーザがどこまでやるかって話かも。あとストレージごと移動したり別のサーバに繋ぎ直すことを考えるかとか。

  • USB2
  • Firewire/IEEE1394
  • USB3
  • eSATA
  • Thunderbolt
  • 1GbE/10GbE/40GbE
  • FibreChannel
  • Infiniband
  • PCIe

PCIe挿しSSDが安くなってるので、PCIeのスロットがたくさんあるPCサーバに6台ぐらいぶっさすのも手かもしれない。

▼ストレージのRAID構成
RAIDやんの? やるならどういう構成なん?って話。
RAIDはハードの故障にはそこそこ強いけど、RAID自体の基板や電源、ネットワークも複数構成とか交換手早くできるとかでないとあんまし意味ないっつーかね。あとディスクユーティリティ使うような、ファイルシステム的なエラーも関係無いよ。

  • RAIDしない
  • JBOD
  • RAID0
  • RAID1
  • RAID10
  • RAID5
  • RAID50
  • RAID6
  • RAID60

50台常時接続なら、入出力速度を確保しないとOSX虹色ぐるぐる回りまくり。ストレージ自体のR/W速度と、ストレージとサーバ間の入出力速度(処理含む)は分けて考えないとですね。
ZFSは…いいよね今は考えなくて。

▼ディスク自体の種類
SSDやすーいけど常時通電なファイルサーバに使うにはちょっとこわーいとか? 昔のサーバ用SCSI-HDDはよく保った気はしますが、単に集積度の違いのような気がしないでも。
在版用ならコンシューマ向けの4〜8TBあたりでいいと思いますが、作業用のファイルサーバだとエンタープライズ向けSATAかSASかっすかね。SSDはアクセスがシーケンシャルかランダムのどっちが多いかとか考えなくもないですが、DTPのデータなら素の速さでなんとかなるでしょう多分。

  • コンシューマ向けSATA(WDの緑HDDとか)
  • エンタープライズ向けSATA(SeageteのConstellation ESとか)
  • SAS
  • SSD

ハイブリッドHDDをRAIDで使うのは、まだちょっとアレかな…的なイメージ。

▼サーバとの接続プロトコル
ファイルサーバのデータを直接開きたいので、ftpとかは無いです。クライアントOSが混ざっててLANで貯めるファイルサーバなら良いんじゃないでしょうか、文字コード周りで面倒になると思いますが。

  • AFP over TCP
  • CIFS/smb
  • NFS
  • iSCSI
  • WebDAV
  • ftp(sftp)

NASだとOSXのバージョンが変わった時にめんどい気がします。いやOSXのバージョンが変わると大騒ぎするのはいつものことですけども。



◆導入のパターン
▼数名の編プロや製版会社
 一人で1案件最初から最後まで動かすなら、OSXならTimeMachineかTimeCapsule使えばいいんじゃないでしょうか。どうせ渡した先も残すか、渡すときにメディアに焼くでしょうから予備も出来るわけですし。仕上げた納品データを残したい、次に見たいならヨドバシでバッファローのNAS買って放り込んで、壊れるとまずいならさらにもう一個NAS買って自動複製とか。

 ファイルサーバにデータを置いて、そこで手分けして作業してるなら、QNAPとかの10万超えNAS買う感じ? HDDには若干気を使ってエンタープライズ向けを選ぶ。そのバックアップ先としては…安いNASで良いと思います。こっちは常時通電じゃなくても良いですけど、電源付けたり消したりするほうが壊れそうな感じですし、ファイルの格納というか整理はわりとめんどいので、DVDに焼いちゃうのうが分かりやすいかも。見たらそこにあるわけで。

 制作担当が居ない時に他の人が分かるようにするか、分かるようにすると機械がごちゃごちゃするので分かんなくてもいいか、そういう切り分けっすかね。これぐらいの規模だと担当者の退職(や失踪)をしっかり想定しとかんとあきませんな。PC詳しいやつに好きにさせるとあとで大惨事です多分。

 ネットワーク環境は無線LANでもいいんですけど、有線にして適当な1GbEのスイッチングハブ使えば良いと思います、1年に1回はエアダスターで掃除するとか忘れないなら。

▼〜20人程度の接続
 このへんが判断しづらいような。専任なり兼任のシステム管理者が要るなら、それなりにお金かけたほうが「システム管理者」の気分は落ち着きます。そのへん、導入、保守費用+担当者の給料とか別仕事との兼ね合いとかとの比較になりますな。あとアレだ、OSX知ってるかとかそういう。

 仕事の抱え方として1人で1案件ずっとならTimeMachineでしょうけど、HDDクラッシュや担当者不在や休みんとき(そして失踪)なんかあると怖いんで、一日終わったらNASに投げるとか、バックアップソフトをサーバ化して作業用PCのバックアップを日々取るとか。
 ファイルサーバのデータを直接作業させたいなら、NASも100万ぐらいのを選ぶと良いと思います、容量との兼ね合いですけど。Xserveって当時50万くらいでしたっけ? でもあれHDDの拡張性ほぼ無かったですし、セットのXserve RAIDのほうが高かったっすねたしか。
 NASじゃなければ、20万くらいまでのPCサーバにWindows Storage Server+ExtremeZ-IP、HDDは内蔵でSASかSATAのRAID10ぐらいがいい気が。結局100万くらいになるんでしょうかメモリや保守やら何やら乗せ乗せしてると。
 ネットワークは元から1GbE2本ぐらい接続出来ると思んで、束ねるかうまいことネットワークを分けると負荷も分散されるでしょう多分。

 バックアップは好きにどうぞ。外付けHDDでも、どっかのマシンにHDD増設して、バックアップソフト動かして1日1回複製取るとか。ほったらかすと、知らないうちにエラーで止まってたりしますけどね!

 サーバ立てるやだなーってんなら、家庭用NASを複数台置いて、仕事先や案件、担当者で適当に分けとけば、アクセスおそーいとかサーバすっとんで死亡とかは少ないと思います。不調や故障でも、ネットでポチればすぐでしょうし、外付けHDD化可能なUSBの口とかついてるでしょうし、最悪ばらしてHDDだけにできますし。
 管故障の確率は高いと思うんですがユーザレベルで対応できるってのは、システム担当者が居ない環境ならアリアリでしょう。作業方法というか、データをどう保存しておくか、どういうフォルダ名にするかってルールは徹底しないとダメですけどね。

 サーバ用の外付ストレージを光ファイバとかインフィニバンドとかにすると、サーバ壊れた時に逃げ場無いかもしれないので予備サーバ(か接続ボード)をを用意しとくか、ストレージのデータを別マシンに複製(レプリケーション)をする仕組みはあったほうがいいです。

▼〜50人程度の接続
 さすがにシステム管理者は要るレベルですが、どういう業者にするかによってかなり違うような。DTPが分かるとこに頼んだほうがいいでしょう、相性とかそのへんの勘所あるでしょうし。
 100万以内で済ませたいならNAS複数台にして仕事別に分けて、バックアップも外付けHDDに投げて、2年で機器交換ぐらいの感じで。1000万コースなら減価償却とかハード保守の期間とかいろいろ考えて4年ぐらい使うでしょうから、4年先にどういうOS、どういう環境に乗り換えるかも含めて選定したほうが良いと思います。OSXがどうなってるかホントわかりませんし、データの扱いもどうなってるかわかりませんし、会社自体がd(ry

ファイルサーバのスペックはそんなに求められないですけど、メモリ盛々でCPUは速いよりコア数多いとかそっちのほうが。 動画とか単体でクソ重いデータも扱うならストレージ周りの速度が求められるので、サーバよりストレージが高くなりますな。マジで桁が変わるので、ほとんどの場合はビビるだけで終わると思います。

 あとアレか、セキュリティとかそのへんを求められる仕事であれば、いろいろデジタルなギミック仕込むより、物理的に切り分けたほうが安全です。

▼100人〜
 好きにしろ! どうせ1拠点じゃないんだし1台のファイルサーバに全員ぶら下がるなんて無いだろ。
 こっからは作業用のファイルサーバより、データを逸失させないためのワークフローとか、終了した案件のデータ、印刷用データ、制作用データ、納品データとかそのへんの切り分けや保管、検索、ダブりやバージョンチェックのほうが重要でしょうし。

 仕事終わったら消す! 仕事終わったら取引先に押し付ける!ってのも良いと思います。管理コストも肥大化しますし、在版データ持ってるからって増刷が確実に来るわけでもないでしょうし、刷りっぱなしの仕事も多いでしょうし。



posted by あまおかさん at 13:59 | Comment(0) | server

2015年04月13日

Web2Printのシステムを探す

ユーザ管理と情報入力、ブラウザ利用のレイアウトが要るとして、支払い関係は別で建てるか考えないことにする。

  • 会員管理
  • レイアウトはテンプレート選択
  • テキストを入力、画像をアップロード
  • 入力したらプレビュー出る

どっちかというと入稿システムのような感じ。

web2printのシステムつっても、どっからどこまで考えるかで規模感というか値段が全然違うので、見積もりの前にそのへんキッチリ切り分けないとあきまへん。進捗管理とか受注、発注支援とかそういう部分と、ウェブアプリでレイアウトできるぜ部分と、POD直結ワークフロー的な何かとか。

もしかして欲しいのは入稿データのチェック、テキストの字数とか画像の形式だけかもしれないし。そうなるとブラウザでレイアウトとか全然不要よね。


ただまーweb2printでOKな仕事だと、japancolor認証とか聞いたこともねぇやってクライアントになるので、そういう意味ではそっちへの注力が無駄になるというかそういう話になりそうな。いや品質の追求は意味あるけど、反応は無いだろうなっつーかね。

よくわからないままメモはここで途切れt
posted by あまおかさん at 15:49 | Comment(0) | server

2015年04月07日

データの運用・保管環境の見直しメモ的な

流用、増刷とか、データを残す契約してるとこの話ね。

20150407_データ保.jpg


20150407_データ保2.jpg

アクセス速度は低いけどハードソフト管理運用コスト、維持に日々の確認作業とか考えると、1TB超えてもクラウド使わざるおえんかな的な意識になっております。
テープドライブを導入すると、機器とソフトの更新が必要になるからめんどいわい。
posted by あまおかさん at 17:58 | Comment(0) | server

2015年02月26日

Archiware P5


Retrospectの最近のだとクライアント仕込んで直接やりとりするからAFP使って文字コードいじるXinetとか全然ダメってんで、旧PresstoreであるArchiware P5を評価中。
UIも、要クライアントってのもRetrospectと一緒なのでユーザレベルで運用はむずいね。バックアップ用途かアーカイブ用途か同期用途か、全部一つでまとめようってのは出来るけどやめときたい。

あと、テープのライセンスが通し本数か通しデータ量なので、4年ぐらい使うならエンタープライズ買うほうが良いんじゃないかって価格設定だったので、そんなに高くは無いイメージ。


テープ用に旧Retrospect、同期はCCCってのが、現場のユーザに分かる上ラインのような。
出来ることなら、物理記録メディア使って仕事(か取引先)=メディアの関係にしたいわね。メディアの数が増えても説明は要らないし、バックアップもわかりやすいので。
posted by あまおかさん at 11:26 | Comment(0) | server