Бекъп и архивиране на данни

[Гост Гост 23*6]

След като @chandni сподели това: IDrive, си го платих по тази невероятна цена и го напълних докъм 4ТВ, като закачих и домашния Nas, където съхранявам всичко важно, синхронизирам го и на друг сървър, но винаги е добре да има и трето копие, което е някъде в облака 🙂 , а моите са само в двата края на БГ и не се знае 😉 ...

За догодина ще го мисля ...

BTW се занимавам професионално в определени аспекти на disaster recovery за малки и малко по-големи фирми 😉 , и анализа ми показа, че idrive са много добра опция за допълнителен бекъп на важната информация, събирана от всеки единичен компютър или сървър и съхранявана на собствени сървъри ...

[Георги Василев]

И аз да се "похваля". Специално си купих Storage 3TB през 2015 когато старото ми HDD даде фира и унищожи спомените ми. Викам купувам и всичко там слагам и само за архив ще го ползвам. Отидох да ми възстановят информацията. Успяха на 95% и прехвърлих всичко на Storage-а и всичко 6. От време навреме го включвам, за да добавя към архива, но човешката разсеяност е нещо много лошо 😄. Онзи ден го бях оставил включен и бях под пара нещо и трябваше да направя флашка с windows 4GB.....и като пич отварям Power ISO, нагласям image опциите и пускам с такава убеденост, че правя флашката и след 10 секунди с ужас установявам, че всъщност Storage-а се превърна в bootable. Страхотна беше буцата, която получих в стомаха. То, нямаше смисъл и да се ядосвам. Започнах да се смея, защото за втори път "губя" живота си, като този път беше повече от нелепо. Просто изключих всичко и си легнах да спя. За щастие се сетих къде ми възстановиха инфото предния път и го занесох там. След едноседмична борба и 200 лева с отстъпка, 2,3 TB спомени са възстановени на 100%. Не знам, вече не се чувствам сигурен в нищо...особено в себе си! 😄 

 

[Гост Гост 23*6]

19 minutes ago, Георги Василев said:

И аз да се "похваля". Специално си купих Storage 3TB през 2015 когато старото ми HDD даде фира и унищожи спомените ми. Викам купувам и всичко там слагам и само за архив ще го ползвам. Отидох да ми възстановят информацията. Успяха на 95% и прехвърлих всичко на Storage-а и всичко 6. От време навреме го включвам, за да добавя към архива, но човешката разсеяност е нещо много лошо 😄. Онзи ден го бях оставил включен и бях под пара нещо и трябваше да направя флашка с windows 4GB.....и като пич отварям Power ISO, нагласям image опциите и пускам с такава убеденост, че правя флашката и след 10 секунди с ужас установявам, че всъщност Storage-а се превърна в bootable. Страхотна беше буцата, която получих в стомаха. То, нямаше смисъл и да се ядосвам. Започнах да се смея, защото за втори път "губя" живота си, като този път беше повече от нелепо. Просто изключих всичко и си легнах да спя. За щастие се сетих къде ми възстановиха инфото предния път и го занесох там. След едноседмична борба и 200 лева с отстъпка, 2,3 TB спомени са възстановени на 100%. Не знам, вече не се чувствам сигурен в нищо...особено в себе си! 😄 

 

Затова трябва на поне 2 места да се съхраняват важните днни.

За случая има две много вeрни сентенции:

- Ако не сте архивирали данните си, е равносилно на това  никога да не сте ги имали 😉 

- Потребителите се делят на две групи - тези които са губили данни, и тези които все още не са губили 🙂 

[Фил]

преди 25 минути , georgebg каза:

 

- Потребителите се делят на две групи - тези които са губили данни, и тези които все още не са губили 🙂 

И такива, може би щастливи потребители, които нямат никакви данни и респективно - нищо за губене . 

[Shlosera]

Да споделя моя начин.

Ползвам един сървър на HPE ProLiant MicroServer Gen8, с процесор Pentium G2020 и RAM 10GB купен от емаг на черен петък за 320 лв (с RAM 2GB, като до преди година работеше с тази памет, преди да намеря по ebay търговете ECC памет на цена различна от стотици левове). Сложил съм му един твърд диск Western Digital Red (специално за NAS) - 2TB  и един 750ГБ диск свален от стария ми лаптоп, при надстройката му с SSD. Операционната система е CentOS6, инсталирана през далечната 2014-та при покупката.

Използвам един софтуер, rsnapshot, базиран на rsync, който прави инкрементал снапшоти на текущото състояние на определени папки на определен период, като например час, ден, седмица, месец, година и т.н. Снимките са най ценната част от данните и за това се архивират по няколко пъти. Долу е състоянието на архива от днес, така че мога да възстановя нещо изгубено чак от 11 август или от различни моменти от тази дата до текущия ден. 

 

 

Всичко това се съхранява на "лаптопския" диск, който преди всеки архив се монтира автоматично (закача, подобно на USB флашка) като устройство и се размонтира (разкача) след това. Така при някаква грешка, като тази на @Георги Василев, този диск през повечето време стои разкачен от операционната система и опасността за данните се снижава много. 

 

Вярно, че звучи сложно за хора без познанията върху тази сфера, но това е идея която може да бъде реализирана от познат или платена услуга. 

В общи линии това работи без външна намеса от цели 5 години. Налагат се периодични ъпдейти на операционната система, която вече доста остаря и за това някои услуги, които са пуснати вече е цяло приключение да се надградят.

Пуснатите допълнителни услуги са:

minidlna - dlna сървър, чрез който се споделя мултимедийно съдържание на dlna сертифициран телевизор или друго устройство;

samba - оперативна съвместимост на Windows за Linux/Unix, като се използва с случая за файлов сървър, където от компютрите и телефоните в домашната мрежа могат да се качват, свалят или четат файлове. Подобно на USB флашките, но по мрежата;

PlexMediaServer - мултимедиен сървър, чрез който чрез уеб интерфейса си или плеър инсталиран на умен телевизор може да се гледа мултимедийно съдържание;

Transmission Bit Torrent Client - торент клиент, чрез който могат да се свалят файлове през торент директно на сървъра, от където могат да се споделят чрез трите програми описани по горе. Освен уеб интерфейс има и удобен клиент за Windows/Mac/Linux.

 

Планирам да виртуализирам сървъра с Proxmox, така че дисковете да станат само едни файлове и по този начин да могат да се закачат по най - лесния и бърз начин до други виртуални сървъри или клауд услуги.

 

Като недостатък на описания метод със сървърна машина, мога да посоча шума, въпреки че вентилаторите са тихи в сравнение на класически сървър, консумацията на електричество и безобразно скъпата сървърна памет.

 

За всички други документи и файлове за споделяне извън домашната мрежа използвам 17 ГБ Google Drive, който на този етап е напълно достатъчен.  

 

 

 

[Фил]

преди 4 минути , Shlosera каза:

Вярно, че звучи сложно за хора без познанията върху тази сфера

Не сложно, направо ми звучи като на китайски.  

[Гост Гост 23*6]

9 minutes ago, Shlosera said:

Да споделя моя начин.

Ползвам един сървър на HPE ProLiant MicroServer Gen8, с процесор Pentium G2020 и RAM 10GB купен от емаг на черен петък за 320 лв (с RAM 2GB, като до преди година работеше с тази памет, преди да намеря по ebay търговете ECC памет на цена различна от стотици левове). Сложил съм му един твърд диск Western Digital Red (специално за NAS) - 2TB  и един 750ГБ диск свален от стария ми лаптоп, при надстройката му с SSD. Операционната система е CentOS6, инсталирана през далечната 2014-та при покупката.

Използвам един софтуер, rsnapshot, базиран на rsync, който прави инкрементал снапшоти на текущото състояние на определени папки на определен период, като например час, ден, седмица, месец, година и т.н. Снимките са най ценната част от данните и за това се архивират по няколко пъти. Долу е състоянието на архива от днес, така че мога да възстановя нещо изгубено чак от 11 август или от различни моменти от тази дата до текущия ден. 

 

 

Всичко това се съхранява на "лаптопския" диск, който преди всеки архив се монтира автоматично (закача, подобно на USB флашка) като устройство и се размонтира (разкача) след това. Така при някаква грешка, като тази на @Георги Василев, този диск през повечето време стои разкачен от операционната система и опасността за данните се снижава много. 

Това са папките от текущото състояние, които се архивират на определени периоди:

 

Вярно, че звучи сложно за хора без познанията върху тази сфера, но това е идея която може да бъде реализирана от познат или платена услуга. 

В общи линии това работи без външна намеса от цели 5 години. Налагат се периодични ъпдейти на операционната система, която вече доста остаря и за това някои услуги, които са пуснати вече е цяло приключение да се надградят.

Пуснатите допълнителни услуги са:

minidlna - dlna сървър, чрез който се споделя мултимедийно съдържание на dlna сертифициран телевизор или друго устройство;

samba - оперативна съвместимост на Windows за Linux/Unix, като се използва с случая за файлов сървър, където от компютрите и телефоните в домашната мрежа могат да се качват, свалят или четат файлове. Подобно на USB флашките, но по мрежата;

PlexMediaServer - мултимедиен сървър, чрез който чрез уеб интерфейса си или плеър инсталиран на умен телевизор може да се гледа мултимедийно съдържание;

Transmission Bit Torrent Client - торент клиент, чрез който могат да се свалят файлове през торент директно на сървъра, от където могат да се споделят чрез трите програми описани по горе. Освен уеб интерфейс има и удобен клиент за Windows/Mac/Linux.

 

Планирам да виртуализирам сървъра с Proxmox, така че дисковете да станат само едни файлове и по този начин да могат да се закачат по най - лесния и бърз начин до други виртуални сървъри или клауд услуги.

Като недостатък, мога да посоча шума, въпреки че е много тиха машина и консумацията на електричество.

За всички други документи и файлове за споделяне извън домашната мрежа използвам 17 ГБ Google Drive, който на този етап е напълно достатъчен.  

 

Технически проблема си го решил, макар да има и "по-човешки"  софтуери 😉 , но физически не съвсем, защото ако лаптопа ти е в хола, при сървъра, и недай си боже стане пожар - горят данните, другото не го споменавам, защото дивани и телевизор се купуват, данните не 😉 

[Shlosera]

Реално на лаптопа в хола няма никакви данни, който е само клиент, всичко е на сървъра (и двата диска са вътре) в коридора и ако там нещо се прецака данните отиват на кино. Ужким съм осигурил жилището с датчици за дим, които пращат аларми, имам пожарогасител в кухнята, камера която работи във времето, когато сме навън и датчици за отворена врата/прозорец, но нищо не е сигурно. Определено не съм предвидил физическа защита, но в дългосрочен план (много ме мързи) мисля да сложа някаква дърта машина в офиса, която да работи като iscsi initiator, където да прехвърля стария лаптопския диск, която чрез OpenVPN да се закача за сървъра. 

Ето как изглеждат нещата в коридора. Всичкото IT e натикано в 12 unit rack:

[Гост Гост 23*6]

39 minutes ago, Shlosera said:

Реално на лаптопа в хола няма никакви данни, който е само клиент, всичко е на сървъра (и двата диска са вътре) в коридора и ако там нещо се прецака данните отиват на кино. Ужким съм осигурил жилището с датчици за дим, които пращат аларми, имам пожарогасител в кухнята, камера която работи във времето, когато сме навън и датчици за отворена врата/прозорец, но нищо не е сигурно. Определено не съм предвидил физическа защита, но в дългосрочен план (много ме мързи) мисля да сложа някаква дърта машина в офиса, която да работи като iscsi initiator, където да прехвърля стария лаптопския диск, която чрез OpenVPN да се закача за сървъра. 

Ето как изглеждат нещата в коридора. Всичкото IT e натикано в 12 unit rack:

Ако синхронизираш единия диск към другия на същия сървър ... мхм .. май правиш нещо, което е почти нищо 😉 . Дано не прозвучи крайно де ....

Защото в този случай и един токов удар е достатъчен - имал съм такива случки, при които всичко е горяло, ако ups-a не е online double conversion, което донякъде прехвърля един сериозен токов удар върху него ....

По-добре е да синхронизираш на различни локации, в случая предложението на idrive за 6-7 USD може да те "спаси" за година, след това ще го мислиш.

 

[wiliko]

преди 2 часа, Фичо каза:

Не сложно, направо ми звучи като на китайски.  

Фичо, станахме двама...а и става още по шлоСерско...🤣

[Shlosera]

Преди 1 час, georgebg каза:

Ако синхронизираш единия диск към другия на същия сървър ... мхм .. май правиш нещо, което е почти нищо 😉 . Дано не прозвучи крайно де ....

Защото в този случай и един токов удар е достатъчен - имал съм такива случки, при които всичко е горяло, ако ups-a не е online double conversion, което донякъде прехвърля един сериозен токов удар върху него ....

По-добре е да синхронизираш на различни локации, в случая предложението на idrive за 6-7 USD може да те "спаси" за година, след това ще го мислиш.

 

Не съвсем, защото:

1. Физически данните са защитени, в случай че единия от двата диска се прецака. Така се пести също и от втори огледален диск.

2. При изтриване по погрешка на нещо или на всичко може да се възстановят исторически данните до датата на най стария снапшот.

 

Определено е недостатък, че всичко е в една кутия, но има проект за физическо отделяне - или в офиса, или при нашите, защото баща ми от доста време ме юрка да му пусна някакъв мултимедиен сървър. Като разгледах онзи ден IDrive видях скриптове за синхронизиране с Linux сървъри, което за $7 за първата година си е ок, ама една година минава доста бързичко. В ebay също се продават ключове за Office365 за по няколко долара, който идва с 1ТБ OneDrive, ама там пък не знаеш кой е мастър администратора на този акаунт, защото очевидно ням акак нещо което струва няколко стотин да е толкова евтино. 

Впрочем почнах да се замислям доста, особено откак ЧЕЗ започнаха някакви профилактики в нашия район. Имало е случай тока да спре по над 10 пъти на ден в последните няколко месеца, но поне сега се поукротиха. 

 

 

[cck]

преди 3 часа, Shlosera каза:

Ето как изглеждат нещата в коридора.

Недостатъкът, който забелязвам е възможността за теч от съседите 🙂

Според мен, трябва да имаш 2ро физическо копие във втори разделен обект. Щом си с Линукс просто закачи някое NAS-че при роднини/доверени хора и синхронизирай с централтата си машина.

[aleksandrina]

@Shlosera, никакъв шлосер не си ти... 🤣🤣🤣

[akair]

Хванете кой да е запознат по темата, който може да ви каже каква е основната разлика между Windows95 и Windows 98 и ще чуете, че rule of thumb е архивното копие да се държи на носител, различен по вид от основния. "Облаците" малко промениха този основополагащ принцип, разбира се...

Аз само бих отбелязал, че запазването на архивите е в сериозна степен risk assessment и risk analysis. Много е вероятно да могат да се моделират сценарии, при които архивирането в друг квартал / град / държава също да "не е достатъчно надеждно". Но е важно и каква е вероятността тези сценарии да се случат. И тази вероятност оправдава ли инвестициите за избягване на последиците от възникването й?

Аналогично, каква е вероятността да има пожар и 2-та компютъра да са в една стая? Каква е вероятността да има наводнение от съседите и да умре лаптопът по същото време? ...

[Shlosera]

Сега като поразгледах по подробно препоръката на @Георги за Backblaze B2 Cloud Storage се убеждавам че инсталирането на физически машини за бекъп вкъщи става доста излишно. Тази услуга поддържа една купчина софтуери за синхронизация и най - важното за мен е че част от тях вървят на Линукс без нуждата от графичен интерфейс, който за сървърни нужди е абсолютно излишен черпейки толкова необходими ресурси. 

След една калкулация набързо с техния калкулатор, се оказва че в рамките на следващата година снимките ми могат да се бекъбват за около $1 на месец - около 200ГБ без RAW вариантите им, които са огромни и не са толкова важни. В перспектива снимките ще нарастват, респективно и нужното пространство, но не чак толкова бързо. Разхода за електричество на една физическа машина може да стигне до повече от $10/мес така че гъвкавостта, която дава тази услуга определено си заслужава. Направи ми силно впечатление, че рекламират непрекъсваемостта на услугата с 11 деветки, което ако в моята работа е поставено като условие, никога няма да взема бонус. IDrive е доста по евтина за първата година, ама като изтече за няколко долара разлика (в моя случай) ще се чуди човек къде да си дене файловете.

 

@aleksandrina, знам си аз, че не трябва да плямпам много, ама голяма уста кво да се прави. Сега пак трябва да убеждавам хората, че съм шлосера, който всяка вечер бие жена си след като е изпил половин кило злобен домашен концентрат. 

[neuromancer]

Аз пък ще мина в другата крайност 

направо се чудя какво толкова важно има в цифров вид от данните за лична употреба

Малко документи, евентуално биткойни, малко снимки...

то човек ако отдели време да прегледа какво му трябва, количеството спада с порядъци

Забелязал съм, че като снимам цифрово и имам много снимки, дори не ги и поглеждам в повечето случаи

Снимките, които харесвам са на hard copy, и то два пъти - оригинал на филм и отпечатани

така че общо взето не се занимавам с тая работа, гугъл драйв ми стига

жената напълни един облак със снимки още преди години и никога дори не е погледнала да търси какво има там и какво няма

[Shlosera]

По ирония на съдбата, след всичките магарии по бекъпването на снимките, които бях направил, човешката глупост в мое лице може да затрие всичките спомени. 

Реших да преинсталирам сървъра на който се пазеше всичко защото работеше на един архаичен Centos6 и смело затрих целия диск, нали всичко е бекъпнато. До дук добре, докато не реших да mount-на бекъп диска, който отказа по всякакъв начин да се появи. Предпочитам да не пипам повече, за да не се случи немислимото и за това мисля да се обърна към професионална помощ за възстановяване на данни. Лошото е че съм склонен да се разделя с толкова пари колкото трябва, само и само да се възстановят данните.

Въпроса ми тук е, има ли някой опит с подобна фирма?  Колко може да се разчита на такава услуга и доколко е надеждна? 

 

[Zaro]

преди 24 минути , Shlosera каза:

По ирония на съдбата, след всичките магарии по бекъпването на снимките, които бях направил, човешката глупост в мое лице може да затрие всичките спомени. 

Реших да преинсталирам сървъра на който се пазеше всичко защото работеше на един архаичен Centos6 и смело затрих целия диск, нали всичко е бекъпнато. До дук добре, докато не реших да mount-на бекъп диска, който отказа по всякакъв начин да се появи. Предпочитам да не пипам повече, за да не се случи немислимото и за това мисля да се обърна към професионална помощ за възстановяване на данни. Лошото е че съм склонен да се разделя с толкова пари колкото трябва, само и само да се възстановят данните.

Въпроса ми тук е, има ли някой опит с подобна фирма?  Колко може да се разчита на такава услуга и доколко е надеждна? 

 

 

В момента съм дал диск в "център по реанимация". Още не съм го получил обратно, но при него пораженията бяха тежки, а и вече беше отварян. Възстановяването на данни струва между 200 и 800 лв. В минималния вариант плащаш за опита да се спаси нещо - техния труд + диск-донор. В максималния - получаваш и информацията. Има 2 фирми в сградата на ИЗОТ на разклона за летището.

[Shlosera]

преди 27 минути , Zaro каза:

 

В момента съм дал диск в "център по реанимация". Още не съм го получил обратно, но при него пораженията бяха тежки, а и вече беше отварян. Възстановяването на данни струва между 200 и 800 лв. В минималния вариант плащаш за опита да се спаси нещо - техния труд + диск-донор. В максималния - получаваш и информацията. Има 2 фирми в сградата на ИЗОТ на разклона за летището.

В моя случай, всичко е на логическо ниво. При преинсталацията на операционната система, която беше архаичен Cenotos6, в която бекъп диска ми беше част от LVM не го разкачих предварително и така вероятно се е нарушила структура. Сега не мога да го монтирам повече, а знанията ми по сторидж са общи, което ме навява на мисълта, че мога да направя по големи поражения при опитите ми за възстановяване. За това предпочитам да го дам на хора с опит.

Диск донор имам, но ми трябват проверени хора, които наистина са спасявали данни на някой. Коя фирма използваш за това?

[Zaro]

преди 45 минути , Shlosera каза:

В моя случай, всичко е на логическо ниво. При преинсталацията на операционната система, която беше архаичен Cenotos6, в която бекъп диска ми беше част от LVM не го разкачих предварително и така вероятно се е нарушила структура. Сега не мога да го монтирам повече, а знанията ми по сторидж са общи, което ме навява на мисълта, че мога да направя по големи поражения при опитите ми за възстановяване. За това предпочитам да го дам на хора с опит.

Диск донор имам, но ми трябват проверени хора, които наистина са спасявали данни на някой. Коя фирма използваш за това?

Тези.