Un gigantesco patrimonio di dati cancellato per un bug software: HPE ammette l'errore

03 Gennaio 2022 81

L'Università di Kyoto ha cancellato inavvertitamente 77TB di dati memorizzati nel suo supercomputer Cray a seguito di un aggiornamento software distribuito da HPE (Hewlett Packard Enterprise). Sì, nel caso specifico non c'è un hacker che minaccia i sistemi informatici di un'università - si veda la vicenda che ha riguardato l'Italia poco più di un anno fa. Più semplicemente, un update ha causato un errore in uno script e la cancellazione dei backup.

Purtroppo si tratta di dati molto preziosi, informazioni rilevanti per le ricerche dell'Università. L'istituzione accademica fa sapere che sono stati cancellati 34 milioni di file, riconducibili a 14 gruppi di ricerca; quasi un terzo dei file (ascrivibile a 4 gruppi di ricerca) non potrà più essere recuperato. In concreto, dopo l'aggiornamento del supercomputer sono stati eliminati quasi tutti i file più vecchi di 10 giorni memorizzati nell'unità di backup anziché i file di log.

HPE Cray Ex Supercomputer (simulazione 3D)

L'incidente è avvenuto tra il 14 e il 16 dicembre scorso, Hewlett Packard Enterprise si è assunta la piena responsabilità dell'accaduto ed ha spiegato il problema in questi termini:

lo script di backup comprende un comando find per eliminare i file di registro più vecchi di 10 giorni. Oltre al miglioramento funzionale dello script, il nome della variabile passato al comando find per l'eliminazione è stato modificato per migliorare la visibilità e la leggibilità. Tuttavia, c'è stata una mancanza di considerazione nella procedura di rilascio di questo script modificato. Non eravamo a conoscenza degli effetti collaterali di questo comportamento e abbiamo rilasciato lo script (aggiornato) sovrascrivendo (uno script bash) mentre era ancora in esecuzione. Ciò ha comportato il ricaricamento dello script di shell modificato durante l'esecuzione, creando variabili non definite. Di conseguenza, i file di registro originali in /LARGE0 (la memoria di backup su disco) sono stati eliminati invece di eliminare i file salvati nella directory di registro come previsto dal processo originale.

Spiegazione tecnica a parte, il risultato si può sintetizzare come in un grosso guaio che ha prodotti danni ancora in via di definizione. L'Università di Kyoto non si è ancora espressa sulla natura delle ricerche che a causa dell'incidente potrebbero subire una battuta d'arresto. Val la pena ricordare che i dati sono stati prodotti in seno ad uno dei principali istituti di ricerca giapponesi che ha portato all'attenzione mondiale importanti studi in varie materie tra cui chimica, immunoterapia e scienza dei materiali. Allo stato attuale l'Università ha deciso di sospendere l'attuale processo di backup con l'obiettivo di introdurre miglioramenti e misure preventive per evitare il ripetersi di incidenti analoghi.


81

Commenti

Regolamento Commentando dichiaro di aver letto il regolamento e di essere a conoscenza delle informazioni e norme che regolano le discussioni sul sito. Clicca per info.
Caricamento in corso. Per commentare attendere...
Fabrizio Pullarà

O Aranzulla

Dryblow

Ed ovviamente con HA intendo un cluster geografico.

Dryblow

Ovviamente conoscono benissimo la differenza ma DR o HA devono essere pensate ed implementate, almeno una delle due è imprescindibile.

Era tale Federico, che però ha bloccato pure il mio cane per cui difficile che possa leggerci.

axoduss

Alta affidabilita' e DR sono due cose diverse. Inoltre pure di DR ci sono diverse tipologie ma immagino lo saprai gia'

Marcello Brambilla

oppure

rm -r / var/log/boh.log

notare lo spazio tra / e var

Nevira

Per fortuna il so di hpe Cray è basato su Suse ...

Nevira

Giusto: gomblotto!

camo

Fantastico. Guarda, ho lavorato 10 anni in un'azienda che era gold partner HP, ne ho di storie. La più bella è forse quando un mio collega stava configurando una lefthand HP e aveva problemi, chiama il supporto e questi ci dicono: Cos'è una lefthand? E' un azienda immensa, trovi gente brava e gente meno. Lato sw secondo me, da quello che ho visto, hanno grosse carenze. Ma alla fine non è il loro lavoro e non gliene farei una colpa se non cercassero sempre di rifilarti l'ultimo sw comprato dallo scappato di casa di turno spacciandolo per l'ultimo ritrovato della silicon valley. La mia sensazione è che sia andata così anche per la questione di cui sopra: Ma che Veeam, abbiamo HP smart Backup Salca**o edition 2025, nel quadato di Gartner è in alto a destra, sei sicuro che vuoi una roba già superata?

Maurizio Mugelli

vecchio aneddoto di un amico, all'epoca ricercatore presso una universita': " allora, vado per far partire la massa (apparecchio per la spettrometria di massa che per funzionare usa un potentissimo campo magnetico) e il computer mi dice che non puo' far partire l'apparecchio senza un aggiornamento critico, tiro su il telefono, chiamo hp e dopo averci perso mezza mattinata si decidono a mandarci il tecnico per l'aggiornamento.

arriva il tecnico, tutto ben vestito con la valigetta e gli occhialini fighi, entra nella sala della massa (porta schermata piena di avvertimenti sulla pericolosita' del campo magnetico all'interno, appoggia la sua bellissima valigetta sul coperchio della massa e inizia a tirare fuori il pacco dei floppy disk dell'aggiornamento, disponendoli uno per uno sul coperchio - anche quello pieno di avvertimenti sul campo magnetico.

io fo per dirgli qualcosa ma a quel punto che gli vuoi dire? lo lascio fare...

va per fare l'aggiornamento, il floppy inizia a fare rumori strani e il tipo inizia a sudare e grattarsi la testa, prova un altro floppy.... dice "mi hanno dato un pacco difettoso, aspetti che prendo quelli di riserva" e prima che io possa dirgli qualcosa spiana pure quelli sulla massa..."

gli ci vollero tre viaggi prima di capire che floppy e campi magnetici non vanno daccordo...

Dryblow

Non stiamo parlando di un’aziendina da due soldi, una struttura del genere DEVE essere in Alta affidabilità oppure replicarsi in un ambiente di DR.

rsMkII

Beh puoi sempre mettere i dati più sensibili in zip criptati, se non ti fidi troppo dei servizi cloud! :) Per le password no problem dato che se usi un servizio come Keepass puoi averne anche infinite senza dovertele ricordare. Ci sono anche altre soluzioni ma un piccolo zip con la propria password secondo me è davvero comodo. Per i backup ovviamente, nell'uso quotidiano sarebbe davvero imbarazzante doverli aprire e chiudere di continuo! XD

Gaetano

eh lo so, hai ragione! io uso OneDrive con account personale, spero ed immagino che abbiano copie dei file su più server dislocati per il mondo.
Ok che in questo modo hanno accesso a tutti i mie dati, ma almeno spero di essere più sicuro.

rsMkII

Diciamo che quando si fa troppo affidamento a un'unica soluzione il rischio c'è sempre. Ovvio che ci sono controlli, copie multiple e quant'altro, ma il più delle volte sono localizzate in un solo punto. Penso ad esempio a un mio vecchio lab in università, ok che aveva il suo NAS con doppio hard disk, ma dati i costi nessuno aveva mai messo un secondo NAS gemello in un altro luogo, magari in un altro dipartimento perché no. Un incendio e tanti saluti ai dati di anni di ricerca. Idem in azienda.

Gaetano

Faccio ricerca e se mi succedesse una cosa del genere non so in che stato d'animo starei. Io ho tutto su cloud, ma a sto punto mi inizio a fare qualche copia di backup su qualche hardisk esterno.

Gaetano

Già c'è un farmaco al vaglio che dovrebbe uscire proprio oggi in alcuni stati

camo

Boh, quando leggo cose così e penso che Veeam è praticamente gratuito proprio non riesco a capire. Anche l'idea di affidarsi al backup HP parliamone, niente contro HP ma non è famosa certo per i sistemi di backup e quei pochi che ho visto era meglio perderli che trovarli.

NotoriousNitro

Esattamente, visto l'investimento per il "super computer" non pesava molto aggiungere 150TB di dischi per il backup

piero

Sudo --freddo -poi --bestemmio

Lorenzo
EdEddy
PuckBeastOfTheEnd

Succede quando copi codice da stackoverflow ma la risposta l'aveva postata Tom Scott.

PuckBeastOfTheEnd

Va' che il problema con le mail Exchange lontano non ci va.

Simone

Ma appunto, con questo sistema (almeno) tu hai una copia locale

Lavorando su file quotidiani (parlano di 10 giorni come cancellazione dei file) penso siano dati in corso di raccolta, ma condivido con te. Se sono dati così importanti è assurdo non esista in essere un sistema di backup opportuno, anche in caso di problema ai primi backup in loco.

ThatName

In realtà il comando corretto é:
sudo rm -rf / --no-preserve-root

Molte distro bloccano di default il comando puro. Utilizzando quel flag il blocco viene bypassato.

BoORD_L

-rf

axoduss

Tutti bravi con i soldi degli altri

HeiSiri
HeiSiri

Sì, ricordo che l'ha detto :)

Maurizio Mugelli

e' il supercomputer comune dell'intero campus quindi condiviso fra centinaia di ricercatori in una dozzina di dipartimenti diversi, non tutti tengono corretti protocolli di backup e di fatti pare che soltanto i dati di quattro gruppi di lavoro siano irrecuperabili.

comunque pare che l'universita' non avesse proprio protocolli di backup molto buoni

"Kyoto University has since suspended the backup process, as it looks tomake improvements and add preventive measures to deal with such incidents in the future. In addition to mirror backups, the university also plans to maintain incremental backups once it resumes the backupprogram later this month."

Maurizio Mugelli

sudo rm /*

Dryblow

E la replica in DR non era prevista? Allucinante.

PuckBeastOfTheEnd

Lol

blkid

E suse Linux con il problema della news non c'entra una beata mink1a [cit.]

PuckBeastOfTheEnd

Peccato che il sistema operativo di hpe Cray sia basato su Suse Linux...

Kamgusta

John Zingaretti, lo zio

Danylo

Non hanno cancellato i file dalle unita' di backup, ma hanno SOLO cancellato il dati nel database che tiene traccia dei backup.
(almeno io l'ho capita cosi')

Andhaka

Sì, quello era chiaro.

Ma mi aspetterei che un'istituzione di quel calibro abbia più di un backup e quindi ero curioso di capire se fossero stati colpiti backup multipli e come mai non fossero differenziati questi backup.

Io che non sono nessuno ho ben 3 backup distinti di cui uno a casa dei miei genitori (hanno un HDD mio collegato al ruouter che non devono mai toccare) per differenziare le locazioni... chiaro che non parliamo della stessa mole di dati, ma... università di Kyoto, non proprio il pizzaiolo sotto casa. ;)

Cheers

italba

Ti risulta che Zingaretti sia un sistemista?

TalpaGamer99

Ma è vergognoso, magari tra i file c'era proprio la soluzione per sconfiggere il covid, ma non ce lo vogliono dire, tutto cancellato da una multinazionale americana che fa gli interessi delle multinazionali farmaceutiche del proprio paese, qualcuno faccia qualcosa e scopra la verità.

C'è proprio scritto, lo script ha colpito anche i backup.

Andhaka

A questo punto viene da chiedersi se questo script non abbia colpito più punti di backup vista la sua natura.

In ogni caso un macello assurdo e mi chiedo che penale possa trovarsi a dover pagare HPE per una cosa del genere.

Cheers

STAFF

Questo succede quando non ci si affida a professionisti del settore tipo Zingaretti.

blkid

"Ma come, il closed-source era la panacea a tutti i problemi del SW?" [semicit.].

Si mi rivolgo all'utente (non ricordo il nome) che ha scritto questa cosa al contrario sulla notizia di log4j. Nell'open source ci lavoreranno scappati di casa, nelle corporation invece si va avanti a speremere stagisti sottopagati, e questo è uno dei risultati eclatanti. Non parliamo di quello che non si vede che potrei vomitare schifo per anni.

italba

Quindi vai a vedere se non ti hanno segato i backup

costo di 77TB per un backup extra offline?
sembra un po' strano...

PilloPallo
Davide Nobili

E fattela una risata ogni tanto, e sì che ho anche messo la faccina

momentarybliss

Pensavo che organizzazioni di queste dimensioni utilizzassero unità di backup scollegate dal sistema, invece PUFF

Android

Google Pixel 6 Pro dopo tanto tempo è tutto un altro smartphone | Video

HDMotori.it

Buon Compleanno BMW M, una giornata indimenticabile in pista | Video

Speciale

Stranger Things 4, l'abbiamo vista in anteprima | Recensione

HDMotori.it

Vita vera con l'auto elettrica: Milano-Firenze a/r. Quanto costa, quanto tempo