Vraag Beste systeembeheerdersongeval [gesloten]


Ik ben op zoek naar grappige verhalen over systeembeheerderongevallen die je hebt gehad. De e-mail van de CEO verwijderen, de verkeerde harde schijf formatteren, enz.

Ik zal mijn eigen verhaal als een antwoord toevoegen.


87
2018-05-13 21:00


oorsprong


Zie ook serverfault.com/questions/5066 - Zoredache
Dit is echt meer een poll dan een vraag. Dit zou waarschijnlijk moeten worden ingesteld op communitywiki. - Zoredache
Yup, dit zou beslist een community-wiki moeten zijn. In de bedoeling van de vraag is mijn favoriete verhaal echter de 500 mijl e-mail - ibiblio.org/harris/500milemail.html - hoewel, natuurlijk, dat was ik niet. - Mihai Limbăşan
de 500miles is gewoon geweldig - Hubert Kario
Dit zou "slechter systeembeheerderongeval" moeten worden genoemd. - Rilindo


antwoorden:


Ik vond het leuk om het verschil te ontdekken tussen de linux "killall" opdracht (doodt alle processen die overeenkomen met de opgegeven naam, nuttig voor het stoppen van zombies) en de "killall" opdracht van solaris (doodt alle processen en stopt het systeem, handig voor het stoppen van de productieserver in midden in de piekuren en al uw collega's een week lang om u uit te lachen).


133
2018-05-13 23:20



Er geweest, gedaan dat. We hebben daarna het killall-commando op de solaris-boxen ge Alias: alias killall = 'echo ORLLY?' =) - Commander Keen
Er is ook een belangrijk verschil op Solaris tussen 'ifconfig -a4' (toon de IPv4-informatie van alle interfaces) en 'ifconfig-a 4' (stel alle interfaces in op 0.0.0.4). - Zanchey
+1 "oeps, deze wind is aangemeld bij solaris?" - Mark Harrison
@Commander, ik was van plan om uw opmerking te upvote, maar er zijn precies 42 upvotes op dit moment ... Ik alleen kon het niet. - Massimo
Ook, hostname -f op Linux drukt de volledig gekwalificeerde domeinnaam af op Linux. Op Solaris stelt het de hostnaam in -f. - 200_success


Ik had de leiding over onze webproxy voor bedrijven, die op dat moment het product van Netscape was. Tijdens het spelen in de admin formulieren (het was een web-gebaseerde interface) was er een grote (en ik zweer het was rood) knop die zei Gebruikersdatabase verwijderen. Geen probleem, dacht ik. Laten we eens kijken wat de opties zijn die ik krijg als ik die heb geraakt. Er zal zeker een bevestigingsprompt zijn als er geen opties zijn.

Ja, geen bevestiging. Geen opties. Geen gebruikers meer.

Dus ging ik naar meneer Solaris Sysadmin en zei dat ik dringend behoefte had aan een herstel van de tape waarop hij antwoordde: "Ik sta niet achter dat kastje."

"Eh, kom nog eens," antwoordde ik.

"Ik ga niet achter die box staan. Het staat op mijn lijst met dingen om toe te voegen aan de back-uprotatie, maar ik ben er nog niet toe gekomen."

"Deze server is bijna 8 maanden in productie!" Ik schreeuwde.

de schouders ophalen, hij antwoorde. "Sorry."


73
2018-05-14 12:26



Dit is absoluut een verhaal voor al die mensen die klagen over die vervelende 'Weet je het zeker?' dialoogvensters;) - MikeyB
Ik weet niet zeker of jij degene zou moeten zijn die tegen hem schreeuwt ... - Mikeage
Dit is niet echt een ongeluk - je hebt met opzet de knop Gebruikersdatabase verwijderen ingedrukt, kom op kerel ... - Wayne Koorts
Ja je hebt gelijk. Het indrukken van de knop was geen ongeval. Het verwijderen van de database was eigenlijk het ongevaldeel. Wat dan ook... - squillman
Die knop had gevolgd moeten zijn door twee of drie bevestigingsprompts. Hoe is het een nuttige functie om de gebruikersdatabase te verwijderen? Ik geef de programmeur de schuld die de knop erin stopt. En het feit dat de db niet werd ondersteund. "Genius heeft misschien zijn beperkingen, maar stompzinnigheid is dus niet gehandicapt." (trouw aan Elbert Hubbard). Gebouw met de veronderstelling dat mensen geen nieuwsgierige, zorgeloze apen zijn, is gewoon een ramp aan het opbouwen. - Jared Updike


Vele jaren geleden had het bedrijf waar ik voor werkte een klant die een nachtelijke back-up van hun NT 4.0 Server draaide naar een Jaz rijden (zoals een zipdisk met hoge capaciteit).

We hebben een batchbestand opgezet dat 's nachts als een geplande taak werd uitgevoerd. Elke ochtend verzamelden ze de schijf van de afgelopen nacht van de schijf en voordat ze 's avonds vertrokken, voegde ze de volgende schijf in de reeks.

Hoe dan ook, het batchbestand zag er ongeveer zo uit (de Jaz-drive was station F:) ...

@echo off
F:
deltree /y *.*
xcopy <important files> F:

Hoe dan ook, op een nacht vergaten ze om de schijf erin te zetten. De wijziging om F te stationeren mislukte (geen schijf in het station) en het batchbestand bleef draaien. De standaard werkmap voor het batchbestand? C :. De eerste keer dat ik een back-uproutine heb gezien vernietigen de server waarvan het een back-up maakte.

Ik heb die dag iets geleerd over sysadminning (en afhandeling van uitzonderingen).

Jim.

PS: De oplossing? "deltree / y F: \ *. *".


66
2018-05-13 20:00



... moeten we uitleggen wat Jaz drives zijn? Ben ik echt zo oud ?? - Spencer Ruport
Het was een IOMEGA-ding (denk aan Zip Drives?) Was de grote broer van de Zip Drives, en het was als een harde schijf zonder hoofden, alleen de schotels, die in een plastic behuizing met een klein venster gingen, en wanneer deze op de schijf werd geplaatst de drive, de drive plaatste de headers erop. Waar, zoals 1 of 2 GB, duur en de neiging hebben om oververhit te raken, werd het niet aanbevolen om de cartridges in de lezer te laten (dit zei een oude IOMEGA-baas) - Andor
Hehe, ik hou van hoe jaz drive wordt uitgelegd in vergelijking met de net-als-dood-en-irrelevante zip-drive. - Luke
Als je je ouder voelt, zijn er sysadmins die nog nooit deltree hebben gezien. - Joseph
Ik heb aan veel programmeurs moeten uitleggen dat wanneer je een operatie probeert die een staat verandert, en toch zou kunnen falen en je in de vorige staat zou laten, je moet controleren of het gelukt is als je iets gevaarlijks gaat doen moet je in de vorige staat zijn. Waarom moet ik dit uitleggen? - carlito


root @ dbhost # find / -name core -exec rm-f {} \;

Ik: "U kunt niet instappen? OK, wat is de DB-naam?"

Cu: "Core."

Ik: "Oh."


61
2018-05-13 18:31



en vanaf dat moment is het gebruik van de opdracht 'file' toegevoegd aan de opschoningscratab ... :) - MikeyB
Oh mijn god.... - squillman
Oh mijn god ... wauw. Ik ga hier een mentale notitie van maken, dus ik doe het nooit. - Glenn Willen


Ik hou van de manier waarop iedereen hun verhaal kwalificeert met "toen ik jong / groen was" alsof ze het nooit meer zouden doen. Ongelukken kunnen zelfs de meest ervaren professionals overkomen.

Mijn eigen ergste moment is zo slecht dat ik er nog steeds hartkloppingen over krijg ...

We hadden een SAN met productiegegevens erop. Kritiek voor het bedrijf. Mijn "mentor" besloot om een ​​partitie uit te breiden om wat schijfruimte vrij te maken. Kun je zien waar dit naartoe gaat? Hij zei dat de SAN-software dit live kon doen, in productie-uren en niemand zou het opmerken. Alarmbellen hadden moeten beginnen te rinkelen, maar waren opvallend stil. Hij zei dat hij het 'heel veel eerder' zonder problemen had gedaan. Maar hier is het ding - hij liet MIJ op de knop klikken die zei: "Weet je het zeker?"! Toen ik nieuw was in het bedrijf, nam ik aan dat deze man wist waar hij het over had. Grote fout. Het goede nieuws was dat de LUN werd uitgebreid. Het slechte nieuws was ... nou ik wist dat er slecht nieuws was toen ik schrijffouten in de Windows-doos begon te zien.

Ik ben blij dat ik een bruine broek droeg.

We moesten uitleggen waarom 1TB aan gegevens was verdwenen tijdens de lunch. Dat was echt een heel slechte dag.

Het is eigenlijk een goed principe - stel je voor dat je, voordat je iets doet waar je aan twijfelt, moet uitleggen aan het management of er iets mis gaat. Als je geen goed antwoord kunt bedenken om je acties uit te leggen, doe het dan niet.


60
2018-05-13 18:22



+1 voor de laatste alinea - de "zit op je handen" -techniek, een belangrijke minuut voor reflectie - Andy
Er is een bepaalde vaardigheid die je krijgt als je een tijdje met levende systemen werkt: een gevoel voor een spin voor wat gevaarlijk is en wat niet. Net als het pauzeren van een extra seconde voordat je op terugkeer drukt bij een rootprompt, of ervoor zorgen dat de SQL-updatefunctie een juiste where-component heeft (die al is uitgevoerd in een select aantal (*)). - jplindstrom
Ik wil een pop-up die zoiets zegt als: "Wilt u uw cv afdrukken voordat u verder gaat?" .. en hebben maar één optie: "Ja" - warren
+1 voor het advies in de laatste alinea - Jeroen Huinink
+1, idem. Ik herinner me nog dat ik van een vriendin van sysadmin hoorde dat er problemen waren in zijn jaarlijkse functioneringsgesprek over zijn slechte typesnelheid, die hij minachtend (en terecht) verwierp met "Ik word niet betaald om snel te typen. Ik word betaald om heel enter te raken langzaam en bedachtzaam. ". - MadHatter


Nagios stuurde ons op een ochtend toen kantooruren begonnen te zeggen dat het geen verbinding kon maken met een niet-kritieke server. Ok, wandeling naar de serverruimte. Het is een oude server, een Dell 1650 aangeschaft in '02, en we wisten dat de 1650s hardwareproblemen hebben. De PFY steekt op de aan / uit-knop. Niets. Raak het opnieuw aan en houd het vijf seconden ingedrukt om 'force power on' in te schakelen ... wat de foutbeveiliging van de BMC onderdrukt, want zonder een DRAC is er geen manier om de BMC-logs te bekijken zonder het chassis aan te zetten.

De machine start POST en sterft vervolgens opnieuw. Ik sta erboven en ga: "Ik ruik rook." We trekken de server uit de rails en een van de voedingen voelt warm aan, dus de PFY trekt eraan en staat op het punt de doos weer dicht te maken. Ik zeg: "Nee, dat is geen rook van de stroomvoorziening, dat is rook van het moederbord."

We openen de zaak opnieuw en zoeken naar de bron van de brandende geur. Blijkt dat een inductorspoel en een condensator iets van de spanningsregelaar op het moederbord heeft afgeweerd, en gesmolten koper en condensatorzuiger over alles hebben gespoten, een hoop spullen hebben kortgesloten en in feite een grote puinhoop hebben veroorzaakt.

Het ergste was voor mij om te herkennen dat ik voldoende hardware had gerookt om het verschil te herkennen tussen de geur van een verbrand moederbord en een verbrande stroomvoorziening.


54
2018-05-14 14:49



De selectiecriteria van deze functie zijn: goed reukvermogen. Briljant. - mlp
Buddy van mij schroefde een stel rijrails zo ver in een schijf dat ze de printplaat ingingen en hem uitschakelden. Vrij roze rook. Zeer herkenbaar. - squillman


Drie dagen geleden (serieus) was ik op afstand ingelogd op een schoolserver en installeerde ik Service Pack 2 op een Windows Server 2008-bestandsserver.

Ik besloot om de benodigde herstart voor 's avonds laat in te plannen, wanneer docenten niet zouden zijn ingelogd bij het afronden van hun eindejaarsrapportkaarten. Ik typte iets als:

 om 23:59 "shutdown -r -t 0" 

... wat misschien goed heeft gewerkt.

Maar toen raadde ik mezelf aan mezelf. Was mijn 'shutdown'-syntaxis correct? Ik heb geprobeerd de gebruikshulp te bekijken door te typen

 shutdown / h 

... en mijn RDP-verbinding meteen verloren. In paniek raakte ik Google voor de syntaxis. Een snelle zoekopdracht onthulde dat de Server 2008-versie van afsluiten een a / h-switch bevat, die (zoals u wellicht al vermoedde) de computer in de slaapstand zet.

Docenten begonnen me binnen enkele minuten te bellen om te melden dat ze niet langer de rapportkaarten konden openen of opslaan waar ze aan gewerkt hadden. Omdat ik op een andere locatie was en de serverruimte was afgesloten, moest ik de directeur van de school bellen en haar door het proces leiden om de machine weer aan te zetten.

Vandaag heb ik zelfgemaakte koekjes voor iedereen meegenomen als een vorm van verontschuldiging.


47
2018-05-13 23:53



Een perfect voorbeeld van gebrekkig gebruikersinterfaceontwerp op de opdrachtregel: wat is er gebeurd met het "Principe van de minste verrassing"? - Mei
op DOS / Windows is het niet /? - Jared Updike
Het is meestal /? op Win, maar er zijn veel hulpprogramma's die zijn geporteerd van UNIX of die zijn geschreven door UNIX-mensen (waaronder een aantal dergelijke bij MS) die -h of / h zijn - Richard Gadsden
..maar jij nog steeds ALTIJD probeer de /? eerste! - warren
Dat is waarom ik Linux leuk vind. man shutdown. Ik weet dat ik er geen problemen mee ga veroorzaken man! - Josh


In een vorige baan hadden we een geweldig systeem van eigen bodem dat alle stukjes e-mail registreerde en archiveerde die binnenkwamen, bleven of bleven.

Heb je je hele mailbox weggegooid? Geen probleem! Bent u op zoek naar een stuk post dat iemand u een week / maand / jaar geleden heeft gestuurd, maar weet u niet meer wie het heeft verzonden of wat het onderwerp was? Geen probleem! We bezorgen alles van februari voor u opnieuw aan een speciale map.

Op een bepaald moment kwam de noodzaak voor de CEO van het bedrijf om post te controleren die tussen een concurrent en een interne verkoper op verdenking ging. Dus hebben we een script opgezet dat elke avond wordt uitgevoerd en relevante e-mail van de vorige dag aan de CEO afleverde. Geen probleem!

Ongeveer een maand later kwam het bericht van een dubbel plus urgent probleem uit de lucht vallen. Het lijkt erop dat toen de CEO de lijst met e-mails aan $ OTHERCOMPANY las, hij deze tegenkwam:

To: somebody@$OTHERCOMPANY
From: CEO
Subject: CEO has read your message (subject line here)

Natuurlijk was de CEO een belangrijk persoon en alles, hij had het te druk om te klikken op al die "Leesbevestigingen verzenden" -dialoogvensters in Outlook en had zijn cliënt zodanig geconfigureerd dat hij ze allemaal kon verzenden. Bij een van de berichten die door het bewakingsfilter zijn opgevangen, is een verzoek om een ​​leesbevestiging ingesteld. Raad eens wat Outlook deed? Zeker vervuild de 'clandestiene' monitoring.

Onze volgende taak: regels toevoegen aan het mailfilter om uitgaande leesbevestigingen van de CEO naar dat bedrijf te blokkeren. Ja, het was de gemakkelijkste manier. :)


37
2018-05-13 18:35



Dat is echter niet legaal in mijn land. Helemaal niet. - mafu
Ah, nou dat is jouw land. :) In Canada is het prima. - MikeyB
Het is niet legaal om e-mail te controleren die de servers van uw eigen bedrijf binnenkomt of verlaat? In welk land woon je? - Andrew Ensley
+1 voor de newspeak - Fahad Sadah


Ahhh, de mijne was ongeveer 10 jaar geleden, toen ik nog steeds nat werd. Ik had het plezier om batterijback-ups te installeren op alle computers van programmeurs. Ze wilden ook dat de geladen software waarschuwde voor stroomuitval en dat deze correct werd afgesloten.

Dus ik zette het op mijn computer om alles eerst te testen natuurlijk en om ervoor te zorgen dat alles werkte. Dus ontkoppel ik het netsnoer en het bericht verschijnt op mijn scherm. "externe stroom verloren, start systeemuitschakeling".

Dus ik dacht: hey cool, het werkte. Maar om een ​​of andere rare reden, ik weet het niet eens meer, stuurde het die boodschap naar buiten als een netwerkbericht, zodat alle 200+ computers in het bedrijf dat bericht kregen, waar 100+ gebruikers programmeurs waren.

Ja, praat over massa-angst!

Ik hield mijn hoofd een tijdje laag op die plek!


36
2018-05-13 19:00



Haha, klinkt als wat er gebeurde met een vriend van mij hier met "net send" en ongeveer 1300 ontvangers :) - squillman
Ugh. Ik deed het 'net send'-probleem ook op de universiteit. Ik dacht: "ze moesten deze" verklaring hebben uitgeschakeld! ba-ding! overal in het lab hadden computers de boodschap over. Ik besloot mijn excuses aan te bieden aan de netbeheerder, en onderweg had elke computer die ik passeerde de boodschap over. /zucht - Matt Simmons
Yup, wandeling van schaamte daar! Mijn vriend kwam niet uit zijn stoel. Heb ook niet de moeite genomen om zijn telefoon te beantwoorden. - squillman
Haha een vriend van mij zond iedereen op de school "HELP! Ik zit vast in kamer 114" en natuurlijk kwam 60 seconden later een klein leger mensen opdagen om uit te vinden wie de boodschap had gestuurd - Mark Henderson♦
We hebben die functie feitelijk gebruikt om de sys-admin te punken op mijn junior college. Alle computerlabs gewist met valse AV-berichten en systeemuitschakelberichten die eruit zagen alsof ze van hem kwamen. Hij vermoedde sterk dat we de boosdoeners waren, maar ik en mijn buddy hadden elk een alibi (ik stuurde de eerste toen hij in de klas zat en hij stuurde de tweede toen ik in de klas zat) en de computers hadden generieke lab-aanmeldingen. - Shial