Welcome to the May First Movement Technology Status Page

-----BEGIN PGP SIGNED MESSAGE-----
Hash: SHA512

Servers Affected/Servidores afectados: various
Period Affected/Horas afectadas: 2018-11-11 - 2018-11-12
Date/Fecha: 2018-11-13

Approximately 10 servers experienced web outages between 6:30 am and 9:00 am
America/New_York time on Sunday November 11 and Monday November 12.

The outages were caused by a combination of factors. First, we are
re-organizing our backup routines, which is causing signficantly more disk
usage in the early hours of the morning.

Second, and more importantly, our automated upgrades run at 6:30 am every
morning. That means, every day at 6:30 am 1/7 of all of our servers pull in
security and other updates. This normally does not register any performance
problems. However, starting on Sunday, the new updates included both an apache
(web server) update as well as a kernel upgrade (which causes a large initramfs
file to be regenerated). The upgrade started by turning off the web server.
Then, due to the increase disk usage from our backups plus the fact that the
upgrades were running simultaneously on many servers sharing the same disks at
the same time, the upgrades took a very long time to complete (up to a few
hours) leading to the apache down time.

We fixed the problem monday night by running all remaining updates serially. We
are looking into chaning our upgrade schedule so that not all servers run the
upgrades at the same time in the future.

- ----

Aproximadamente 10 servidores experimentaron cortes en la web entre las 6:30 am
y las 9:00 am America / New_York time el domingo 11 de noviembre y el lunes 12
de noviembre.

Las interrupciones fueron causadas por una combinación de factores. Primero
somos reorganizar nuestras rutinas de respaldo, lo que está causando
significativamente más disco Uso en las primeras horas de la mañana.

Segundo, y más importante, nuestras actualizaciones automáticas se ejecutan a
las 6:30 am cada Mañana. Eso significa que todos los días a las 6:30 a.m. 1/7
de todos nuestros servidores se detienen Seguridad y otras actualizaciones.
Esto normalmente no registra ninguna actuación.  problemas. Sin embargo, a
partir del domingo, las nuevas actualizaciones incluyeron tanto un apache
(servidor web) de actualización, así como una actualización del kernel (lo que
causa un gran initramfs) archivo a ser regenerado). La actualización comenzó
apagando el servidor web.  Luego, debido al aumento en el uso del disco de
nuestras copias de seguridad más el hecho de que las actualizaciones se
ejecutaban simultáneamente en muchos servidores que comparten los mismos discos
en Al mismo tiempo, las actualizaciones tardaron mucho tiempo en completarse
(hasta unos pocos horas) que conducen al tiempo de inactividad de apache.

Arreglamos el problema la noche del lunes ejecutando todas las actualizaciones
restantes en serie. Nosotros están estudiando la posibilidad de cambiar nuestro
programa de actualización para que no todos los servidores ejecuten el
Actualizaciones al mismo tiempo en el futuro.
-----BEGIN PGP SIGNATURE-----

iQIzBAEBCgAdFiEEH5wwyzz8XamYf6A1oBTAWmB7dTUFAlvq+60ACgkQoBTAWmB7
dTUL/RAAyIMjXYWM9SMvjL7M6Tm3XFqgXHAKCoTw7PxnuV1qzbWY0wgD0nKfbVH3
X9lDf7uv2P6zMYpw0Mrloeaa1r1vmP+Q59ewTCsOs+rqNWxtrRiGK4e022Mos0gC
sVQ5X0rWPrz7O1nQqyW63QBmGXtKDo5xu1hhydl/5YoQuw45xOTanflaSovEderm
00iCt+pdNaFng/+THkz8+FUx1wZZl3Sdauo1Mya/XVsQjf+OlgQswgwwqSQWVYNV
/AoLpstc8NJ9hsPaZV0DVgwNvEkATjIJRb3ETA4eqsZYwjuR11HFVO7+5kl5vgPd
GvFuHKDEWRUYPe3//05noaN2untDskxc0x7Pk71ZretCbpA43fnWV3cFyNQUjYEa
g1bS/FrDyrFe0eTtrT/5EXIj4VZw0Fb/XgFgDnBrQR7C0GENPl8rkdLVhMh+0Iax
QPaoqeHMc2vHJUX03h/y5sTB0zUv/JrHAkquft7zN1S6E0/b/bXvaWIwcNJuZkt/
ehnB7/VUTl4zzBRbEpXCwsDMCc5Kr2L1+4hOzl7SixjQM5/Jz4UIKeVkivpYdaU9
ISC+WNQSxY0Xs/0yM5oAYWM1yQsZRjL2+mAJ8Hz0dbyRnVytBn2bUciGfRLZgExi
U9TwxZbAmp31v09nvbXpYDn0wk6npyxPme0BMmBtsKJl4EZ2qhQ=
=n/8T
-----END PGP SIGNATURE-----

Welcome to the May First Movement Technology Status Page

web site outages - sunday and monday morning