13 May
Estimados Clientes,
Hostifex se debe a sus clientes y debido a esto paso a detallar la cadena de sucesos que llevaron al colapso de uno de nuestros servidores y las consecuencias sabidos por todos de downtimes de sus cuentas.
El dia 12/05/09 en la mañana (Horario EST) la particion /var del servidor se monto en Read Only lo cual no nos permitia ejecutar ningun comando en el servidor como reiniciar servicios y/o reinciar el servidor, debimos solicitar a nuestro Datacenter el reinicio manual e in situ del server. Una vez reiniciado el server se debe hacer un fsck que consiste en una revision integra de los discos duros (Raid10, 4 discos de 320gb en total) asi como de los archivos contenidos en ellos, este proceso lamentablemente es lento y fue avisado a nuestros clientes en su debido momento. Luego de varias horas de revision fsck arrojo un error de Kernell Panic lo que basicamente significa la corrupcion del nucleo del sistema operativo, se intento por varios medios reparar este error y poder iniciar nuestro server pero nos fue imposible ante la envergadura de tamaña falla, aun no sabemos si se debido a una falla de Hardware o netamente de sistema operativo, estamos haciendo un reporte sobre esto, lamentablemente estamos sujetos a este tipo de fallas que son imprevistas y para las cuales no hay contingencia.
A las 17:00 EST (miami) decidimos adquirir un nuevo servidor el cual debio que ser ensamblado, formateado, configurado y puesto en marcha para poder comenzar a restaurar desde nuestro servidor externo donde guardamos backups diarios de todas las cuentas y configuraciones de nuestros clientes, estos trabajos comenzaron a las 20:00 EST y siendo hoy 13/05/09 aun continuamos restaurando las cuentas de nuestros clientes. El proceso de Restauracion es un proceso Delicado y complejo ya que el Software con el que contamos debe no solo copiar el contenido de sus cuentas, sino dejar todas las configuracion de scripts, mails, etc. tal como estaban antes de la falla del servidor antiguo.
A estas horas ya tenemos clientes con sus cuentas funcionando y el proceso de Restauracion va en la letra “m”. Hostifex quiere solicita a todos sus clientes las mas sinceras disculpas por el daño ocasionado nunca habiamos sufrido un problema tan grave ni que nos llevara downtimes tan altos, los invitamos a manifestar sus preocupaciones y dudas a nuestro centro de soporte; soporte@hostifex.com, todas las personas o empresas que sientan que hemos afectado la credibilidad como empresa o que les hallamos dañado su patrimonio y afectado economicamente con esta falla favor ponerse en contacto para buscar alguna medida compensatoria adicional a las entregadas por Hostifex.
Gracias por su comprension y paciencia.
Saludos Cordiales,
12 May
Estimados Clientes,
Como muchos de ustedes habran notado sufrimos un serio corte en nuestro servicios el dia 12 de Mayo en la madrugada/mañana, el corte de suministro se debio a que la particion /var se monto en “Read Only” lo que provoco la imposibilidad de entrar, reinciar servicios e incluso reiniciar el servidor. En estos momentos se ha reiniciado el server y esta realizando un fsck para revisar la integridad de los discos y de la informacion contenida en ellos. Entregamos las disculpas por este incidente y todas las molestias ocacionadas y derivadas del mismo.
Saludos,
Saludos Cordiales,