Cómo apagar correctamente un clúster Nutanix

Recibimos una notificación de que por tareas de mantenimiento eléctrico, van a apagar un CPD enterito, de manera que hay que apagar todo aquello que no sea crítico para liberar los SAI. Da la casualidad que hay un clúster de Nutanix recién montado pero sin máquinas de producción corriendo, así que es un candidato perfecto para ser apagado, lo que nos viene de perlas para hacer un mini tutorial sobre cómo apagar correctamente uno (no, aunque esté recién montado, el botonazo a los host no es un apagado correcto, los servicios del clúster se mosquean un poco). De manera que vamos abriendo nuestra consola de Putty, mRemoteNG, MobaXterm o lo que uséis para establecer conexiones SSH, ¡que empezamos!

¡Lo decía en serio! Lo primero de todo, nos conectamos a una CVM del clúster con nuestro usuario nutanix, y lanzamos el comando "ncc health_checks run_all". Si dan errores, te mostrará los KBs para tratarlos. Si no puedes y el problema persiste, tendrás que abrir un caso a soporte:

En nuestro caso, avisos menores sin KB, asi que seguimos adelante. Lo siguiente seria ver el listado de VMs en el clúster, y verificar que estén apagadas. Podemos verificarlo con el comando "acli vm.list power_state=on" Si no aparece nada, perfecto, es que están apagadas. Como en este caso el clúster no está en producción, no lanzo el comando, porque no hay nada que apagar. Pero lanzamos un "cluster status" con el fin de asegurarnos de que está funcionando correctamente. El comando en la captura superior, y a continuación, el resultado:

Podemos ver que realiza un chequeo nodo por nodo, y finaliza con un Success. Tras esto, ejecutamos un "cluster stop" con el fin de detener los servicios de clúster correctamente previo al apagado.

Cuidadin porque, como podéis ver en la imagen, pide confirmación, no es poner el típico "y" o "yes", si no que hay que escribir "I agree" para que se ejecute. Una vez confirmada la orden, y finalizado el proceso, nos avisará con un "succeed":

Ahora sí, sólo queda conectarnos a cada una de las CVMs e ir ejecutando el comando "sudo shutdown -P now"

A veces la CVM se pone un poco tonta. No suele ser lo habitual, pero tienes dos opciones...esperar unos minutos y volverlo a intentar, o pasar al esta vez ya si, ultimo punto, que es entrar en las IPMIs de los host, y ejecutar el Power Off. Ten en cuenta que la CVM no es mas que la Controller VM, aunque la apagues, el host sigue funcionando así que hay que apagarlo igualmente, o bien físicamente, o bien desde la tarjeta de gestión, nuestra IPMI (ILO para HP, iDRAC para Dell, ya sabes...)

Tienes el proceso completo descrito también en la fantástica documentación de Nutanix, aunque sin tantos detalles con capturas. Puedes verlo AQUI.

Cómo eliminar una VM en Nutanix via CLI

Este post iba a ser originalmente "cómo eliminar un Prism Central" debido a un problema de redes en el despliegue del mismo. Spoiler: si el Prism Central se ha desplegado pero no se ha podido registrar con absolutamente nada por problemas de redes, se puede tratar como una VM normal y corriente. Esto le quita un poco de color a este articulo, pero bueno, siempre es interesante conocer cómo eliminar una VM via CLI, sin acceso al interfaz web.

Para ello, hacemos login en una CVM con permisos de administrador y ejecutamos el siguiente comando:

acli vm.delete "nombre de la VM" 

No tiene mas, hasta la sintaxis es intuitiva. Os dejo una captura de pantalla del proceso:

No es mala idea ejecutar un "acli vm.list" para verificar el borrado de la VM, aunque en este caso lo verifiqué via GUI.

Si bien pudimos tratar el despliegue fallido de PC como una VM común, es fundamental entender el flujo correcto cuando Prism Central ya ha estado en uso.
Si Prism Central se ha registrado previamente con uno o más clústeres, NO debe eliminarse simplemente como una VM. Antes de borrar la VM, debe des-registrar PC del clúster a través de los pasos recomendados por Nutanix para evitar que los clústeres queden huérfanos o con referencias inconsistentes.

Aun así, dejaré un par de enlaces del proceso:

Aquí se puede ver como des-registrar Prism Central, previo a ningún tipo de borrado:

https://portal.nutanix.com/page/documents/kbs/details?targetId=kA00e000000XeZjCAK

Este otro enlace es ya para el borrado de la VM en sí: 

https://portal.nutanix.com/page/documents/kbs/details?targetId=kA00e000000LKnuCAG

Desbloquea el usuario y cambia el password admin de Nutanix

Seguro que te ha pasado —porque nos ha pasado a todos— que, tras una primera instalación de un clúster Nutanix, intentas acceder al dashboard de Prism y empieza la fiesta de combinaciones imposibles:

• Primero pruebas con aDMIN
• Luego con admin
• Después con la clásica Nutanix/4u
• Luego lo mismo, pero todo en minúsculas
• Más tarde te acuerdas de ese password que jurabas haber puesto la primera vez…
• Y finalmente recuerdas que ya lo habías cambiado hace semanas…

Y, para cuando te das cuenta, el usuario está bloqueado y tú te has quedado mirando la pantalla como si Prism fuese a tener piedad de ti.

La buena noticia: no hay necesidad de esperar al desbloqueo automático

Por defecto, el usuario admin se bloquea temporalmente tras varios intentos fallidos de autenticación. El bloqueo se levanta solo, sí… pero a veces no tienes tiempo para esperar, o simplemente no quieres estar mirando al infinito.

Asi que lo que vamos a hacer es conectarnos a cualquier CVM, y ya desde ahí puedes ejecutar un comando que limpia los intentos fallidos y desbloquea el usuario al instante:

allssh 'sudo faillock --user admin --reset'

En cuanto lo ejecutes, el usuario admin quedará desbloqueado manteniendo su contraseña actual, sin necesidad de cambiar nada más.

Y ya que estamos… quizá es buen momento para cambiar la contraseña

Si el bloqueo ha ocurrido porque ni tú mismo recuerdas la clave de admin, probablemente sea el momento perfecto para establecer una nueva.

Desde la CVM, simplemente ejecuta:

sudo passwd admin

Se te solicitará introducir la nueva contraseña dos veces. Solo recuerda que no puede ser la misma que la anterior (las políticas de seguridad de Nutanix no perdonan).

En la captura que acompaña este post podrás ver todos los comandos ejecutados paso a paso. Es realmente sencillo, pero te puede salvar de más de un susto en medio de una puesta en marcha o una noche de mantenimiento.

Consejo adicional

Aprovecha para documentar la contraseña en el sistema que utilicéis en tu empresa: gestor de contraseñas, vault, fichero seguro… lo que sea. Te ahorrarás este mismo episodio dentro de unos meses.

Cómo apagar un único nodo de un clúster Nutanix

Puntualmente podemos encontrarnos en la necesidad de tener que apagar los nodos de manera individual, con el fin de realizar algún tipo de mantenimiento sobre el mismo, como por ejemplo, un incremento de RAM.

Para esto, no hace falta apagar el clúster, sino que simplemente pondremos el nodo en mantenimiento. El sistema se encarga de balancear las VMs a los otros nodos. Todo este proceso se realiza desde la consola de administración de Nutanix. En este caso, sobre un Nutanix CE, realizo los pasos sobre Elements.

En el menú superior nos vamos a "Hardware". Por defecto, entra en la pestaña Overview. Nos vamos a "Table", y ahí podremos ver nuestros hosts. Pinchamos sobre el que vamos a apagar, y veremos una serie de opciones en el menú inferior. Una de ellas es "Enter in maintenance mode. Pulsamos el botón, y aparecerá el mensaje que tienes en pantalla, donde avisa del balanceo de las máquinas en ejecución.

Este proceso no es instantáneo, hay que darle tiempo al clúster, y esperar hasta que veas que está sin actividad, algo así:

IMPORTANTE: poner en mantenimiento el host APAGA la CVM. Los servicios relacionados con Prism se delegaran a otra CVM, si diese la casualidad que la CVM del host que vamos a apagar estuviera funcionando como controller de Prism Elements.

Seguidamente, tenemos que detener el host. Para ello, nos conectamos via SSH a otra CVM del cluster.con nuestro usuario nutanix, por ejemplo. Cambiamos a Bash, y ejecutamos los siguientes comandos:

ssh root@IP_del_host_AHV

shutdown -h now

Con esto, se apaga el host de manera controlada:

Si lo tenemos virtualizado, como es este caso, donde trabajo sobre nested host en ESXi, aparecerá la VM apagada

Supongamos que trabajamos sobre un host físico: el proceso es el mismo, solo que podríamos apagar de manera controlada el hipervisor tirando de iDrac, ILO o IPMI.

Para arrancar de nuevo el host, encendemos la VM y esperamos a que nos muestre el prompt de login, y desde Prism sacamos al nodo de mantenimiento:

En cuanto veamos que nos da en Prism la IP de la CVM, podemos abrir una conexion ssh contra la CVm que tiene que haber levantado ya, accedemos con nuestro user nutanix, y escribimos "cluster status". Si todo fue bien, nos anunciará un "Cluster succeed"

¡Ya está! ¡No tiene mas!

Recapitulando: ponemos en mantenimiento el nodo, entramos por ssh a la CVM de otro nodo, nos conectamos al AHV del nodo que vamos a apagar, lanzamos un shutdown, hacemos lo que tenemos que hacer, arrrancamos el host, y sacamos de mantenimiento.