Instalación con Ansible

Introducción

Este manual describe los procedimientos de instalación del GBDS.

Preparativos para la Instalación

Esta sección abarca los pasos esenciales necesarios para la instalación del GBDS.

Todos los pasos deben ejecutarse con privilegios de root en todos los nodos, salvo indicación en contrario.

Para instalar completamente el GBDS, necesitará:

• Permiso de root en el servidor

• Enlace del paquete de herramientas GBDS

• Enlace del paquete Ambari Ansible

• Enlace del paquete OpenCV

• Archivos .rpm y .sql del GBDS

• Archivos .war y .sql de los softwares del Griaule Biometric Suite (opcional)

Si no tiene los enlaces del repositorio o los archivos, contacte con el equipo de soporte de Griaule.

A continuación, debe seguir los pasos presentados abajo. Estas etapas serán descritas completamente en sus secciones.

1. Inicie sesión en el servidor como root

2. Instale el GBDS Tools

3. Configure los archivos de configuración del GBDS Tools

4. Ejecute la configuración automática del entorno GBDS Tools

5. Instale el RDB

6. Instale el Ambari vía Ansible

7. Instale el GBDS

8. Instale las aplicaciones GBS (opcional)

Antes de comenzar, asegúrese de que el nombre de host de la máquina es correcto. Para verificar, ejecute el comando:

nombre de host

Si no está correcto, ejecute el comando:

hostnamectl set-hostname <hostname-deseado>
                         ^^^^^^^^^^^^^^^^^^^

Si el hostname se modifica, reinicie la máquina antes de continuar.

GBDS Tools

GBDS Tools es una compilación de scripts bash con características específicas y usabilidad dinámica. El objetivo principal de la herramienta es facilitar, mejorar y acelerar la creación, configuración y gestión de aplicaciones del entorno.

Todos los scripts usan un único archivo de configuración llamado properties.ini y un único archivo de lista llamado cluster.list, que debe contener toda la información del grupo de servidores.

Antes de comenzar, asegúrese de que el wget está instalado:

wget --version

Si no está, ejecute el comando:

yum install wget -y

Instalando el GBDS Tools

Tiene dos métodos para elegir instalar el GBDS Tools, uno si tiene el repositorio Griaule ya configurado en su servidor y otro si no lo tiene. Estos se explican a continuación.

Elija solo una alternativa. Después de terminar una, no hay necesidad de realizar la otra.

Repositorio ya configurado

Si ya configuró el repositorio Griaule en su servidor, puede completar todas las instalaciones con solo un comando.

yum install gbds-tools

Si el repositorio Griaule no está configurado, ejecutar el comando anterior resultará en el siguiente error:

No package gbds-tools available
Error: Nothing to do

En este caso, proceda a Repositorio no configurado.

Repositorio no configurado

Si no tiene el repositorio configurado, debe garantizar el buen funcionamiento de la herramienta. Para hacer esto, usted DEBE insertar la herramienta en el directorio /opt/griaule.

Comience creando el directorio:

mkdir -p /opt/griaule

Ingrese al directorio creado:

cd /opt/griaule

A continuación, descargue el paquete de herramientas GBDS:

wget <enlace del paquete de herramientas GBDS>
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Si no tiene el enlace, contacte con el Equipo de Soporte de Griaule.

En los comandos abajo, asegúrese de sustituir <versión> por la versión del paquete que fue descargada.

Entonces, instálelo:

rpm -ivh gbds-tools-<versión>.el7.noarch.rpm
                    ^^^^^^^^

Y cree un enlace simbólico:

ln -s /opt/griaule/gbds-tools-<versión>/ /opt/griaule/tools
                              ^^^^^^^^

Después de una instalación exitosa, continúe a la sección de configuración.

Configurando el GBDS Tools

Los archivos de configuración utilizados por el GBDS Tools se encuentran en el directorio: /opt/griaule/tools/shared. En este directorio, hay tres archivos que deben ser editados:

• properties.ini - archivo de configuración principal

• cluster.list - archivo principal de lista de nombres de host

• ip.list- archivo secundario de nombres de host

Los archivos están preconfigurados con valores por defecto en la mayoría de los parámetros. Revise si algo necesita ser cambiado para satisfacer las necesidades de su entorno.

Cambiar los nombres de host en los archivos para que coincidan con los del entorno es imperativo.

En el archivo properties.ini, busque las configuraciones SPECIFIC TO y ejecute los cambios necesarios para que coincidan con su entorno.

En la sección SPECIFIC TO AUTO_ENVSETUP, asegúrese de que el nombre de usuario y contraseña estos estén configurados correctamente en usernm, userpw y rootpw.

En la sección SPECIFIC TO INSTALL_MYSQL, anote la contraseña del RDB, configurada en dbuspw, ya que será usada posteriormente.

En el archivo cluster.list, asegúrese de cambiar los nombres de host y de adaptar el número de hosts en cada componente para que coincida con el entorno.

Por defecto, el archivo está configurado para un clúster de tres nodos. Si el entorno tiene, por ejemplo, solo un nodo, elimine las menciones a los nodos 2 y 3 y reemplace todos los nombres por el nombre de host de su servidor.

En el archivo ip.list, asegúrese de cambiar los nombres de host y los direcciones IP para que coincidan con el entorno, siguiendo el formato <nombre de host>|<dirección IP> en cada línea.

Ejecutando la configuración automática del entorno

La configuración automática del entorno, denominada auto_envsetup.sh, es la automatización para configurar el entorno. Necesita ejecutar este script al construir un nuevo servidor desde cero.

Para ejecutar el script, ejecute el siguiente comando:

/opt/griaule/tools/auto_envsetup/auto_envsetup.sh --all

A continuación, es recomendable actualizar todos los paquetes, si es posible:

yum update -y

Instalando el RDB

Para usar el GBDS, necesitará una base de datos relacional instalada y configurada. Puede elegir entre MySQL Server o NDB Cluster.

Solo necesita realizar una instalación del RDB.

MySQL Server

Se recomienda instalar MySQL en el nodo maestro.

Para instalar MySQL Server, ejecute:

/opt/griaule/tools/install_mysql/install_mysql.sh --single

Entonces, continúe a Configurando la contraseña del RDB.

NDB Cluster

La instalación del NDB DEBE debe ser en el nodo MAESTRO.

O, si opta por instalar el NDB Cluster, ejecute:

/opt/griaule/tools/install_mysql/install_mysql.sh --cluster

Entonces, continúe a Configurando la contraseña del RDB.

Configurando la contraseña del RDB

Después de la instalación, intente iniciar sesión en MySQL ejecutando el comando:

mysql -u root -p

E introduciendo la contraseña configurada en el archivo properties.ini en dbuspw, como se mencionó en la etapa anterior.

Si es posible iniciar sesión, la instalación y configuración de la contraseña fueron exitosas y puede continuar a Configurando MySQL.

---

Si no es posible iniciar sesión y ve el siguiente error:

Error: Access denied for user '<username>'@'<host>' (using password: YES)

Será necesario modificar la contraseña manualmente. Para hacer esto, use el siguiente comando para obtener la contraseña temporal creada durante la instalación:

grep "temporary password" /var/log/mysqld.log

Copie la contraseña temporal mostrada.

Entonces, cambie la contraseña usando el siguiente comando:

Asegúrese de sustituir <senha_desejada> por la contraseña deseada. Mantenga las comillas.

mysqladmin -u root -p password "<senha_desejada>"
                                ^^^^^^^^^^^^^^^^

Cuando se le solicite, introduzca la contraseña temporal.

Luego, intente iniciar sesión en MySQL nuevamente usando la nueva contraseña.

Si es posible iniciar sesión, la instalación y configuración de la contraseña fueron exitosas y puede continuar a Configurando MySQL.

Configurando MySQL

Finalmente, configure la base de datos para su entorno.

El archivo de configuración se encuentra en: /etc/my.cnf.

Las configuraciones por defecto de la instalación del RDB pueden no ser las deseadas. Verifíquelas en el archivo de configuración my.cnf y adáptelas para satisfacer las necesidades del entorno.

Después de realizar los cambios necesarios, aplíquelos reiniciando el servicio:

systemctl restart mysqld

Instalando el Ambari

Para instalar Ambari vía Ansible, es necesario acceder al repositorio Griaule.

Si su GBDS RDB no está en el nodo MAESTRO, se recomienda iniciar otra instancia RDB para Ambari.

La instalación requiere una conexión a internet y puede tardar 45 minutos en completarse sin errores. Antes de instalar, verifique que su conexión sea estable.

Para iniciar la instalación de Ambari, entre en el directorio del Ansible:

cd /etc/ansible

Luego, descargue el paquete:

wget <enlace del paquete Ambari Ansible>
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Si no tiene el enlace, contacte con el Equipo de Soporte de Griaule.

A continuación, extraiga los archivos en el directorio principal de Ansible, /etc/ansible, con el siguiente comando:

En el comando abajo, asegúrese de sustituir <versión> por la versión del paquete que fue descargada.

tar -xvf ansible_hdp-<versión>.tar
                     ^^^^^^^^

Ingrese al directorio extraído:

cd /etc/ansible/ansible-hadoop

Como el proceso tarda algún tiempo en completarse, es recomendable ejecutar el script de instalación usando el screen para evitar interrupciones.

Para ello, instale el screen:

yum install screen -y

Inicie una nueva sesión en el screen:

screen -S ambari-install

Luego, continúe con la ejecución del script de instalación según se describe abajo.

—

Si la conexión con el servidor se pierde, el script no se interrumpirá y podrá retomar la sesión reconectándose al servidor y ejecutando:

screen -r ambari-install

Entonces, ejecute el script de instalación:

./full-hadoop.sh

Responda a las preguntas de instalación y continúe hasta terminar.

Una vez iniciado, NO interrumpa ninguno de los scripts. En caso de algún problema, contacte con el equipo de soporte de Griaule.

Instalando el GBDS

Para instalar el GBDS, necesitará:

• .rpm del GBDS Cluster

• .rpm del GBDS Distribution

• .sql del script de volcado (dump) del RDB del GBDS

• Enlace del paquete OpenCV

Comience moviendo los dos archivos .rpm al directorio /opt/griaule/tools/deploy_application/files.

El archivo .sql el script de volcado del RDB debe guardarse en otro directorio.

Después de ejecutar el siguiente script, todo el contenido del directorio /opt/griaule/tools/deploy_application/files será eliminado.

Entonces, ejecute el siguiente comando para instalar el GBDS:

/opt/griaule/tools/deploy_application/deploy_application.sh --gbds

Después de intentar ejecutar el script anterior, si recibe el error:

[ERROR] No OPENCV RPM found to be deployed. Make sure to stage the desired RPM

Ingrese al directorio files:

cd /opt/griaule/tools/deploy_application/files

Y descargue el paquete OpenCV:

wget <enlace del paquete OpenCV>
     ^^^^^^^^^^^^^^^^^^^^^

Luego, intente ejecutar el script deploy_application.sh nuevamente.

A continuación, ejecute el script de volcado del RDB en el servidor SQL.

mysql -u root -p < /PATH/DEL/ARCHIVO/clear-rdb-<versión>.sql
                   ^^^^^^^^^^^^^^^^^          ^^^^^^^^

La contraseña del RDB fue configurada aquí.

Después de terminar la instalación del GBDS, configúrelo ejecutando:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --gbds

Para revisar o cambiar manualmente las configuraciones, edite el archivo de configuración ubicado en: /etc/griaule/conf/gbds/application.conf. Para más información sobre las configuraciones, consulte el Manual de Configuración del GBDS.

Asegúrese de que el nombre de host en el archivo de configuración (application.conf) corresponda al nombre de host del servidor.

Entonces, inicie la API del GBDS:

service gbsapid start

Pruebe si la API está en ejecución:

curl http://<host-ip>:8085/gbds/v2/operations/ping
            ^^^^^^^^^

La respuesta esperada es:

{
	"data": "pong!"
}

Finalmente, inicie el GBDS:

gbdsstart

Y monitoree el log de ejecución:

gbdslogt

Instalando las aplicaciones GBS

Para instalar las Aplicaciones GBS, necesitará:

• Archivo .war para cada aplicación

• Script de volcado (dump) .sql para cada aplicación

Primero, instale y configure Tomcat para las aplicaciones web. Esto debe hacerse solo en el servidor que alojará las aplicaciones web. Use el siguiente comando:

/opt/griaule/tools/install_services/install_services.sh

Luego, mueva los archivos .war al directorio /opt/griaule/tools/deploy_application/files y ejecute el comando:

/opt/griaule/tools/deploy_application/deploy_application.sh --services

Después de eso, configure las aplicaciones con el siguiente comando:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --services

Para explorar las configuraciones individuales de cada aplicación, consulte los manuales de configuración correspondientes listados aquí.