Instalação com Ansible

Introdução

Este manual descreve os procedimentos de instalação do GBDS.

Preparativos para Instalação

Esta seção abrange as etapas essenciais necessárias para a instalação do GBDS.

Todas as etapas devem ser executadas com privilégios de root em todos os nós, salvo indicação em contrário.

Para instalar totalmente o GBDS, você precisará de:

• Permissão de root no servidor

• Link do pacote de ferramentas GBDS

• Link do pacote Ambari Ansible

• Link do pacote OpenCV

• Arquivos .rpm e .sql do GBDS

• Arquivos .war e .sql dos softwares do Griaule Biometric Suite (opcional)

Caso não tenha os links do repositório ou os arquivos, entre em contato com a equipe de suporte da Griaule.

Em seguida, você deve seguir os passos apresentados abaixo. Essas etapas serão totalmente descritas em suas seções.

1. Faça login no servidor como root

2. Instale o GBDS Tools

3. Configure os arquivos de configuração do GBDS Tools

4. Execute a configuração automática do ambiente GBDS Tools

5. Instale o RDB

6. Instale o Ambari via Ansible

7. Instale o GBDS

8. Instale as aplicações GBS (opcional)

Antes de começar, certifique-se de que o hostname da máquina está correto. Para verificar, execute o comando:

hostname

Se não estiver correto, rode o comando:

hostnamectl set-hostname <hostname-desejado>
                         ^^^^^^^^^^^^^^^^^^^

Se o hostname for modificado, reinicie a máquina antes de prosseguir.

GBDS Tools

GBDS Tools é uma compilação de scripts bash com características específicas e usabilidade dinâmica. O objetivo principal da ferramenta é facilitar, aprimorar e acelerar a criação, configuração e gerenciamento de aplicações do ambiente.

Todos os scripts usam um único arquivo de configuração chamado properties.ini e um único arquivo de lista chamado cluster.list, que deve conter todas as informações do grupo de servidores.

Antes de começar, certifique-se de que o wget está instalado:

wget --version

Se não estiver, rode o comando:

yum install wget -y

Instalando o GBDS Tools

Você tem dois métodos para escolher instalar o GBDS Tools, um se tiver o repositório Griaule já configurado no seu servidor e outro se não tiver. Estes são explicados abaixo.

Escolha apenas uma alternativa. Após terminar um, não há necessidade de realizar o outro.

Repositório já configurado

Se você já configurou o repositório Griaule no seu servidor, você pode concluir todas as instalações com apenas um comando.

yum install gbds-tools

Se o repositório Griaule não estiver configurado, rodar o comando acima resultará no seguinte erro:

No package gbds-tools available
Error: Nothing to do

Neste caso, prossiga para Repositório não configurado.

Repositório não configurado

Caso não tenha o repositório configurado, você deve garantir o bom funcionamento da ferramenta. Para fazer isso, você DEVE inserir a ferramenta no diretório /opt/griaule.

Inicie criando o diretório:

mkdir -p /opt/griaule

Entre no diretório criado:

cd /opt/griaule

Em seguida, baixe o pacote de ferramentas GBDS:

wget <link do pacote de ferramentas GBDS>
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Caso não tenha o link, entre em contato com a Equipe de Suporte da Griaule.

Nos comandos abaixo, certifique-se de substituir <versão> pela versão do pacote que foi baixado.

Então, instale-o:

rpm -ivh gbds-tools-<versão>.el7.noarch.rpm
                    ^^^^^^^^

E crie um link simbólico:

ln -s /opt/griaule/gbds-tools-<versão>/ /opt/griaule/tools
                              ^^^^^^^^

Após uma instalação bem-sucedida, siga para a seção de configuração.

Configurando o GBDS Tools

Os arquivos de configuração utilizados pelo GBDS Tools se encontram no diretório: /opt/griaule/tools/shared. Neste diretório, há três arquivos que devem ser editados:

• properties.ini - arquivo de configuração principal

• cluster.list - arquivo principal de lista de nomes de host

• ip.list- arquivo secundário de nomes de host

Os arquivos são pré-configurados com valores padrão na maioria dos parâmetros. Observe se algo precisa ser alterado para atender às necessidades do seu ambiente.

Alterar os nomes de host nos arquivos para corresponder aos do ambiente é imperativo.

No arquivo properties.ini, procure as configurações SPECIFIC TO e execute as alterações necessárias para corresponder ao seu ambiente.

Na seção SPECIFIC TO AUTO_ENVSETUP, certifique-se de que o nome de usuário e senha estejam configurados corretamente em usernm, userpw e rootpw.

Na seção SPECIFIC TO INSTALL_MYSQL, anote a senha do RDB, configurada em dbuspw, pois ela será usada posteriormente.

No arquivo cluster.list, certifique-se de mudar os nomes de host e de adaptar o número de hosts em cada componente para que corresponda ao ambiente.

Por padrão, o arquivo é configurado para um cluster de três nós. Se o ambiente tiver, por exemplo, somente um nó, remova as menções aos nós 2 e 3 e substitua todos os nomes pelo nome de host do seu servidor.

No arquivo ip.list, certifique-se de mudar os nomes de host e os endereços IP para corresponder ao ambiente, seguindo o formato <nome de host>|<endereço IP> em cada linha.

Executando a configuração automática do ambiente

A configuração automática do ambiente, denominada auto_envsetup.sh, é a automação para configurar o ambiente. Você precisa executar este script ao construir um novo servidor do zero.

Para executar o script, execute o seguinte comando:

/opt/griaule/tools/auto_envsetup/auto_envsetup.sh --all

Em seguida, é recomendável atualizar todos os pacotes, se possível:

yum update -y

Instalando o RDB

Para usar o GBDS, você precisará de um banco de dados relacional instalado e configurado. Você pode escolher entre MySQL Server ou NDB Cluster.

Você só precisa executar uma instalação do RDB.

MySQL Server

Recomenda-se instalar o MySQL no nó mestre.

Para instalar o MySQL Server, execute:

/opt/griaule/tools/install_mysql/install_mysql.sh --single

Então, siga para Configurando a senha do RDB.

NDB Cluster

A instalação do NDB DEVE ser no nó MESTRE.

Ou, se você optar por instalar o NDB Cluster, execute:

/opt/griaule/tools/install_mysql/install_mysql.sh --cluster

Então, siga para Configurando a senha do RDB.

Configurando a senha do RDB

Após a instalação, tente logar no MySQL executando o comando:

mysql -u root -p

E inserindo a senha configurada no arquivo properties.ini em dbuspw, como mencionado na etapa anterior.

Se for possível logar, a instalação e configuração da senha foram bem sucedidas e você pode prosseguir para Configurando o MySQL.

---

Se não for possível logar e você ver o seguinte erro:

Error: Access denied for user '<username>'@'<host>' (using password: YES)

Será preciso modificar a senha manualmente. Para fazer isso, use o seguinte comando para obter a senha temporária criada durante a instalação:

grep "temporary password" /var/log/mysqld.log

Copie a senha temporária mostrada.

Então, mude a senha usando o seguinte comando:

Certifique-se de substituir <senha_desejada> pela senha desejada. Mantenha as apas.

mysqladmin -u root -p password "<senha_desejada>"
                                ^^^^^^^^^^^^^^^^

Quando solicitado, insira a senha temporária.

Então, tente logar no MySQL novamente usando a nova senha.

Se for possível logar, a instalação e configuração da senha foram bem sucedidas e você pode prosseguir para Configurando o MySQL.

Configurando o MySQL

Finalmente, configure o banco de dados para seu ambiente.

O arquivo de configuração encontra-se em: /etc/my.cnf.

As configurações padrão da instalação do RDB podem não ser as configurações desejadas. Verifique-as no arquivo de configuração my.cnf e adapte-as para atender às necessidades do ambiente.

Após realizar as alterações necessárias, aplique-as reiniciando o serviço:

systemctl restart mysqld

Instalando o Ambari

Para instalar o Ambari via Ansible, é necessário acessar o repositório Griaule.

Se o seu GBDS RDB não estiver no nó MESTRE, é recomendável iniciar outra instância RDB para o Ambari.

A instalação requer uma conexão com a internet e pode levar 45 minutos para ser concluída sem erros. Antes de instalar, verifique se sua conexão está estável.

Para iniciar a instalação do Ambari, entre no diretório do Ansible:

cd /etc/ansible

Então, baixe o pacote:

wget <link do pacote Ambari Ansible>
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Caso não tenha o link, entre em contato com a Equipe de Suporte da Griaule.

Em seguida, extraia os arquivos no diretório principal do Ansible, /etc/ansible, com o seguinte comando:

No comando abaixo, certifique-se de substituir <versão> pela versão do pacote que foi baixado.

tar -xvf ansible_hdp-<versão>.tar
                     ^^^^^^^^

Entre no diretório extraído:

cd /etc/ansible/ansible-hadoop

Como o processo leva algum tempo para ser concluído, é recomendável executar o script de instalação usando o screen para evitar interrupções.

Para isso, instale o screen:

yum install screen -y

Inicie uma nova sessão no screen:

screen -S ambari-install

Então, siga para a execução do script de instalação conforme descrito abaixo.

—

Caso a conexão com o servidor seja perdida, o script não será interrompido e você poderá retomar a sessão reconectando-se ao servidor e executando:

screen -r ambari-install

Então, execute o script de instalação:

./full-hadoop.sh

Responda às perguntas de instalação e prossiga até terminar.

Uma vez iniciado, NÃO interrompa nenhum dos scripts. Caso ocorra algum problema, entre em contato com a equipe de suporte da Griaule.

Instalando o GBDS

Para instalar o GBDS, você precisará de:

• .rpm do GBDS Cluster

• .rpm do GBDS Distribution

• .sql do script de dump do RDB do GBDS

• Link do pacote OpenCV

Comece movendo os dois arquivos .rpm para o diretório /opt/griaule/tools/deploy_application/files.

O arquivo .sql do script de dump do RDB deve ser salvo em outro diretório.

Após a execução do script a seguir, todo o conteúdo do diretório /opt/griaule/tools/deploy_application/files será excluído.

Então, execute o seguinte comando para instalar o GBDS:

/opt/griaule/tools/deploy_application/deploy_application.sh --gbds

Após tentar executar o script acima, se você receber o erro:

[ERROR] No OPENCV RPM found to be deployed. Make sure to stage the desired RPM

Entre no diretório files:

cd /opt/griaule/tools/deploy_application/files

E faça o download do pacote OpenCV:

wget <OpenCV package link>
     ^^^^^^^^^^^^^^^^^^^^^

Então, tente executar o script deploy_application.sh novamente.

Em seguida, execute o script de dump do RDB no servidor SQL.

mysql -u root -p < /PATH/DO/ARQUIVO/clear-rdb-<versão>.sql
                   ^^^^^^^^^^^^^^^^^          ^^^^^^^^

A senha do RDB foi configurada aqui.

Após terminar a instalação do GBDS, configure-o executando:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --gbds

Para revisar ou alterar manualmente as configurações, edite o arquivo de configuração localizado em: /etc/griaule/conf/gbds/application.conf. Para mais informações sobre as configurações, consulte o Manual de Configuração do GBDS.

Certifique-se de que o hostname no arquivo de configuração (application.conf) corresponde ao hostname do servidor.

Então, inicie a API do GBDS:

service gbsapid start

Teste se a API está em execução:

curl http://<host-ip>:8085/gbds/v2/operations/ping
            ^^^^^^^^^

A resposta esperada é:

{
	"data": "pong!"
}

Finalmente, inicie o GBDS:

gbdsstart

E acompanhe o log de execução:

gbdslogt

Instalando as aplicações GBS

Para instalar as Aplicações GBS, você precisará de:

• Arquivo .war para cada aplicação

• Script de dump .sql para cada aplicação

Primeiro, instale e configure o Tomcat para as aplicações web. Isto deve ser feito somente no servidor que hospedará as aplicações web. Use o seguinte comando:

/opt/griaule/tools/install_services/install_services.sh

Em seguida, mova os arquivos .war para o diretório /opt/griaule/tools/deploy_application/files e execute o comando:

/opt/griaule/tools/deploy_application/deploy_application.sh --services

Depois disso, configure as aplicações com o seguinte comando:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --services

Para explorar as configurações individuais de cada aplicação, consulte os manuais de configuração correspondentes listados aqui.