1. Introdução

Este manual descreve os procedimentos de instalação do GBDS 4. Este manual foi atualizado para o GBDS versão 4.2.0.x.

2. Preparativos para Instalação

Esta seção abrange as etapas essenciais necessárias para a instalação do GBDS.

Attention

Todas as etapas devem ser executadas com privilégios de root em todos os nós, salvo indicação em contrário.

Para instalar totalmente o GBDS, você precisará de:

  • Permissão de root no servidor
  • Link do pacote de ferramentas GBDS
  • Link do pacote Ambari Ansible
  • Link do pacote OpenCV
  • Arquivos .rpm e .sql do GBDS
  • Arquivos .war e .sql dos softwares do Griaule Biometric Suite (opcional)

Note

Caso não tenha os links do repositório ou os arquivos, entre em contato com a equipe de suporte da Griaule.

Em seguida, você deve seguir os passos apresentados abaixo. Essas etapas serão totalmente descritas em suas seções.

  1. Faça login no servidor como root
  2. Instale o GBDS Tools
  3. Configure os arquivos de configuração do GBDS Tools
  4. Execute a configuração automática do ambiente GBDS Tools
  5. Instale o RDB
  6. Instale o Ambari via Ansible
  7. Instale o GBDS
  8. Instale as aplicações GBS (opcional)

Tip

Antes de começar, certifique-se de que o hostname da máquina está correto. Para verificar, execute o comando:

hostname

Se não estiver correto, rode o comando:

hostnamectl set-hostname <hostname-desejado>
                         ^^^^^^^^^^^^^^^^^^^

Se o hostname for modificado, reinicie a máquina antes de prosseguir.

3. GBDS Tools

GBDS Tools é uma compilação de scripts bash com características específicas e usabilidade dinâmica. O objetivo principal da ferramenta é facilitar, aprimorar e acelerar a criação, configuração e gerenciamento de aplicações do ambiente.

Todos os scripts usam um único arquivo de configuração chamado properties.ini e um único arquivo de lista chamado cluster.list, que deve conter todas as informações do grupo de servidores.

Tip

Antes de começar, certifique-se de que o wget está instalado:

wget --version

Se não estiver, rode o comando:

yum install wget -y

3.1. Instalando o GBDS Tools

Você tem dois métodos para escolher instalar o GBDS Tools, um se tiver o repositório Griaule já configurado no seu servidor e outro se não tiver. Estes são explicados abaixo.

Note

Escolha apenas uma alternativa. Após terminar um, não há necessidade de realizar o outro.

3.1.1. Repositório já configurado

Se você já configurou o repositório Griaule no seu servidor, você pode concluir todas as instalações com apenas um comando.

yum install gbds-tools

Error

Se o repositório Griaule não estiver configurado, rodar o comando acima resultará no seguinte erro:

No package gbds-tools available
Error: Nothing to do

Neste caso, prossiga para Repositório não configurado.

3.1.2. Repositório não configurado

Caso não tenha o repositório configurado, você deve garantir o bom funcionamento da ferramenta. Para fazer isso, você DEVE inserir a ferramenta no diretório /opt/griaule.

Inicie criando o diretório:

mkdir -p /opt/griaule

Entre no diretório criado:

cd /opt/griaule

Em seguida, baixe o pacote de ferramentas GBDS:

wget <link do pacote de ferramentas GBDS>
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Note

Caso não tenha o link, entre em contato com a Equipe de Suporte da Griaule.

Tip

Nos comandos abaixo, certifique-se de substituir <versão> pela versão do pacote que foi baixado.

Então, instale-o:

rpm -ivh gbds-tools-<versão>.el7.noarch.rpm
                    ^^^^^^^^

E crie um link simbólico:

ln -s /opt/griaule/gbds-tools-<versão>/ /opt/griaule/tools
                              ^^^^^^^^

Após uma instalação bem-sucedida, siga para a seção de configuração.

3.2. Configurando o GBDS Tools

Existem três arquivos que você precisa prestar atenção na configuração. Estes são:

  • properties.ini - arquivo de configuração principal
  • cluster.list - arquivo principal de lista de nomes de host
  • ip.list- arquivo secundário de nome de host

Esses arquivos podem ser encontrados no diretório /opt/griaule/tools/shared. Os arquivos são pré-configurados com valores padrão na maioria dos parâmetros. Observe se algo precisa ser alterado para atender às necessidades do seu ambiente.

Warning

Alterar os nomes de host nos arquivos para corresponder aos do ambiente é imperativo.

Tip

No arquivo properties.ini, procure as configurações SPECIFIC TO e execute as alterações necessárias para corresponder ao seu ambiente.

Na seção SPECIFIC TO AUTO_ENVSETUP, certifique-se de que o nome de usuário e senha estejam configurados corretamente em usernm, userpw e rootpw.

Na seção SPECIFIC TO INSTALL_MYSQL, anote a senha do RDB, configurada em dbuspw, pois ela será usada posteriormente.

Tip

No arquivo cluster.list, certifique-se de mudar os nomes de host e de adaptar o número de hosts em cada componente para que corresponda ao ambiente.

Tip

No arquivo ip.list, certifique-se de mudar os nomes de host e os endereços IP para corresponder ao ambiente, seguindo o formato <nome de host>|<endereço IP> em cada linha.

3.3. Executando a configuração automática do ambiente

A configuração automática do ambiente, denominada auto_envsetup.sh, é a automação para configurar o ambiente. Você precisa executar este script ao construir um novo servidor do zero.

Para executar o script, execute o seguinte comando:

/opt/griaule/tools/auto_envsetup/auto_envsetup.sh --all

Em seguida, é recomendável atualizar todos os pacotes, se possível:

yum update -y

4. Instalando o RDB

Para usar o GBDS, você precisará de um banco de dados relacional instalado e configurado. Você pode escolher entre MySQL Server ou NDB Cluster.

Warning

Você só precisa executar uma instalação do RDB.

4.1. MySQL Server

Important

Recomenda-se instalar o MySQL no nó mestre.

Para instalar o MySQL Server, execute:

/opt/griaule/tools/install_mysql/install_mysql.sh --single

Então, siga para Configurando a senha do RDB.

4.2. NDB Cluster

Warning

A instalação do NDB DEVE ser no nó MESTRE.

Ou, se você optar por instalar o NDB Cluster, execute:

/opt/griaule/tools/install_mysql/install_mysql.sh --cluster

Então, siga para Configurando a senha do RDB.

4.3. Configurando a senha do RDB

Após a instalação, tente logar no MySQL executando o comando:

mysql -u root -p

E inserindo a senha configurada no arquivo properties.ini em dbuspw, como mencionado na etapa anterior.

Se for possível logar, a instalação e configuração da senha foram bem sucedidas e você pode prosseguir para Configurando o MySQL.

Se não for possível logar e você ver o seguinte erro:

Error: Access denied for user '<username>'@'<host>' (using password: YES)

Será preciso modificar a senha manualmente. Para fazer isso, use o seguinte comando para obter a senha temporária criada durante a instalação:

grep "temporary password" /var/log/mysqld.log

Copie a senha temporária mostrada.

Então, mude a senha usando o seguinte comando:

Note

Certifique-se de substituir <senha_desejada> pela senha desejada. Mantenha as apas.

mysqladmin -u root -p password "<senha_desejada>"
                                ^^^^^^^^^^^^^^^^

Quando solicitado, insira a senha temporária.

Então, tente logar no MySQL novamente usando a nova senha.

Se for possível logar, a instalação e configuração da senha foram bem sucedidas e você pode prosseguir para Configurando o MySQL.

4.4. Configurando o MySQL

Finalmente, configure o banco de dados para seu ambiente.

O arquivo de configuração encontra-se em: /etc/my.cnf.

Attention

As configurações padrão da instalação do RDB podem não ser as configurações desejadas. Verifique-as no arquivo de configuração my.cnf e adapte-as para atender às necessidades do ambiente.

Após realizar as alterações necessárias, aplique-as reiniciando o serviço:

systemctl restart mysqld

5. Instalando o Ambari

Para instalar o Ambari via Ansible, é necessário acessar o repositório Griaule.

Attention

Se o seu GBDS RDB não estiver no nó MESTRE, é recomendável iniciar outra instância RDB para o Ambari.

Note

A instalação requer uma conexão com a internet e pode levar 45 minutos para ser concluída sem erros. Antes de instalar, verifique se sua conexão está estável.

Para iniciar a instalação do Ambari, entre no diretório do Ansible:

cd /etc/ansible

Então, baixe o pacote:

wget <link do pacote Ambari Ansible>
     ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^

Note

Caso não tenha o link, entre em contato com a Equipe de Suporte da Griaule.

Em seguida, extraia os arquivos no diretório principal do Ansible, /etc/ansible, com o seguinte comando:

Tip

No comando abaixo, certifique-se de substituir <versão> pela versão do pacote que foi baixado.

tar -xvf ansible_hdp-<versão>.tar
                     ^^^^^^^^

Entre no diretório extraído:

cd /etc/ansible/ansible-hadoop

Tip

Como o processo leva algum tempo para ser concluído, é recomendável executar o script de instalação usando o screen para evitar interrupções.

Para isso, instale o screen:

yum install screen -y

Inicie uma nova sessão no screen:

screen -S ambari-install

Então, siga para a execução do script de instalação conforme descrito abaixo.

—

Caso a conexão com o servidor seja perdida, o script não será interrompido e você poderá retomar a sessão reconectando-se ao servidor e executando:

screen -r ambari-install

Então, execute o script de instalação:

./full-hadoop.sh

Responda às perguntas de instalação e prossiga até terminar.

Warning

Uma vez iniciado, NÃO interrompa nenhum dos scripts. Caso ocorra algum problema, entre em contato com a equipe de suporte da Griaule.

6. Instalando o GBDS

Para instalar o GBDS, você precisará de:

  • .rpm do GBDS Cluster
  • .rpm do GBDS Distribution
  • .sql do script de dump do RDB do GBDS
  • Link do pacote OpenCV

Comece movendo os dois arquivos .rpm para o diretório /opt/griaule/tools/deploy_application/files.

O arquivo .sql do script de dump do RDB deve ser salvo em outro diretório.

Warning

Após a execução do script a seguir, todo o conteúdo do diretório /opt/griaule/tools/deploy_application/files será excluído.

Então, execute o seguinte comando para instalar o GBDS:

/opt/griaule/tools/deploy_application/deploy_application.sh --gbds

Note

Após tentar executar o script acima, se você receber o erro:

[ERROR] No OPENCV RPM found to be deployed. Make sure to stage the desired RPM

Entre no diretório files:

cd /opt/griaule/tools/deploy_application/files

E faça o download do pacote OpenCV:

wget <OpenCV package link>
     ^^^^^^^^^^^^^^^^^^^^^

Então, tente executar o script deploy_application.sh novamente.

Em seguida, execute o script de dump do RDB no servidor SQL.

mysql -u root -p < /PATH/DO/ARQUIVO/clear-rdb-<versão>.sql
                   ^^^^^^^^^^^^^^^^^          ^^^^^^^^

Tip

A senha do RDB foi configurada aqui.

Após terminar a instalação do GBDS, você precisa configurá-lo. Se você precisar apenas do GBDS e nenhuma aplicação GBS, execute o seguinte comando, caso contrário, PULE ESTE PASSO:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --gbds

Para revisar ou alterar manualmente as configurações, edite o arquivo de configuração localizado em: /etc/griaule/conf/gbds/application.conf. Para mais informações sobre as configurações, consulte o Manual de Configuração do GBDS 4.

Então, inicie a API do GBDS:

service gbsapid start

Teste se a API está em execução:

curl http://<host-ip>:8085/gbds/v2/operations/ping
            ^^^^^^^^^

A resposta esperada é:

{"data": "pong!"}

Finalmente, inicie o GBDS:

gbdsstart

E acompanhe o log de execução:

gbdslogt

7. Instalando as aplicações GBS

Para instalar as Aplicações GBS, você precisará de:

  • Arquivo .war para cada aplicação
  • Script de dump .sql para cada aplicação

Primeiro, instale e configure o Tomcat para os Webapps. Isso é feito em apenas UM servidor. Use o seguinte comando:

/opt/griaule/tools/install_services/install_services.sh

Em seguida, mova os arquivos .war para o diretório /opt/griaule/tools/deploy_application/files e execute o comando:

/opt/griaule/tools/deploy_application/deploy_application.sh --services

Depois disso, configure as aplicações.

Danger

O script de configuração, auto_appconfig.sh, deve ser executado somente UMA VEZ. Existem dois casos possíveis descritos abaixo. Certifique-se de executar o comando adequado de acordo com seu ambiente.

Caso JÁ TENHA o GBDS configurado (tendo executado o comando de configuração mostrado na seção anterior), você pode configurar somente as aplicações web com o seguinte comando:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --services

Caso NÃO TENHA o GBDS configurado (tendo pulado comando de configuração mostrado na seção anterior), execute o seguinte comando para configurar as aplicações web e o GBDS de uma vez:

/opt/griaule/tools/auto_appconfig/auto_appconfig.sh --all

Note

Para explorar as configurações individuais de cada aplicação, consulte os manuais de configuração correspondentes listados aqui.