Por: @vitorp
Publicado em: 2021-04-19

Gerenciamento completo do Cluster

Este laboratório tem como objetivo:

Orientar nos ajustes, comandos e configurações de infra do Cluster para auxiliar no desenvolvimento do épico de Gerenciamento completo do Cluster.

Provisionamento

Precisamos adicionar ao provisionamento do servidor a instalação dos seguintes serviços: corosync, pcs, pacemaker

Setup do cluster

STEP 2

Criação Chaves SSH - Se necessário

As chaves SSH ficam armazenadas na pasta .ssh do usuário. No caso do cluster precisamos fazer troca de chave entre o root dos servidores.

Quando chegamos no step 2 do setup, é necessário consultar se já existe um par de chaves criado no root.

Validar se existem os arquivos: /root/.ssh/id_rsa e /root/.ssh/id_rsa.pub

Se existirem, exibir o conteúdo do /root/.ssh/id_rsa.pub em tela para poder ser copiado.

Caso não existam os arquivos, é necessário aparecer um botão para gerar o par de chaves. Eles podem ser gerados através do usuário root usando o comando:

ssh-keygen -b 2048 -t rsa -f /root/.ssh/id_rsa -q -N ""

Obs: A execução deste comando pode demorar

Troca de chaves SSH entre os nós

Como a chave SSH já está gerada nos dois nós e as chaves públicas foram informadas no step anterior, basta adicionar permissão de acesso.

Validar se existe e se não existir, criar arquivo: /root/.ssh/authorized_keys

Adicionar uma linha neste arquivo com a chave pública informada no step anterior.

Adicionar fingerprint

Por padrão, o primeiro acesso SSH ao outro host precisa validar o fingerprint, então executamos um ssh-keyscan para que isso não seja necessário:

ssh-keyscan -H $ip_node_primario >> ~/.ssh/known_hosts
ssh-keyscan -H $ip_node_secundario >> ~/.ssh/known_hosts

Permissão SSH

Os nós do cluster precisam de permissão para conectar via ssh entre eles. Atualmente como não há gerenciamento, fazemos este permissionamento via provisionamento. Vamos precisar alterar o formato de funcionamento pois simplifica e deixamos de depender do provisionamento.

Houveram atualizações recentes no formato de funcionamento: https://projetos.itflex.com.br/issues/45722

A ideia era utilizarmos includes no sshd_config, porém só está disponível na versão 8.2 do openssh-server: https://bugzilla.mindrot.org/show_bug.cgi?id=2468

Considerando pronto o que será feito no ticket #45722, podemos criar/atualizar o .json com as informações cadastradas em tela e rodar o “itflex-access-update” para ajustar as configurações do sshd_config.

Atualmente o “itflex-access-update” não chama a role “itflex-ssh-client”, então temos que incluir.

Também era ideal rodar este comando já no início das configurações do cluster e também retornar erro caso o comando dê erro (pode acontecer caso a máquina esteja sem internet).

Botão Teste

O teste para o outro host pode ser feito através do comando abaixo passando o IP do outro host.

Retorno OK = 0 Retorno FALHA = 255

ssh -q -o BatchMode=yes -o StrictHostKeyChecking=no -o ConnectTimeout=5 $IP_OUTRO_NODE 'exit 0'

STEP 3

Atualmente configuramos o cluster através do ansible: https://git.itflex.com.br/itflex/server-v2-ansible/-/blob/master/v3/cluster-v3/roles/cluster-new/tasks/main.yml

As funções do ansible deverão ser convertidas para um motor de setup da iTFlex.

O ansible é executado nos dois nós até certo ponto, a partir das configurações do pcs é executado somente em um node. Diferenciarmos a instalação de um nó primário e um nó secundário é importante para que possamos seguir esta mesma lógica.

No STEP3 o nó principal já tem acesso ao secundário e irá conectar nele para efetuar as configurações.

Configurando arquivo hosts

Deve adicionar as duas linhas ao /etc/hosts:

$ip_node_primario    $nome_node_primario
$ip_node_secundario  $nome_node_secundario

Deve ser executado nos dois nós.

Executando escaneamento de chaves

Por padrão, o primeiro acesso SSH ao outro host precisa validar o fingerprint, então executamos um ssh-keyscan para que isso não seja necessário:

ssh-keyscan -H $nome_node_primario,$ip_node_primario >> ~/.ssh/known_hosts
ssh-keyscan -H $nome_node_secundario,$ip_node_secundario >> ~/.ssh/known_hosts

Deve ser executado nos dois nós.

Alterando senha do usuário hacluster

Setar senha “semprelinux” ou senha mais forte padrão para o usuário hacluster.

Deve ser executado nos dois nós

Criando arquivos de configuração do cluster

Provisionar template do arquivo /etc/corosync/corosync.conf:

# Please read the corosync.conf.5 manual page
totem {
    version: 2
	# Set name of the cluster
	cluster_name: clusterflex
	token: 10000

	# crypto_cipher and crypto_hash: Used for mutual node authentication.
	# If you choose to enable this, then do remember to create a shared
	# secret with "corosync-keygen".
	# enabling crypto_cipher, requires also enabling of crypto_hash.
	# crypto works only with knet transport
	crypto_cipher: none
	crypto_hash: none
}

logging {
	# Log the source file and line where messages are being
	# generated. When in doubt, leave off. Potentially useful for
	# debugging.
	fileline: off
	# Log to standard error. When in doubt, set to yes. Useful when
	# running in the foreground (when invoking "corosync -f")
	to_stderr: yes
	# Log to a log file. When set to "no", the "logfile" option
	# must not be set.
	to_logfile: yes
	logfile: /var/log/cluster/corosync.log
	# Log to the system log daemon. When in doubt, set to yes.
	to_syslog: yes
	# Log debug messages (very verbose). When in doubt, leave off.
	debug: off
	# Log messages with time stamps. When in doubt, set to hires (or on)
	#timestamp: hires
	logger_subsys {
		subsys: QUORUM
		debug: off
	}
}

quorum {
	# Enable and configure quorum subsystem (default: off)
	# see also corosync.conf.5 and votequorum.5
	#provider: corosync_votequorum
}

nodelist {
	# Change/uncomment/add node sections to match cluster configuration

	node {
		# Hostname of the node
		name: {{ $nome_node_primario }}
		# Cluster membership node identifier
		nodeid: 1
		# Address of first link
		ring0_addr: {{ $ip_node_primario }}
		# When knet transport is used it's possible to define up to 8 links
		#ring1_addr: 192.168.1.1
	}
	node {
		# Hostname of the node
		name: {{ $nome_node_secundario }}
		# Cluster membership node identifier
		nodeid: 2
		# Address of first link
		ring0_addr: {{ $ip_node_secundario }}
		# When knet transport is used it's possible to define up to 8 links
		#ring1_addr: 192.168.1.2
	}
	# ...
}

Deve ser executado nos dois nós