FAQ:NewInstanceMySQL

Work In Progress

Generalties

Warning:
Before anything, don't go further if you don't have read the first section "dbSQWare Concepts " !.

In this chapter, we will consider that SQWareCentral has been installed on dbsqware@sqwarebox.

Limits of this section

Ce chapitre ne traite que de l'ajout d'une nouvelle instance sur un socle déjà paramétré et fonctionnel.
Utilisez les portions qui concernent votre environnement et utilisez la méthode match ou manuelle au choix !

General operating procedure for integrating a new MySQL/MariaDB instance

There will potentially be 1 or 2 connections cases to process

"local" for Unix machines (or those with Cygwin) where a "mysql" will be performed on the machine hosting the instance (via SSH connection from dbsqware@sqwarebox)
"Distant" in cases where SSH access to the machine is not available (Windows, RDS, etc.)

Classic steps:

Setting up the environment
Checking system prerequisites for the "local" part (bash + rsync)
Manual tests
Deployment of the instance

You will see that these steps can be handled one by one or in batches !

Intégration d'une instance MySQL/MariaDB

Mise en place de l'environnement

Général

Explication du "DbAlias" (la clé unique dbSQWare)

La clé dbSQWare doit être unique et raccord avec ce qui aura été paramétré pour la variable gvsqw_DbAlias dans sqwmys_GlobalVar.cfg !
On va utiliser une variable, MYSQL_SID qui n'a aucune valeur pour MySQL/MariaDB mais qui va identifier l'instance dans dbSQWare.
Par "convention", on utilise souvent MYS "_" APPLI "_" ENV.
Exemple : MYS_MONAPPLI_PRD ou MYS_DEUXAPPLI_DEV ...
Mais rien n'est imposé, vous choisissez ce qui "vous arrange" ! Il faudra juste positionner la variable MYSQL_SID dans le profile du compte mysql avec la valeur souhaitée.

Explication des statuts

Une instance sera traitée en mode "local", c’est-à-dire que l’on va se connecter en "mysql" en local sur la machine qui porte l’instance (accès ssh depuis dbsqware@sqwarebox), statut "ON".
Une instance où l’on n’aurait pas d'accès unix local serait gérée en mode "distant" (style Windows, RDS, ...), statut "DIST".
Le statut "OFF" fait "disparaître" l’instance de la visu web.
Le statut "NEW" est utilisé comme statut intermédiaire entre le début et la fin du paramétrage d'une nouvelle instance.
Tous les autres statuts permettent d’afficher l’instance dans le référentiel (notamment "KEEP") mais ne seront pas pris en compte par les traitements automatiques.

Résumé des statuts :

Statut	Description
ON	gestion locale sous unix (le plus courant)
DIST	gestion uniquement à distance
KEEP	statut temporaire, lors d'une maintenance par exemple ou avant suppression complète
NEW	statut temporaire, lors du paramétrage
OFF	suppression visuelle de l'instance (sans suppression de son paramétrage)
XXX	non pris en charge ...

Déclaration de l'instance dans SQWareRepository avec SQWareWeb

Nous allons déclarer la nouvelle instance depuis l'interface d'administration de SQWareWeb.
|admin|Lien vers la console d'administration

Explication des champs :

Champ	Description
Db Alias	Clé unique qui identifie l'instance dans dbSQWare (pas de valeur pour MySQL/MariaDB)
Dbms Name	Type de SGBD
Virtual Host	Host virtuel (meme que Host si pas cluster)
Host Name	Hostname de l'instance
User Name	User qui porte l'instance
Port	Port d'écoute de l'instance
Comments	Une courte description de ce que porte l'instance
Status	Instance statut (cf plus haut pour les explications)
Contact	Un contact si besoin
Environnement	Environnement de l'instance (PRD, PPR, REC, DEV, TST, ...)
Client	Utilisé uniquement pour filtrer (mettre un nom de client et/ou de département et/ou service ...
GlobalHost	Champ libre dans lequel on met souvent l'hôte de hyperviseur par exemple
Custom1	Champ libre 1
Custom2	Champ libre 2

Regénérer les fichiers de référence de SQWareCentral

Tapez la commande suivante qui va générer les fichiers de référence : <syntaxhighlight lang="sh" line>

From : dbsqware@sqwarebox

gen_all </syntaxhighlight>

Procédure spécifique pour la partie "locale" (statut ON)

/!\ Uniquement que les instances qui seront en statut "ON" !

Vérification des prérequis système pour la partie "locale" (bash + rsync)

SQWareProduction étant écrit essentiellement en shell bash et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "bash" et "rsync" installés !

Vérification

Adaptez à votre nom de user et nom de machine.

bash: <syntaxhighlight lang="sh" line>

From : mysql@my_mysql_host

type bash

ou

which bash </syntaxhighlight> rsync: <syntaxhighlight lang="sh" line>

mysql@my_mysql_host

type rsync

ou

which rsync </syntaxhighlight>

Installation

Adaptez à votre type de machine (sudo si vous n'êtes pas root).

RedHat / CentOS / ... : <syntaxhighlight lang="sh" line>

From : root@my_mysql_host

yum install -y bash rsync

ou

dnf install -y bash rsync </syntaxhighlight>

Ubuntu / Debian / ... : <syntaxhighlight lang="sh" line>

From : root@my_mysql_host

apt install -y bash rsync </syntaxhighlight>

Modification user unix

Adaptez à votre type de machine (sudo si vous n'êtes pas root).
Modification du homedir (pas obligatoire mais évite de se retrouver dans /var/lib/mysql) : <syntaxhighlight lang="sh" line>

From : root@my_mysql_host

mkdir -p /home/mysql chown mysql:mysql /home/mysql chmod 750 /home/mysql </syntaxhighlight>

1. Stop instance (service mysql/mariadb stop -- ou -- systemctl stop mysql/mariadb)

usermod -d /home/mysql mysql -s /bin/bash

1. Start instance (service mysql/mariadb start -- ou -- systemctl start mysql/mariadb)

Ou directement vi /etc/passwd !

exemple : mysql:x:1004:989::/home/mysql:/bin/bash </syntaxhighlight>

Affectez un passwd au user mysql (sinon la connexion par échange de clés ne fonctionnera pas !) : <syntaxhighlight lang="sh" line>

From : root@my_mysql_host

passwd mysql </syntaxhighlight>

Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion locale)

Adaptez aux besoins en fonction de ce que vous voulez faire ...

Exemple pour une connexion "locale" <syntaxhighlight lang="sql" line> grant all privileges on *.* to 'DBSDBA'@'localhost' IDENTIFIED BY 'NePasMettreCePassword!' with grant option;

/* ou */ create user 'DBSDBA'@'localhost' IDENTIFIED BY 'NePasMettreCePassword!'; grant all privileges on *.* to 'DBSDBA'@'localhost' with grant option; </syntaxhighlight>

From : mysql@my_mysql_host
Puis, création du fichier .my.cnf pour permettre la connexion sans passer de passwd

echo "[client] password = NePasMettreCePassword! " >> $HOME/.my.cnf chmod 600 $HOME/.my.cnf </syntaxhighlight>

Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)

Il existe deux manières de procéder :

Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix mysql)
Une manuelle que vous appliquez sur chaque compte unix mysql

/!\ Le mdp de votre compte mysql unix doit avoir été initialisé, si non, la connexion par échange de clé ne fonctionnera pas !

Déploiement de(s) clé(s) ssh : méthode batch

From : dbsqware@sqwarebox

menu_mys GenDeplSshKeys_SQWareCentral GenLstInstanceNew </syntaxhighlight> Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Entrez le mdp unix quand il vous est demandé !

Déploiement de(s) clé(s) ssh : méthode manuelle

From : mysql@my_mysql_host

if [ ! -r $HOME/.ssh/id_rsa ] then ssh-keygen -t rsa -N '' -f $HOME/.ssh/id_rsa fi chmod go-w $HOME echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys chmod 700 $HOME/.ssh chmod 600 $HOME/.ssh/authorized_keys </syntaxhighlight> => Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox)

Test de connexion ssh depuis SQWareCentral

From : dbsqware@sqwarebox

menu_mys TestSshConnection GenLstInstanceNew </syntaxhighlight>

Test des prérequis sur l'hote cible (bash+rsync) ssh depuis SQWareCentral

From : dbsqware@sqwarebox

menu_mys TestSysPrerequisites GenLstInstanceNew </syntaxhighlight>

Déploiement de SQWareProduction

From : dbsqware@sqwarebox

Si depl sur user "unique"

menu_mys DeplScripts GenLstUniqueNew

Si depl sur user "de l'instance", celui spécifié dans SQWareRepository

menu_mys DeplScripts GenLstInstanceNew </syntaxhighlight> Pour user "unique" c'est l'utilisateur "standard", par défaut nous le réglons sur "mysql", et il peut être modifié dans SQWareCentral.

Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile

Une nouvelle fois, il existe deux manières de procéder :

Une automatique (depuis dbsqware@sqwarebox)
Une manuelle que vous appliquez sur chaque compte unix mysql

Ajout de l'environnement dbSQWare : méthode batch

From : dbsqware@sqwarebox

menu_mys AdddbSQWareProfile GenLstInstanceNew </syntaxhighlight> Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'

Ajout de l'environnement dbSQWare : méthode manuelle

Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile <syntaxhighlight lang="sh" line>

From : mysql@my_mysql_host

dbSQWare

export gvsqw_MysBin=$HOME/SQWareProduction/mysql/bin export gvsqw_Env='PRD' lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?) if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_MysBin/../etc/.profile_confort ] then . $gvsqw_MysBin/../etc/.profile_confort fi </syntaxhighlight>

Ajout de la variable MYSQL_SID

Ajoutez la variable MYSQL_SID dans le ~/.profile ou ~/.bash_profile <syntaxhighlight lang="sh" line>

From : mysql@my_mysql_host

export MYSQL_SID=MYS_INST_PRD </syntaxhighlight>

Test sendmail (non obligatoire)

From : dbsqware@sqwarebox

menu_mys TestSendmail GenLstInstanceNew </syntaxhighlight>

Test de connexion "manuel" à l'instance MySQL/MariaDB (connexion "locale")

/!\ Uniquement que les instances qui seront en statut "ON" ! <syntaxhighlight lang="sh" line>

From : dbsqware@sqwarebox

menu_mys TestInstConnectionOnNoMail GenLstInstanceNew </syntaxhighlight>

Procédure spécifique pour la partie "distante" (statut DIST)

Création d'un compte MySQL/MariaDB spécifique dbSQWare (Pour connexion distante)

Exemple pour une connexion "distante" <syntaxhighlight lang="sql" line> grant all privileges on *.* to 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!' with grant option;

/* ou */ create user 'DBSDBA'@'%' IDENTIFIED BY 'NePasMettreCePassword!'; grant all privileges on *.* to 'DBSDBA'@'%' with grant option; flush privileges; </syntaxhighlight>

Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix mysql@sqwarebox ...
<syntaxhighlight lang="sh" line>

vi /home/mysql/.passwd_mysql
DbAlias;UserName;Passwd;HostName;Port
MYS_APPLI_PRD;DBSDBA;NePasMettreCePassword!;srvdbmys01;3306

</syntaxhighlight>

Test connexion "distante"

From : dbsqware@sqwarebox

menu_mys TestInstConnectionDistNoMail GenLstInstanceNew </syntaxhighlight>

Mise en exploitation de l'instance

Génération de la configuration par défaut SQWareProduction

/!\ Uniquement que les instances qui seront en statut "ON" ! <syntaxhighlight lang="sh" line>

From : dbsqware@sqwarebox

menu_mys GenDefConf_SQWareProduction GenLstInstanceNew </syntaxhighlight>

Mise à jour de SQWareRepository

Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MySQL/MariaDB (à NEW actuellement) avec la valeur souhaitée (ON, DIST)

Test de "reprise" des indicateurs

A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !) <syntaxhighlight lang="sh" line>

From : dbsqware@sqwarebox
1. Pour les statuts "ON"

repind_mys

1. Pour les statuts "DIST"

repind_mys_dist </syntaxhighlight>

Exploitation (stats, backups, …) pour les instance "ON"

Génération des conf SQWareProduction

Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_mys GenDefConf_SQWareProduction GenLstInstanceNew".
Vous pouvez vérifier avec le chapitre suivant.

Se connecter à la machine qui porte l'instance « MySQL/MariaDB » et taper les commandes suivantes :
<syntaxhighlight lang="sh" line>

From dbsqware@vmyswarebox

c MYS_INST_PRD </syntaxhighlight>

Source de l'env si multi-instance (from mysql@my_mysql_host)

e MYS_INST_PRD </syntaxhighlight>

<syntaxhighlight lang="sh" line> too ./sqwmys_GenerateCreateInstance.ksh -dbsOnly </syntaxhighlight> Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.

Explications

Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/MYS_INST_PRD/sqwConfig) <syntaxhighlight lang="sh" line>

Entrez le nom de l’instance

e MYS_INST_PRD cfg cat sqwmys_Jobs.cfg </syntaxhighlight>

IndicDba: Gather DBAs indicators

IndicDba:$gvsqw_MysBin/sqwmys_GatherIndicators.ksh -I MYS_INST_PRD

Dump: backup all databases with mysqlDump

Dump:$gvsqw_MysBin/sqwmys_DumpAllDatabases.ksh -I MYS_INST_PRD -Exec

Optimize : optimize tables for all databases

Optimize:$gvsqw_MysBin/sqwmys_OptimizeAllDatabases.ksh -I MYS_INST_PRD -Exec

Analyse : analyze tables for all databases

Analyze:$gvsqw_MysBin/sqwmys_AnalyzeAllDatabases.ksh -I MYS_INST_PRD -Exec

XtraFull: Backup full with XtraBackup

XtraFull:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type full -Exec

XtraInc: Backup incremental with XtraBackup

XtraInc:$gvsqw_MysBin/sqwmys_XtraBackup.ksh -I MYS_INST_PRD -Type inc -Exec

MariaFull: Backup full with MariaBackup

MariaFull:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type full -Exec

MariaInc: Backup incremental with MariaBackup

MariaInc:$gvsqw_MysBin/sqwmys_MariaBackup.ksh -I MYS_INST_PRD -Type inc -Exec

PurgeAlert: Rotate error log

PurgeAlert:$gvsqw_MysBin/sqwmys_PurgeAlert.ksh -I MYS_INST_PRD </syntaxhighlight>

C’est un fichier de paramétrage qui est utilisé par le script sqwmys_RunJob.ksh pour exécuter des actions.

Fichier pour une cron par défaut $HOME/CrontabRef_MYS_INST_PRD : <syntaxhighlight lang="sh" line>

1. mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
2. MYS_INST_PRD
Purge alert

00 08 * * 0 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A PurgeAlert > $HOME/tmp/PurgeAlert_MYS_INST_PRD.log 2>&1'

Dump

00 20 * * * bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Dump > $HOME/tmp/Dump_MYS_INST_PRD.log 2>&1'

Optimize

00 04 * * 6 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Optimize > $HOME/tmp/Optimize_MYS_INST_PRD.log 2>&1'

Analyze

00 05 * * 6 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A Analyze > $HOME/tmp/Analyze_MYS_INST_PRD.log 2>&1'

XtraBackup
00 21 * * 6 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraFull > $HOME/tmp/XtraFull_MYS_INST_PRD.log 2>&1'
00 21 * * 1-5 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A XtraInc > $HOME/tmp/XtraInc_MYS_INST_PRD.log 2>&1'
MariaBackup
00 21 * * 6 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaFull > $HOME/tmp/MariaFull_MYS_INST_PRD.log 2>&1'
00 21 * * 1-5 bash -c '. $HOME/.profile MYS_INST_PRD;$gvsqw_MysBin/sqwmys_RunJob.ksh -I MYS_INST_PRD -A MariaInc > $HOME/tmp/MariaInc_MYS_INST_PRD.log 2>&1'