FAQ:NewInstanceMsSql Linux

Generalties

In this chapter, we will consider that SQWareCentral has been installed on dbsqware@sqwarebox.

Limits of this section

This chapter only deals with adding a new instance to a base that is already configured and functional.
Use the portions that apply to your environment, and choose either the automatic or manual method as desired

General operating procedure for integrating a new Sql-Server instance

There is only the case of remote connection to handle. We make an SQL connection from mssql@sqwarebox via FreeTds (OpenSource TDS connection client).

Classic steps:

• Setting up the environment

• Manual tests

• Deployment of the instance

You will see that these steps can be handled one by one or in batches!

Integration of an SQL-server instance

Setting up the environment

General

Explanation of "DbAlias" (the unique dbSQWare key)

The dbSQWare key must be unique and must match the entry configured in the freetds.conf file to connect to the instance. Generally, when there is no named instance, we use the name of the Windows host that holds the instance. When there is a named instance, we concatenate the name of the Windows host and the instance name, separated by an underscore (do not use a backslash, we are on Linux!)."
Examples :

• WINMSQ => WINMSQ (status ON/LINUX)
• WINMSQ\INST1 => WINMSQ_INST1 (status ON/LINUX)

Explanation of statuses

Classically, for SQL Server, the status is 'ON'
The 'OFF' status makes the instance disappear from the web view.
The 'NEW' status is used as an intermediate status between the beginning and the end of setting up a new instance.
All other statuses allow the instance to be displayed in the repository (especially 'KEEP'), but they will not be taken into account by the automatic processes."

Resume of statuses :

Statut	Description
LINUX	locale instance(under Unix only)
KEEP	temporary status, during maintenance for example or before complete deletion
NEW	temporary status, during configuration
NEW_LINUX	temporary status, during configuration (under Unix only)
OFF	visual removal of the instance (without deleting its configuration)
XXX	not supported...

Instance declaration in SQWareRepository with SQWareWeb

We will declare the new instance from the SQWareWeb administration interface.

Declare the new instance with the status "NEW" (Add or Duplicate).


Explanation of the fields :

Fields	Description
Db Alias	Unique key that identifies the instance in dbSQWare (no value for MySQL/MariaDB).
Dbms Name	Type of SGBD
Virtual Host	Virtual Host (same as Host if not clustered) .
Host Name	Hostname of the instance
User Name	User associated with the instance
Port	Listening port of the instance.
Comments	A brief description of what the instance hosts
Status	Instance status (see above for explanations).
Contact	A contact if needed
Environnement	Instance environment (PRD, PPR, REC, DEV, TST, ...)
Client	Used only for filtering (enter a client name and/or department and/or service...)
GlobalHost	Free field in which the hypervisor host is often entered, for example.
Custom1	Free field 1
Custom2	Free field 2

Regenerate the reference files of SQWareCentral.

Type the following command which will generate the reference files:

# From : dbsqware@sqwarebox
gen_all

Procédure spécifique pour la partie "locale" (statut LINUX)

/!\ Uniquement que les instances qui seront en statut "LINUX" !

Vérification des prérequis système pour la partie "locale" (bash + rsync)

SQWareProduction étant écrit essentiellement en shell bash et étant synchronisé depuis SQWareCentral avec rsync, il nous faut donc "bash" et "rsync" installés !

Vérification

Adaptez à votre nom de user et nom de machine.

bash:

# From : mssql@my_mssql_host
type bash
#ou
which bash

rsync:

# mssql@my_mssql_host
type rsync
#ou
which rsync

Installation

Adaptez à votre type de machine (sudo si vous n'êtes pas root).

RedHat / CentOS / ... :

# From : root@my_mssql_host
yum install -y bash rsync
#ou
dnf install -y bash rsync

Ubuntu / Debian / ... :

# From : root@my_mssql_host
apt install -y bash rsync

Déploiement de(s) clé(s) ssh de SQWareCentral vers la/les machine(s) cible(s)

Il existe deux manières de procéder :

• Une automatique (depuis dbsqware@sqwarebox mais vous oblige à connaitre le mdp du compte unix mssql)
• Une manuelle que vous appliquez sur chaque compte unix mssql

/!\ Le mdp de votre compte mssql unix doit avoir été initialisé, si non, la connexion par échange de clé ne fonctionnera pas !

Déploiement de(s) clé(s) ssh : méthode batch

# From : dbsqware@sqwarebox
menu_msq GenDeplSshKeys_SQWareCentral GenLstInstanceNew

Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Entrez le mdp unix quand il vous est demandé !

Déploiement de(s) clé(s) ssh : méthode manuelle

# From : mssql@my_mssql_host
if [ ! -r $HOME/.ssh/id_rsa ]
then
ssh-keygen -t rsa -N '' -f $HOME/.ssh/id_rsa
fi
chmod go-w $HOME
echo "ssh-rsa AAAAB......XSPpdV11 dbsqware@sqwarebox" >>$HOME/.ssh/authorized_keys
chmod 700 $HOME/.ssh
chmod 600 $HOME/.ssh/authorized_keys

=> Mettre la bonne clé dans le "echo" (celle de dbsqware@sqwarebox)

Test de connexion ssh depuis SQWareCentral

# From : dbsqware@sqwarebox
menu_msq TestSshConnection GenLstInstanceNew

Test des prérequis sur l'hote cible (ksh+rsync) ssh depuis SQWareCentral

# From : dbsqware@sqwarebox
menu_msq TestSysPrerequisites GenLstInstanceNew

Déploiement de SQWareProduction

Déploiement des scripts génériques et ceux spécifiques à sql server dans le $HOME de l'utilisateur renseigné dans SQWareRepository, par exemple mssql.

# From : dbsqware@sqwarebox

menu_msq DeplScripts GenLstInstanceNew

Ajout de l'environnement dbSQWare dans ~/.profile ou ~/.bash_profile

Une nouvelle fois, il existe deux manières de procéder :

• Une automatique (depuis dbsqware@sqwarebox)
• Une manuelle que vous appliquez sur chaque compte unix mssql

Ajout de l'environnement dbSQWare : méthode batch

# From : dbsqware@sqwarebox
menu_msq AdddbSQWareProfile GenLstInstanceNew

Vérifiez que c'est bien la liste que vous souhaitez déployer, puis choix 1 ...
=> Dans ~/.profile ou ~/.bash_profile, changez la variable suivante avec la valeur adaptée : gvsqw_Env='XXX'

Ajout de l'environnement dbSQWare : méthode manuelle

Ajoutez les lignes suivantes dans le ~/.profile ou ~/.bash_profile

# From : mssql@my_mssql_host

#dbSQWare
export gvsqw_MsqBin=$HOME/SQWareProduction/mssql/bin
export gvsqw_Env='PRD'
lvsqw_IsTerminal=$(tty 2>&1 >/dev/null;echo $?)
if [ "$lvsqw_IsTerminal" = "0" ] && [ -r $gvsqw_MsqBin/../etc/.profile_confort ]
then
   . $gvsqw_MsqBin/../etc/.profile_confort
fi

Ajout de la variable lvsqw_InstanceParam

Quelque soit la méthode utilisée : ajoutez la variable lvsqw_InstanceParam dans le ~/.profile ou ~/.bash_profile

# From : mssql@my_mssql_host
export lvsqw_InstanceParam=MSSQL_INST1

Création d'un compte Sql-Serveur spécifique dbSQWare

/!\ Vous pouvez aussi utiliser un compte existant comme "sa" !
Exemple d'ordre de création :

USE [master]
GO
CREATE LOGIN [msq_dba] WITH PASSWORD=N'NePasMettreCePassword!', DEFAULT_DATABASE=[master], CHECK_EXPIRATION=OFF, CHECK_POLICY=OFF
GO
EXEC master..sp_addsrvrolemember @loginame = N'msq_dba', @rolename = N'sysadmin'
GO

'sysadmin' est obligatoire à cause notamment des commandes "DBCC".

Vous pouvez mettre le nom et le mot de passe que vous souhaitez !
Ce compte devra être déclaré sur le compte unix mssql@sqwarebox ...
Si une entrée spécifique est trouvée c'est elle sui est prise, si non, on prend l'entrée "DEFAULT".

mssql@my_mssql_host:/home/mssql (NoSID) $ cat .passwd_mssql
DEFAULT;msq_dba;NePasMettreCePassword!
SPECIFIC_MSSQL;sa;sapass

Test sendmail (non obligatoire)

# From : dbsqware@sqwarebox
menu_msq TestSendmail GenLstInstanceNew

Test de connexion "manuel" à l'instance mssqlQL (connexion "locale")

/!\ Uniquement que les instances qui seront en statut "LINUX" !

# From : dbsqware@sqwarebox
menu_msq TestInstConnectionOnNoMail GenLstInstanceNew

Mise en exploitation de l'instance

Génération de la configuration par défaut SQWareProduction

/!\ Uniquement que les instances qui seront en statut "LINUX" !

# From : dbsqware@sqwarebox
menu_msq GenDefConf_SQWareProduction GenLstInstanceNew

Mise à jour de SQWareRepository

Dans le repository dbSQWare via la console d’administration, mettre à jour le statut de la nouvelle instance MsSql (à NEW_LINUX actuellement) avec la valeur LINUX.

Test de "reprise" des indicateurs

A ce moment là, vous pouvez tester la reprise des indicateurs manquants (en principe, uniquement les instances que vous venez d'intégrer !)

# From : dbsqware@sqwarebox
## Pour les statuts "LINUX"
repind_msq

Exploitation (stats, backups, …) pour les instance "LINUX"

Génération des conf SQWareProduction

Si vous avez suivi la procédure d’insertion de l’instance, cette partie est déjà fait par l’étape "menu_msq GenDefConf_SQWareProduction GenLstInstanceNew".
Vous pouvez vérifier avec le chapitre suivant.

Se connecter à la machine qui porte l'instance « MsSql » et taper les commandes suivantes :

# From dbsqware@vmsqwarebox
c MSSQL_INST1

#Source de l'env si multi-instance (from mssql@my_mssql_host)
e MSSQL_INST1

too
./sqwmsq_GenerateCreateInstance.ksh -dbsOnly

Vérifier que ce qui est proposé est bon et tapez « y » si c’est le cas.
A ce moment, vous avez généré les fichiers de configuration par défaut de SQWareProduction.

Explications

Les étapes précédentes ont créé certains fichiers par défaut. ($HOME/admin/WINMSQ_INST1/sqwConfig)

#Entrez le nom de l’instance
e WINMSQ_INST1
cfg
cat sqwmsq_Jobs.cfg

#############################################
#IndicDba: Gather DBAs indicators
IndicDba:$gvsqw_MsqBin/sqwmsq_GatherIndicators.ksh -I WINMSQ_INST1

#RotateErrorLog: Rotate error log
RotateErrorLog:$gvsqw_MsqBin/sqwmsq_RotateErrorLog.ksh -I WINMSQ_INST1 -Exec

#BackupAll: backup all databases
BackupAll:$gvsqw_MsqBin/sqwmsq_BackupAllDatabases.ksh -I WINMSQ_INST1 -Exec

#BackupAllRep: run failed backups from BackupAll
BackupAllRep:$gvsqw_MsqBin/sqwmsq_BackupAllDatabases.ksh -I WINMSQ_INST1 -REP -Exec

#StatisticsAll : update statistics tables for all databases
StatisticsAll:$gvsqw_MsqBin/sqwmsq_StatisticsAllDatabases.ksh -I WINMSQ_INST1 -Exec

#RebuildAll : Rebuild indexes tables for all databases
RebuildAll:$gvsqw_MsqBin/sqwmsq_RebuildIndexAllDatabases.ksh -I WINMSQ_INST1 -Exec

#RestoreParfile : restore list of databases content in parfile
RestoreParfile:$gvsqw_MsqBin/sqwmsq_RestoreAllDatabases.ksh -I WINMSQ_INST1 -PAR $Parfile -Exec

#CheckdbAll : DBCC CheckDB for all databases
CheckdbAll:$gvsqw_MsqBin/sqwmsq_CheckdbAllDatabases.ksh -I WINMSQ_INST1 -Exec

C’est un fichier de paramétrage qui est utilisé par le script sqwmsq_RunJob.ksh pour exécuter des actions.

Fichier pour une cron par défaut $HOME/CrontabRef_WINMSQ_INST1 :

## mm(0-59) hh(0-23) dd(1-31) MM(0-12) DAY(0-sunday, 1-monday, ...) command
## WINMSQ_INST1
# Backup all databases
00 22 * * 1-6  bash -c '. $HOME/.profile ;$gvsqw_MsqBin/sqwmsq_RunJob.ksh -I WINMSQ_INST1 -A BackupAll > $HOME/tmp/BackupAll_WINMSQ_INST1.log 2>&1'
# Rebuild all databases
30 07 * * 6  bash -c '. $HOME/.profile ;$gvsqw_MsqBin/sqwmsq_RunJob.ksh -I WINMSQ_INST1 -A RebuildAll > $HOME/tmp/RebuildAll_WINMSQ_INST1.log 2>&1'
# Stats all databases
00 07 * * 0  bash -c '. $HOME/.profile ;$gvsqw_MsqBin/sqwmsq_RunJob.ksh -I WINMSQ_INST1 -A StatisticsAll > $HOME/tmp/StatisticsAll_WINMSQ_INST1.log 2>&1'

Paramétrage du chemin des backups

Test avec backup de master :

#From mssql@my_mssql_host
$gvsqw_MsqBin/sqwmsq_BackupDatabase.ksh -I WINMSQ_INST1 -D master -Type full -Exec

/!\ Faites attention pour cette partie, si vous n'êtes pas sûrs, ne faites rien :

#From mssql@my_mssql_host pour passer toutes les databases en 'RECOVERY SIMPLE'
$gvsqw_MsqBin/../tools/sqwmsq_AlterDatabaseRecoverySimple.ksh -I WINMSQ_INST1 -Exec

#From mssql@my_mssql_host pour modifier l'autogrowth toutes les logs de % en Mo
$gvsqw_MsqBin/../tools/sqwmsq_AlterDatabaseModifyLogGrowth.ksh -I WINMSQ_INST1 -Exec

#From mssql@my_mssql_host faire un SHRINK de toutes les logs
$gvsqw_MsqBin/../tools/sqwmsq_AlterDatabaseShrinkLogs.ksh -I WINMSQ_INST1 -Exec

Mise en exploitation

Mise en place de la cron :

vi $HOME/CrontabRef_WINMSQ_INST1
cat $HOME/CrontabRef_WINMSQ_INST1 >> $HOME/CrontabRef
vi $HOME/CrontabRef
crontab $HOME/CrontabRef
crontab -l

Mise à jour du fichier CrontabRef  :

crontab -l > $HOME/CrontabRef
cat $HOME/CrontabRef

Commandes utiles

alias intéressants :

e DBALIAS => source l'env pour l'instance
bin, etc, too ... => pour aller dans arbo SQWareProduction standard
cbin, cetc, ctoo ... => pour aller dans arbo SQWareProduction custom
log => logs SQWareProduction

Quelques options des scripts :

-h => aide en ligne
-s => exemples en ligne
-Exec => lorsque elle est présente, si non settée ne sort que les commandes sans les exécuter

Exemples :

mssql@my_mssql_host:$HOME/admin/WINMSQ_INST1/logs/StatisticsDatabase (WINMSQ_INST1) $ bin
total 112
drwxr-x---  2 dbsqware dba  4096 Sep 25 21:22 .
drwxr-x--- 15 dbsqware dba  4096 Sep 25 21:22 ..
-rwxr-x---  1 dbsqware dba 10858 Sep 25 21:22 sqwmsq_BackupAllDatabases.ksh
-rwxr-x---  1 dbsqware dba  6013 Sep 25 21:22 sqwmsq_BackupDatabase.ksh
-rwxr-x---  1 dbsqware dba  7663 Sep 25 21:22 sqwmsq_CheckdbAllDatabases.ksh
-rwxr-x---  1 dbsqware dba  4809 Sep 25 21:22 sqwmsq_CheckdbDatabase.ksh
...

mssql@my_mssql_host:$HOME/SQWareProduction/mssql/bin (WINMSQ_INST1) $ 
./sqwmsq_StatisticsAllDatabases.ksh -h

Sourcing sqwmsq_Global.lib v2021.02 SQWareProduction for MsSql ...

Usage: sqwmsq_StatisticsAllDatabases.ksh [-h] -S|-I <FreeTdsAlias> [+ options]

DESCRIPTION
   sqwmsq_StatisticsAllDatabases.ksh update Statistics databases in //
SUPPORT
   MsSql supported versions: 2000 <= v <= 2019

PARAMETERS
     -S|-I  Instance    : Target instance (freeTds alias).
OPTIONS
     -h   help          : Display the full usage.
     -s                 : Display samples of usage.
     -P   Nb_threads    : Number of threads in parallel (by default 4).
     -ID  listdb        : Databases list to include.
     -ED  listdb        : Databases list to exclude.
     -IL  likeclause    : Like clause to generate databases list (example: 'db%').
     -EL  likeclause    : Like clause to exclude databases (example: 'nodb%').
     -WCD whereclause   : Where clause to generate databases list.
     -FRT return_code   : Force return code value on error.
     -AddMail email     : Email Address to add at 'xxx'.
     -SendReport        : Send execution log report.
     -PAR parfile       : Parfile file for databases list.
     -AGR Nb_sec        : Nb of seconds between two run (by default 5s).
     -AGE Nb_sec        : Nb of seconds between two check of end (by default 5s).
     -NoMail            : Desactivate sendmail on error xxx (by default, send on error).
     -Exec              : Execute commands (default, display generated commands)

Enjoy !