Mois : juillet 2021

Comment faire du MultiThreading en BASH…. En fait c’est assez simple, il suffit des mettre les scripts en arrière-plan et d’attendre qu’ils soient terminés. Bien sûr, il peut exister certaines limitations…. C’est un non-sens de mettre 20 scripts en parallèle quand il n’y a que 4 processeurs….

Donc pour gérer efficacement le multi-Threading », personnelemen,t je limite le nombre de threads au nombre de processeurs…..

Voici une manière simple de gérer le multithreading :

#--------------------------------------------------
# Get the maximum physical Threads
function JobMaxPhysicalThreads() {
        echo $(grep -c proc /proc/cpuinfo)
}
#--------------------------------------------------

#--------------------------------------------------
# Is Max Threads count reached ? If yes, wait....
function JobOngoingThreads() {
    # How many jobs in Background now ?
    echo $(jobs|grep -vi "done"|wc -l)
}
#--------------------------------------------------

#--------------------------------------------------
# Is Max Threads count reached ? If yes, wait....
function JobMaxThreadsReachedWait() {
    # How many jobs in Background now ?
    JobsInBackGround=$(JobOngoingThreads)
    # Is background processes limit reached ?
    if [[ $JobsInBackGround -gt $nThreadsLimit ]]; then
       # Wait until some slots are available
       while [[ $JobsInBackGround -gt $nThreadsLimit ]]
         do
           sleep 1
           JobsInBackGround=$(JobOngoingThreads)
         done
   fi
}
#--------------------------------------------------

Dans le script lui-même avant d’envoyer un nouveau script en arrière-plan, il suffit de vérifier si le nombre de scripts en arrière-plan n’a pas atteint la limite, si oui, alors il suffit d’attendre qu’il y ait un slot de disponible…

Par exemple :

## Check Current Number of Threads...in case, max is reached, wait !
JobMaxThreadsReachedWait
## Launch next Thread
LaunchNewScript