#!/bin/bash
#SBATCH --job-name test 
#SBATCH -N1 --ntasks-per-node=4
#SBATCH --cpus-per-task=32
#SBATCH --ntasks-per-socket=2
#SBATCH --time=24:00:00
#SBATCH --gres=gpu:4
#SBATCH --nodes=36

#load gromacs module
module load profile/archive autoload gromacs/2019.6
export OMP_NUM_THREADS=32
export OMP_PLACES=threads

#set up for GPUdirect
export GMX_GPU_DD_COMMS=true 
export GMX_GPU_PME_PP_COMMS=true
export GMX_FORCE_UPDATE_DEFAULT_GPU=true



mpirun -n 144 mdrun_mpi_plumed -v -plumed empty_plumed.dat -replex 100 -hrex -multidir BATTERY0/scaled0  BATTERY0/scaled1  BATTERY0/scaled2  BATTERY0/scaled3  BATTERY0/scaled4  BATTERY0/scaled5  BATTERY0/scaled6  BATTERY0/scaled7  BATTERY0/scaled8  BATTERY0/scaled9  BATTERY0/scaled10  BATTERY0/scaled11  BATTERY0/scaled12  BATTERY0/scaled13  BATTERY0/scaled14  BATTERY0/scaled15  BATTERY0/scaled16  BATTERY0/scaled17  BATTERY0/scaled18  BATTERY0/scaled19  BATTERY0/scaled20  BATTERY0/scaled21  BATTERY0/scaled22  BATTERY0/scaled23  BATTERY1/scaled0  BATTERY1/scaled1  BATTERY1/scaled2  BATTERY1/scaled3  BATTERY1/scaled4  BATTERY1/scaled5  BATTERY1/scaled6  BATTERY1/scaled7  BATTERY1/scaled8  BATTERY1/scaled9  BATTERY1/scaled10  BATTERY1/scaled11  BATTERY1/scaled12  BATTERY1/scaled13  BATTERY1/scaled14  BATTERY1/scaled15  BATTERY1/scaled16  BATTERY1/scaled17  BATTERY1/scaled18  BATTERY1/scaled19  BATTERY1/scaled20  BATTERY1/scaled21  BATTERY1/scaled22  BATTERY1/scaled23 BATTERY2/scaled0  BATTERY2/scaled1  BATTERY2/scaled2  BATTERY2/scaled3  BATTERY2/scaled4  BATTERY2/scaled5  BATTERY2/scaled6  BATTERY2/scaled7  BATTERY2/scaled8  BATTERY2/scaled9  BATTERY2/scaled10  BATTERY2/scaled11  BATTERY2/scaled12  BATTERY2/scaled13  BATTERY2/scaled14  BATTERY2/scaled15  BATTERY2/scaled16  BATTERY2/scaled17  BATTERY2/scaled18  BATTERY2/scaled19  BATTERY2/scaled20  BATTERY2/scaled21  BATTERY2/scaled22  BATTERY2/scaled23 BATTERY3/scaled0  BATTERY3/scaled1  BATTERY3/scaled2  BATTERY3/scaled3  BATTERY3/scaled4  BATTERY3/scaled5  BATTERY3/scaled6  BATTERY3/scaled7  BATTERY3/scaled8  BATTERY3/scaled9  BATTERY3/scaled10  BATTERY3/scaled11  BATTERY3/scaled12  BATTERY3/scaled13  BATTERY3/scaled14  BATTERY3/scaled15  BATTERY3/scaled16  BATTERY3/scaled17  BATTERY3/scaled18  BATTERY3/scaled19  BATTERY3/scaled20  BATTERY3/scaled21  BATTERY3/scaled22  BATTERY3/scaled23  BATTERY4/scaled0  BATTERY4/scaled1  BATTERY4/scaled2  BATTERY4/scaled3  BATTERY4/scaled4  BATTERY4/scaled5  BATTERY4/scaled6  BATTERY4/scaled7  BATTERY4/scaled8  BATTERY4/scaled9  BATTERY4/scaled10  BATTERY4/scaled11  BATTERY4/scaled12  BATTERY4/scaled13  BATTERY4/scaled14  BATTERY4/scaled15  BATTERY4/scaled16  BATTERY4/scaled17  BATTERY4/scaled18  BATTERY4/scaled19  BATTERY4/scaled20  BATTERY4/scaled21  BATTERY4/scaled22  BATTERY4/scaled23  BATTERY5/scaled0  BATTERY5/scaled1  BATTERY5/scaled2  BATTERY5/scaled3  BATTERY5/scaled4  BATTERY5/scaled5  BATTERY5/scaled6  BATTERY5/scaled7  BATTERY5/scaled8  BATTERY5/scaled9  BATTERY5/scaled10  BATTERY5/scaled11  BATTERY5/scaled12  BATTERY5/scaled13  BATTERY5/scaled14  BATTERY5/scaled15  BATTERY5/scaled16  BATTERY5/scaled17  BATTERY5/scaled18  BATTERY5/scaled19  BATTERY5/scaled20  BATTERY5/scaled21  BATTERY5/scaled22  BATTERY5/scaled23  -s HREM.tpr