Servidor Sagarana
HPC Sagarana
O “cluster” computacional ou HPC SAGARANA é dedicado à computação de alto desempenho. Para acessar o “cluster” SAGARANA o usuário deve seguir as recomendações distribuídas por contato com cepad@icb.ufmg.br.
Ele é composto por:
- um nó de controle com 24 núcleos, 64 Gb de memória e um sistema RAID5 de 5 Tb. O acesso de usuários e o controlador de filas (OpenPBS) ficam nesta unidade.
- quatro nós de processamento com 64 núcleos, 512 Gb de memória e um sistema RAID0 local de 730 Gb (montado em /tmp), para ser usado somente em caso de muitas chamadas I/O pelos programas.
- um nó de processamento de alto desempenho com 256 núcleos virtuais e 2 Tb de memória e que tem acesso a um sistema de armazenamento exclusivo do nó com 55 Tb em RAID6 (montado em /uvstorage).
- um nó de armazenamento de 148 Tb em RAID6, que exporta o sistema de arquivos para toda a SAGARANA. O diretório /home dos usuários é hospedado nesse nó e não há limite de uso. O diretório /programs hospeda os programas e o /databases, as bases de dados mais usadas.
A SAGARANA tem um gerenciador de fila OpenPBS com apenas duas filas físicas, uma para utilizar as quatro máquinas de 64 cores, e outra para utilizar a máquina de 256 cores. O usuário opera como se estivesse utilizando um servidor em seu laboratório, de forma transparente (veja instruções abaixo).
Comandos úteis na sagarana
Gerenciador de filas OpenPBS, CentOS 7.8
freecores
waiting
n001 a n004
n005
$freecores cores livres na n001: 0 cores livres na n002: 0 cores livres na n003: 0 cores livres na n005: 54 cores livres na n004: 48
$waiting pavel fila64 16 cores pavel fila64 16 cores pavel fila64 16 cores pavel fila64 16 cores pavel fila64 16 cores pavel fila64 16 cores pavel fila64 16 cores pavel fila64 16 cores acm2014 fila64 2 cores acm2014 fila64 2 cores acm2014 fila64 2 cores giovanni fila64 6 cores
$n001
vicbp1 fila64 64 cores R 411:2
$n002
pavel fila64 16 cores R 00:00
pavel fila64 16 cores R 00:00
pavel fila64 16 cores R 00:00
pavel fila64 16 cores R 00:00
$n003
jrcferna fila64 64 cores R 1328:
$n005 malusuha fila256 30 cores R 710:1 pavel fila256 124 cores R 456:0 ialvim workq 1 cores R 372:3 vrrodova fila256 20 cores R 305:0 vrrodova fila256 20 cores R 305:0 fstussi workq 1 cores R 124:3 fstussi workq 1 cores R 124:3 fstussi workq 1 cores R 124:3 fstussi workq 1 cores R 124:3 fstussi workq 1 cores R 124:2 fstussi workq 1 cores R 124:1 fstussi workq 1 cores R 124:0
O comando freecores é uma simplificação do comando oficial qstat -n e mostra quantos cores estão disponíveis nas máquinas de 64 cores (n001 a n004) ou na de 256 cores (n005). Use todos os núcleos que estiverem livres em uma dada máquina.
O comando waiting mostra a fila de espera, se houver. Com o cenário mostrado acima o recomendado seria pedir até 54 cores na fila256. Há jobs waiting na fila64, então a opção é rodar na fila256.
O comando n001 nos diz que quando o único job que usa 64 cores acabar, os 4 primeiros de 16 cores informados com waiting vão entrar nela. Só se pode estimar o tempo de execução desse job conhecendo o perfil de uso do usuário vicbp1. Já na n002 o próprio usuário pavel se substituirá. E quem conhece jrcfernandes sabe que é uma dinâmica molecular que deve demorar muito, não conte que a fila64 vai andar por conta dele acabar logo.
Vemos um único job com muitos cores, 124 cores do usuário pavel, logo se precisar de muitos cores uma saída seria pedir 124 para substituir esse. Ou somar mais 30 esperando pela saída de malusuha, ou somar mais 40 torcendo pela saída de vrrodovan.
Descreva projetos que já têm resultados
Nos ajude a relatar os trabalhos executados com o uso do sistema SAGARANA preenchendo o formulário.