Paralelización con Gaussian

El CCAR tiene habilitado el software Gaussian para aquellos usuarios que cuenten con una licencia de uso. Para utilizarlo, basta cargar el módulo correspondiente:

$ module load gaussian/g16_2021

Gaussian soporta dos modos de paralelización. En ALICE se encuentra habilitado el soporte multinúcleo, que permite la ejecución en paralelo dentro de un mismo nodo de cálculo. Para ello es necesario, además de hacer la reserva de hilos desde el archivo .job (con #$ -pe smp N), indicarle a Gaussian que debe utilizar los hilos disponibles con alguna de las siguientes directivas:

  • En el archivo de entrada de Gaussian (.gjf), añadiendo la instrucción %CPU=1-N
  • Como parámetro al llamar al ejecutable, con g16 -c="1-N" ...
  • Definiendo la variable de entorno GAUSS_CDEF, añadiendo al archivo .job antes de la llamada a Gaussian export GAUSS_CDEF="1-N"

El uso de -p o $NProcShared está desaconsejado, ya que son instrucciones obsoletas que es posible que desaparezcan en futuras versiones del software. El sitio web de Gaussian dispone de más información sobre todas las opciones de ejecución disponibles.

Confiamos en que estas indicaciones sean útiles para optimizar los cálculos. Recordamos que, para no infrautilizar los recursos disponibles, es necesario que la reserva de hilos de un .job coincida con la carga de trabajo real del software.

Paralelización con R/4.3.1

El clúster ALICE tiene instalada la versión 4.3.1 de R, a disposición de todos sus usuarios. Son varios los paquetes instalados en la suite de R, disponibles utilizando el comando:

> library()

La versión instalada de R tiene soporte nativo para paralelización, tanto en el uso de álgebra lineal a través de BLAS (que utiliza las librerías MKL de Intel Oneapi) como OpenMP. El uso de rutinas de paralelización está ampliamente documentada en la documentacion de R: CRAN Task View: High-Performance and Parallel Computing with R.

Para hacer un uso eficiente de la paralelización de R, es necesario tomar medidas adicionales que no interfieran con el resto de usuarios. Los siguientes códigos de buenas prácticas permiten hacer un buen uso de R en paralelo:

  • Evitar el uso de la librería ‘parallel’, y usar en su lugar la librería ‘parallelly‘, que tiene un soporte más avanzado en las capacidades de paralelización.
  • Sustituir el uso de la función detectCores() por availableCores(), que toma el número de hilos disponibles a partir de la información del job que proporciona el gestor de colas.
  • Usar la librería RhpcBLASctl para especificar el número de hilos de computación, tanto para OpenMP como para BLAS. Esto puede conseguirse con las siguientes instrucciones:
 library('RhpcBLASctl')
 blas_set_num_threads(NCORES)
 omp_set_num_threads(NCORES)

donde NCORES es el número de hilos reservados en el trabajo.

Confiamos en que estas medidas sean útiles para mejorar la eficiencia de los cálculos en R. En cualquiera de los casos, siempre es recomendable hacer un pequeño benchmark para comprobar la combinación más eficiente de hilos que respete, en todo caso, el máximo de la reserva realizada.

Talleres de formación para estudiantes (2024)

El Grupo de Innovación Docente en Física, en colaboración con el CCAR, y con el patrocinio del Plan de Apoyo a la Innovación Docente UNED y del Máster Universitario en Física Avanzada, ofertará durante el curso 2023/2024 la tercera edición de talleres destinados a la obtención de competencias transversales en computación científica para estudiantes de la Facultad de Ciencias. Dirigido principalmente a estudiantes de último curso de grado y máster, y en particular a los de las siguientes asignaturas:

  • Grado en Física
    • Técnicas experimentales I, II y IV
    • Fundamentos de física I
    • Física cuántica I
    • Trabajo fin de grado
  • Máster en Física Avanzada
    • Fenómenos de transporte: técnicas de simulación en fluidos
    • Métodos cuánticos en sistemas poliatómicos
    • Introducción a la ciencia y el análisis de datos
    • Teoría de la información
    • Teoría del funcional de la densidad: sistemas electrónicos
    • Teoría de campos
    • Trabajo fin de máster

Los talleres, con un marcado carácter práctico, harán una introducción de las principales herramientas de software que se se utilizan en sistemas de computación distribuida. También se utilizarán programas de ámbito científico para el tratamiento y análisis de datos. Los talleres ofertados para el curso 2023/2024 son los siguientes:

  • Introducción a sistemas de supercomputación
  • Uso, recetas y trucos de la terminal y SSH
  • Matlab: métodos numéricos
  • Mathematica
  • Introducción a Julia
  • Paralelización con MPI
  • Gaussian
  • Random Phase
  • Computación cuántica con Qibo/Qiskit
  • Dispersión y absorción de luz con DDSCAT

Con esta iniciativa, pretendemos que los estudiantes puedan adquirir los conocimientos necesarios para afrontar, con garantías de éxito, los retos que puedan plantearse en computación científica. Se trata de una formación complementaria para estudiantes que expande las posibilidades de actuación en numerosas asignaturas, lo que supone un valor añadido para las titulaciones en las que se enmarca.

Tanto en los cursos virtuales como en la web del CCAR como en redes sociales daremos información sobre las fechas y los contenidos de los talleres.

¡Plazas limitadas!

FORMULARIO DE INSCRIPCIÓN

SIESTA-4.1.5 Y LAMMPS-23-JUN

Nuevas versiones de SIESTA y LAMMPS disponibles:

  • SIESTA-4.1.5-intel: Esta versión de SIESTA ha sido compilada con el compilador Intel y ofrece mejoras significativas en rendimiento y estabilidad para simulaciones. Los usuarios podrán disfrutar de tiempos de cálculo reducidos y resultados más precisos en comparación con versiones anteriores.

  • LAMMPS-23Jun-intel: La versión más reciente de LAMMPS, compilada con Intel, ofrece mejoras de rendimiento significativas mediante la optimización de algoritmos y técnicas. Los investigadores podrán realizar simulaciones más rápidas y abordar problemas más complejos.

Los usuarios pueden acceder a estas versiones utilizando los comandos:

module load lammps/23Jun22/inteloneapi_cuda12.0_fftw3.3.9_omp
module load siesta/4.1.5/intel-2023.1

Descubre las nuevas versiones de SIESTA y LAMMPS, disponibles en nodos con procesadores Intel. Estas actualizaciones ofrecen flexibilidad y opciones para adaptarse a tus necesidades de rendimiento y preferencias de compilación. Ahora podrás realizar simulaciones más eficientes y avanzadas en la estructura electrónica, dinámica molecular y cálculos científicos. ¡Aprovecha estas mejoras y adéntrate en el futuro de la investigación científica!

Para nodos con procesadores AMD se encuentran las siguientes versiones:

  • SIESTA-4.1.5-gcc: La variante compilada con GCC de SIESTA 4.1.5 proporciona una opción estándar para aquellos que prefieren utilizar el compilador GNU. Aunque ofrece funcionalidad similar, es importante tener en cuenta que el rendimiento puede ser ligeramente inferior en comparación con la versión compilada con Intel.

  • LAMMPS-23Jun-gcc: La variante compilada con GCC de LAMMPS-23Jun proporciona una opción compatible con el compilador GNU. Aunque puede ser una elección más estándar, es importante tener en cuenta que el rendimiento puede ser ligeramente inferior en comparación con la versión compilada con Intel.

Nuevos nodos de cálculo en ALICE

Gracias a los acuerdos de servicio firmados, recientemente hemos incorporado al CCAR dos nuevos nodos de cálculo con procesadores Intel Xeon Platinum de 3ª generación. En total, se han añadido 256 nuevos hilos de computación disponibles en ALICE, sumando un total de 1.300 hilos. Cada uno de estos nodos dispone de 192 GB de RAM, y discos SSD de 2 TB para el scratch de datos.

Nuevos procesadores Intel Xeon Platinum en la cola épsilon de Alice.
Talleres de formación para estudiantes (2023)

El Grupo de Innovación Docente en Física, en colaboración con el CCAR, y con el patrocinio del Plan de Apoyo a la Innovación Docente UNED, del Máster Universitario en Física de Sistemas Complejos y del Máster Universitario en Física Avanzada, ofertará durante el curso 2022/2023 una serie de talleres destinados a la obtención de competencias transversales en computación científica para estudiantes de la Facultad de Ciencias. Dirigido principalmente a estudiantes de último curso de grado y máster, y en particular a los de las siguientes asignaturas:

  • Grado en Física
    • Trabajo Fin de Grado
    • Técnicas Experimentales
  • Máster en Física Avanzada/Sistemas Complejos
    • Trabajo Fin de Máster
    • Fenómenos de transporte
    • Métodos cuánticos en sistemas poliatómicos
    • Introducción a la ciencia y el análisis de datos

Los talleres, con un marcado carácter práctico, harán una introducción de las principales herramientas de software que se se utilizan en sistemas de computación distribuida: LAMMPS, Gaussian, programación en MPI, etc. También se utilizarán programas de ámbito científico para el tratamiento y análisis de datos: gnuplot, python, shell scripting, etc. Los talleres ofertados para el curso 2022/2023 son los siguientes:

  • Introducción a sistemas de computación distribuida.
  • Visualización de datos y shell scripting.
  • Uso de MATLAB para representaciones gráficas.
  • Ciencias y análisis de datos en Python.
  • Paralelización con MPI.
  • Dinámica molecular.
  • Gaussian.
  • Random Phase.

Con esta iniciativa, pretendemos que los estudiantes puedan adquirir los conocimientos necesarios para afrontar, con garantías de éxito, los retos que puedan plantearse en computación científica. Se trata de una formación complementaria para estudiantes que expande las posibilidades de actuación en numerosas asignaturas, lo que supone un valor añadido para las titulaciones en las que se enmarca.

Tanto en los cursos virtuales como en la web del CCAR como en redes sociales daremos información sobre las fechas y los contenidos de los talleres.

¡Plazas limitadas!

FORMULARIO DE INSCRIPCIÓN

Nuevas librerías para deep neural network de NVIDIA. https://developer.nvidia.com/blog/tensor-ops-made-easier-in-cudnn/

Todos los equipos de ALICE que soportan cálculos por GPU se han actualizado a la última versión disponible del driver de NVIDIA (525.60.11). Se han instalado también dos nuevas versiones de la toolkit de CUDA (11.8 y 12.0) que están ya disponibles a través de los módulos siguientes:

module load CUDA/11.8

module load CUDA/12.0

Además, se han instalado las librerías CUDA Deep Neural Network cuDNN 8.3 de NVIDIA, integradas dentro de CUDA-11.8, quedando a disposición de todos los usuarios. Recordamos que las colas alpha, beta y dseta tienen disponibles tarjetas gráficas para cálculos científicos.

python 3.11.1 disponible

Se han instalado nuevas versiones de python (3.11.1) con tres sabores diferentes:

  • python-3.11.1-scientific. Incorpora las librerías numpy, scipy y pandas, estándares en el ámbito del cálculo científico.
  • python-3.11.1-quantum. Incorpora, además de las librerías del módulo scientific, las librerías qibo y qiskit, para hacer simulaciones de ordenadores cuánticos.
  • python-3.11.1-highenergy. Incorpora, además de las librerías del módulo scientific, las librerías iminuit y quadpy, especializadas en optimización para sistemas de alta energía e integración numérica.

Todas las versiones están disponibles a través de módulos. Un listado completo y actualizado puede obtenerse con:

module avail

La actividad del CCAR no se vio interrumpida por el periodo no lectivo. En el mes de julio se enviaron a ALICE más de 1100 trabajos, consumiendo más de 215.000 horas-core. BRUNO estuvo también activo, con 250 trabajos enviados y unas 7.000 horas-core utilizadas. El mes de agosto se mandaron más de 500 trabajos a ALICE, con un total de más de 175.000 horas-core. Por lo que respecta a BRUNO, se mandaron unos 350 trabajos consumiendo más de 9.000 horas-core. Más de 240 TB se movieron en la red de datos de ALICE durante julio, frente a los 9 TB del mes de agosto. En BRUNO se movieron 2,5 TB en julio y apenas 500 GB en agosto.

En el apartado de hardware se ha añadido un nuevo nodo de computación a la cola dseta de ALICE, que cuenta ahora con 80 hilos adicionales en un Intel Xeon Gold 6242R a 3,1 GHz. Este nodo tiene también dos nuevas tarjetas gráficas para cálculos por GPU. Se ha gestionado y recepcionado también la compra de dos Intel Xeon Silver 4310 a 2,1 GHz, que se incorporarán a las colas gamma de ALICE y alpha de BRUNO, respectivamente. Todas estas adquisiciones añaden un total de 176 hilos de cálculo a disposición de los usuarios del CCAR.

En cuanto al software, se han implementado nuevos entornos de paralelización para pemitir un reparto eficiente de la carga de trabajo entre los nodos disponibles, sin necesidad de que el usuario mande trabajos a nodos específicos.

Nuevo Intel Xeon Gold de la cola dseta.

A finales de julio también hicimos una visita al nuevo edificio de Ciencias en el futuro edificio de Las Rozas 2, donde se ubicará el futuro CPD del CCAR. Durante la visita tuvimos la oportunidad de ver el estado de las instalaciones y plantear propuestas de mejora.

Visita al nuevo edificio de Las Rozas. De izquierda a derecha, José Luis Martínez Guitarte (director de UNEDLabs), Jaime Arturo de la Torre (director del CCAR), Antonio Rubio (Arquitecto de la UNED) y José Carlos Antoranz (Decano de la Facultad de Ciencias).
Actividades de junio de 2022

Entre las actividades del mes de junio, se enviaron alrededor de 1.200 trabajos a ALICE, consumiendo más de 87.000 horas-core. La red de datos movió más de 500 TB. Se enviaron alrededor de 40 trabajos a BRUNO, consumiendo más de 4.900 horas-core.

En el apartado técnico, el mes de junio conectamos a ALICE un nuevo nodo de cálculo, c-3-2, equipado con procesadores Intel Xeon Gold 6242R. 80 nuevos hilos de proceso que se incorporan al principal clúster de investigación del CCAR.

Imagen del nuevo nodo de computación, en formato rack, dentro del armario.
Nuevo nodo con procesadores Intel Xeon Gold, 2 GPU A4000 y 192 GB de RAM.

Hemos instalado un nuevo gestor de base de datos para optimizar las actualizaciones de información de los nodos. También hemos asesorado la compra de dos nuevos equipos de investigadores de nuestro centro. Hemos adquirido, por último, un nuevo SAI de 3 kVA para alimentar workstations, con sistemas de monitorización y actuación en caso de emergencias.

En el apartado de formación hemos solicitado un nuevo Proyecto de Innovación Docente, en colaboración con el Grupo de Innovación Docente en Física, para el curso 2022/2023. Este nuevo PID versará sobre «Formación transversal en herramientas de (súper)computación científica». Atendiendo a la demanda de los usuarios, contamos para esta nueva edición con nuevos ponentes para ampliar la oferta formativa de software de computación en entornos distribuidos.