Tutorial CUDA Universidad de Málaga

Cómo acceder a los ficheros fuente

Al igual que en el ejemplo básico, se proporcionan ficheros incompletos que el alumno debe rellenar. Pero en este caso, se proponen dos alternativas de dificultad creciente: La primera, dentro del directorio lab1.2-reduction.1, tiene menos líneas incompletas, y la segunda, colocada dentro del directorio lab1.2-reduction.2 tiene más. Digamos que los archivos de lab1.2-reduction.1 son un paso intermedio entre los de lab1.2-reduction.2 y la versión final que compila y ejecuta correctamente. Así, puedes comenzar con el índice de dificultad 2, y si ves que no sales adelante, conmutar al índice de dificultad 1. Además, cada versión incluye tres ficheros:

• vector_reduction.cu: Contiene el programa main() que aloja la memoria y llama al kernel CUDA.
• vector_reduction_kernel.cu: Contiene el kernel CUDA que se lanza desde el programa anterior.
• vector_reduction_gold.cpp: Es un programa C que computa el resultado secuencialmente en la CPU, para comprobar la validez de los cómputos realizados en paralelo en la GPU.

 

Reducciones

El objetivo de este ejercicio es familiarizarse con un tipo de operaciones muy común en computación científica: las reducciones. Una reducción es una combinación de todos los elementos de un vector en un valor único, utilizando para ello algún tipo de operador asociativo. Las implementaciones paralelas aprovechan esta asociatividad para calcular operaciones en paralelo, calculando el resultado en O(logN) pasos sin incrementar el número de operaciones realizadas. Un ejemplo de este tipo de operación se muestra en la siguiente figura:

A partir de aquí, pueden idearse diferentes patrones de acceso a los datos para ir asociando por pares los operandos de cada operación. Esto afecta al rendimiento de la memoria como enseguida veremos, y también a la complejidad de programación, ya que las expresiones que hay que crear para que los hilos generen los índices de acceso a sus datos en cada paso difieren en dificultad. 

Modificaciones a realizar sobre el código CUDA

Paso 1

Modifica la función computeOnDevice(. . . ) definida en el fichero vector_reduction.cu, para completar las siguientes operaciones:

1. Reserva memoria en el dispositivo.
2. Copia los datos de entrada desde la memoria del host hasta la memoria del dispositivo.
3. Completa los parámetros de invocación al kernel (sólo si has escogido el índice de dificultad 2).
4. Copia los resultados desde la memoria de dispositivo de vuelta a la memoria del host.

Paso 2:

En el fichero vector_reduction_kernel.cu, modifica la función para implementar el esquema de reducción que hemos ilustrado en la figura anterior. Tu implementación debería usar memoria compartida para incrementar la eficiencia. Procede de la siguiente manera:

1. Carga datos desde memoria global a memoria compartida (si has elegido el índice de dificultad 1, sólo tendrás que poner los índices a los vectores).
2. Realiza la reducción sobre los datos en memoria compartida.
3. Almacena de vuelta los datos en memoria compartida (sólo si has elegido el índice de dificultad 2).

Paso 3:

Una vez finalizado el código, compílalo con el comando make que utiliza el fichero Makefile, y luego lanza su ejecución desde la consola linux según se muestra a continuación. La versión sobre GPU se ejecutará siempre primero, seguida de la versión sobre CPU, que sirve como referencia para comprobar el resultado. Si el resultado es correcto, se imprime por pantalla el mensaje CORRECTO. En caso contrario, se imprime la frase INCORRECTO. El código se ejecuta sin argumentos, tomando como entrada un vector de datos de 512 elementos cuyos valores son aleatorios. La ejecución se realiza por tanto para 256 hilos, de la siguiente forma:

$> ./vector_reduction

Ten en cuenta que, en este caso, los ejercicios no proporcionan información sobre tiempos de ejecución. Si lo deseas, intenta añadir esta información a tus implementaciones. De cualquier modo, extraeremos dicha temporización directamente del CUDA profiler un poco más adelante (ver final del paso 5).

Paso 4 (opcional, en función del tiempo, pasaremos al Paso 5):

Una vez hayas implementado el esquema de reducción mostrado en la anterior figura, compararemos los resultados con otros dos esquemas de reducción.

Edita la función reduction(. . . ) en el fichero vector_reduction_kernel.cu, y trata de implementar dos nuevos esquemas de reducción, correspondientes a las siguientes figuras:

ESQUEMA 2

ESQUEMA 3

En el esquema mostrado en la segunda estrategia de reducción, cada hilo es responsable de la suma de dos nodos adyacentes en una distancia potencia de 2 para cada nivel de la operación.

En la tercera estrategia, cada hilo es responsable de la suma de dos nodos en distancias que van desde n-1 hasta 1. Por ejemplo, en el primer nivel de la operación, el hilo número 1 suma los elementos 1 y 8, siendo la distancia entre los dos nodos 8-1 = 7.
El hilo número 2 suma los elementos 2 y (8-1). La distancia correspondiente es pues 7-2 = 5. Y las
distancias para los nodos sumados por los hilos número 3 y 4 son 6-3 = 2 y 5-4 = 1, respectivamente.

Tened en cuenta el patrón de acceso regular en ambos esquemas. La mayoría de aplicaciones utilizan
patrones de este tipo para eliminar divergencias innecesarias o conflictos en accesos a bancos de memoria.

Existen multitud de contadores que podemos consultar para averiguar los puntos débiles de nuestro código. Si tienes curiosidad, puedes encontrar mucha más información en el fichero Compute_Profiler.txt de la máquina que estamos utilizando para desarrollo. En el caso de nuestra instalación local, ese fichero se encuentra en el directorio /usr/local/cuda/doc, donde por cierto también encontrarás muchos PDFs y documentación anexa que te puede ser de utilidad.