Java sobre Infiniband

Sistema Aldeia:
Programaç ão Paralela e Distribu´ıda em
Java sobre Infiniband e DECK
Rodrigo da Rosa Righi
Orientador: Philippe Olivier Alexandre Navaux
Co-orientador: Marcelo Pasin
Programa de Pós-Graduaç ão em Computaç ão - PPGC/UFRGS
Defesa de dissertaç ão de Mestrado

Parte I: Introduç ão
Parte II: Sistema Aldeia
Parte III: Avaliaç ão do Sistema Aldeia
Parte IV: Consideraç ões Finais
Roteiro
1 Parte I: Introduç ão
2 Parte II: Sistema Aldeia
3 Parte III: Avaliaç ão do Sistema Aldeia
4 Parte IV: Consideraç ões Finais
2/67

Foco Principal
Máquina Paralela e Sistemas de Interconexão
Linguagem de Programaç ão Java
Motivaç ão
Objetivos
Introduç ão
Foco Principal
Motivaç ão
Objetivos
3/67

Foco Principal
Motivaç ão
Objetivos
Foco Principal
Comunicaç ão de alto desempenho para agregados (clusters)
Programaç ão orientada a objetos em Java
Redes de sistema (redes dedicadas) atuais
Java + Infiniband
4/67

Foco Principal
Motivaç ão
Objetivos
Interconexão de agregados com redes tradicionais
Ethernet (802.*) e TCP/IP
Baixo custo e escalabilidade
Sobrecarga do TCP/IP: controle de fluxo, retransmissão,
cópias
Interconexão de agregados com redes rápidas
Priorizam alta vazão e baixa latência
Protocolos leves
Reduzir cópias, passar sobrecarga para o hardware e DMA
Myrinet, SCI, Quadrics, VIA e Infiniband
U-Net, VIA, GM, DECK e VAPI
5/67

Foco Principal
Motivaç ão
Objetivos
Arquitetura de Interconexão Infiniband
Tentativa de padronizaç ão para redes de sistema
Vazão: 2.5, 10 e 30 gigabits por segundo
Comunicaç ão chaveada e concorrente entre nós
Qualidade de serviço em hardware
Bibliotecas de baixo n´ıvel: VAPI e InfiniBlue
Bibliotecas com interfaces bem definidas: MPI
6/67

Foco Principal
Motivac¸ ˜ao
Objetivos
NóNóNóNó
Nó
Nó
Nó Nó
Nó
Nó
Chaveador
Chaveador
Chaveador
Nó
Adaptador de rede
Porta Porta
Rede Infiniband
7/67

Foco Principal
Motivaç ão
Objetivos
Caracter´ısticas Gerais de Java
Programaç ão orientada a objetos
Funcionalidades para a programaç ão distribu´ıda e
concorrente
Portabilidade (interpretaç ão)
Desempenho está melhorando: compiladores JIT e direto,
novos sistemas para a programaç ão paralela e distribu´ıda
8/67

Foco Principal
Motivaç ão
Objetivos
Programaç ão distribu´ıda em Java
Soquetes Java - comunicaç ão s´ıncrona sobre TCP/IP
Java RMI - comunicaç ão sobre TCP/IP de forma
transparente
Programaç ão paralela em Java
Ibis - várias interfaces de comunicaç ão sobre MPI,
soquetes TCP/IP, Panda e GM
JavaSymphony - interface particular sobre TCP/IP
ProActive - comunicaç ão de alto n´ıvel sobre RMI, Jini e Ibis
9/67

Foco Principal
Motivaç ão
Objetivos
Motivaç ão
Java em agregados é ineficiente para alto desempenho
TCP/IP
S´ıncrono
Comunicaç ão direta em Java em n´ıvel de usuário
especialmente para Infiniband é algo inexplorado
Comunicaç ão eficiente em Java sobre Infiniband
10/67

Foco Principal
Motivaç ão
Objetivos
Objetivos
Desenvolvimento do Sistema Aldeia
Comunicaç ão eficiente para Java sobre Infiniband
Usar comunicaç ão em n´ıvel de usuário
Usar assincronismo na comunicaç ão
Usar protocolos leves
Usar uma interface de programaç ão Java bem conhecida
Aproveitar o legado de redes de sistemas do ambiente
DECK
11/67

Decisões de Projeto
Estrutura Modular
Interface de Programaç ão
Implementaç ão
Roteiro
Estrutura Modular
Implementaç ão
12/67

Estrutura Modular
Implementac¸ ˜ao
Java eficiente para Infiniband e DECK
Adaptador OO + novo DECK + Infiniband
Ineficiente
Adaptador OO + Infiniband
Eficiente
Usa DECK via segundo adaptador no n´ıvel Infiniband
13/67

Estrutura Modular
Implementaç ão
Adaptaç ão em n´ıvel de RMI
Implementaç ão espec´ıfica de mensagens ativas
Implementaç ões conhecidas de RMI
Usam soquetes
Adaptaç ão em n´ıvel de soquetes
Permite não reimplementar RMI
Pode ser aproveitada para aplicaç ões que usam soquetes
Java eficiente para Infiniband e DECK
Soquetes Java para Infiniband
14/67

Estrutura Modular
Implementaç ão
Sistema Aldeia
Arcabouço para a inclusão de novos sistemas de
comunicaç ão
Assincronismo na transmissão de dados
Qualidade de serviço sobre Infiniband
Geraç ão de rastros sobre DECK
15/67

Estrutura Modular
Implementaç ão
Estrutura de Módulos do Aldeia
Aplicação
Biblioteca
VAPI DECK
Biblioteca
uVAPI
Biblioteca
Adaptador VAPI
Soquetes Aldeia
RMI
JNI
Linguagem Java
Linguagem C
16/67

Estrutura Modular
Implementaç ão
Estrutura de Módulos do Aldeia
Aplicação
Biblioteca
VAPI DECK
Biblioteca
uVAPI
Biblioteca
Adaptador VAPI
Soquetes Aldeia
RMI
JNI
Linguagem Java
Linguagem C
17/67

Estrutura Modular
Implementaç ão
Interface de Programaç ão do Aldeia
Dois fluxos de comunicaç ão: entrada e sa´ıda
Métodos principais
read()
write()
flush()
Mensagens de tamanho variável
Transmissor envia 100 bytes e receptor chama duas vezes
o método para a leitura de 50 bytes
18/67

Estrutura Modular
Implementaç ão
Implementaç ão
Arquivo de configuraç ão
Processo de conexão
Adaptaç ão de fluxo de dados para troca de mensagens
Organizaç ão dos códigos em C e em Java
Transmissão de dados
Recepç ão de dados
Adaptaç ão para utilizaç ão do DECK
19/67

Estrutura Modular
Implementaç ão
Implementaç ão
Arquivo de Configuraç ão do Aldeia
Comunicaç ão com a VAPI
20/67

Estrutura Modular
Implementaç ão
Implementaç ão
Arquivo de Configuraç ão do Aldeia
Estabelecer propriedades ao Aldeia sem alterar a interface
dos soquetes
Conteúdo do arquivo de configuraç ão
Porta do adaptador Infiniband
Qualidade de serviço Infiniband
Identificador do processo DECK
Quantidade total de processos DECK
Tipo de soquetes (DECK ou Infiniband)
Tamanho da unidade de transferência
21/67

Estrutura Modular
Implementaç ão
Implementaç ão
Processo de conexão com o Aldeia
22/67

Estrutura Modular
Implementaç ão
Implementaç ão
ServerSocket ss = new ServerSocket(356) ;
Socket s;
s = ss.accept();
Socket c = new Socket(¨server.inf.ufrgs.br¨, 356);
Servidor
Cliente
Servidor abre porta local e cliente se conecta no servidor
informando a máquina e a porta
23/67

Estrutura Modular
Implementaç ão
Implementaç ão
Nó 1 Nó 2
ID2
ID1 ID1
ID2
Infiniband e implementaç ão com o DECK - Interlocutores
precisam de informaç ões sobre o ponto remoto
Criar soquete TCP/IP com a porta passada na interface
Java para transmitir essas informaç ões
24/67

Estrutura Modular
Implementaç ão
Implementaç ão
Adaptaç ão de Fluxo de Dados para Troca de Mensagens
25/67

Estrutura Modular
Implementaç ão
Implementaç ão
Adaptaç ão de Fluxo de Dados para Troca de Mensagens
Soquetes Java transportam dados de qualquer tamanho
(fluxo - stream)
Enviar duas mensagens para cada requisiç ão
Latência de comunicaç ão
Registro de memória (inviável)
Usar unidade máxima para transferência de dados (MTU)
Saber de antemão o tamanho da mensagem no receptor
Economia operaç ões de registro de memória
Várias comunicaç ões para mensagens grandes
26/67

Estrutura Modular
Implementaç ão
Implementaç ão
Organizaç ão dos Códigos em C e em Java
27/67

Estrutura Modular
Implementaç ão
Implementaç ão
Aplicação
Soquetes Aldeia
Adaptador VAPI
Biblioteca
Comunicação Comunicação
Biblioteca
Adaptador VAPI
Soquetes Aldeia
Aplicação
Rede de interconexão
Ponto final 2Ponto final 1
JNI
Linguagem
Java
Linguagem C
28/67

Estrutura Modular
Implementaç ão
Implementaç ão
Protótipo 1
Segmentaç ão das mensagens em Java
Várias chamadas para dados maiores que uma MTU
Protótipo 2
Segmentaç ão das mensagens em Java
Utilizaç ão de um objeto ByteBuffer
Várias chamadas para dados maiores que uma MTU
Protótipo 3
Segmentaç ão de mensagens em linguagem C
Única transmissão dos dados pelo método nativo
29/67

Estrutura Modular
Implementaç ão
Implementaç ão
30/67

Estrutura Modular
Implementaç ão
Implementaç ão
Par de filas de comunicaç ão (QP) e par de filas de
conclusão
Filas contêm descritores de comunicaç ão, com
Ponteiro para a área de memória
Tamanho da área da memória
Marcador para conclusão
Descritores com marcador de conclusão
São inseridos na correspondente fila de conclusão
Descritores sem marcador de conclusão
São descartados
Acesso a fila de conclusão é lento (chamada ao SO)
31/67

Estrutura Modular
Implementaç ão
Implementaç ão
Transmissão de Dados
32/67

Estrutura Modular
Implementaç ão
Implementaç ão
Transmissão de Dados com o Aldeia
Buffer circular de envio
Memória registrada (1MB = máximo transmitido)
Contém mensagens de tamanho variável até 1 MTU
Lista circular de descritores de envio
Contém descritores de comunicaç ão a serem inseridos na
fila de envio
Somente o último de cada mensagem é marcado
33/67

Estrutura Modular
Implementaç ão
Implementaç ão
Transmissão de Dados com o Aldeia
1024 1024 1024 1024 952 1 1024 1024 1024 1024 500
req1 req2 req3 req4
Descritores
Buffer
34/67

Estrutura Modular
Implementaç ão
Implementaç ão
Recepç ão de Dados com o Aldeia
35/67

Estrutura Modular
Implementaç ão
Implementaç ão
Buffer de 1 MTU
Memória registrada
Com ponteiros para bytes já consumidos
Descritor de comunicaç ão
Inserido na fila de recepç ão
Espera receber uma MTU
Após a comunicaç ão é preenchido com o tamanho da
mensagem
Reutilizado para completar a requisiç ão
36/67

Estrutura Modular
Implementaç ão
Implementaç ão
Guardado para as
processados
Já
Tamanho igual a MTU
Região de memória registrada para a leitura
próximas interações
37/67

Estrutura Modular
Implementaç ão
Implementaç ão
Adaptaç ão para Utilizaç ão do DECK
38/67

Estrutura Modular
Implementaç ão
Implementaç ão
DECK possui programa espec´ıfico para lançamento de
processos que informa:
Quantidade de nós
Identificador do nó
Comunicaç ão s´ıncrona
Comunicaç ão com caixas de correio
Desenvolvimento da biblioteca MicroVAPI
Adaptar 17 funç ões da VAPI para usar o DECK
Mesma sintaxe e semântica da VAPI
39/67

Estrutura Modular
Implementaç ão
Implementaç ão
Adaptaç ões realizadas
Par de filas
Comunicaç ão ass´ıncrona
Adaptaç ão no processo de conexão
DECK utiliza o processo de clonagem
Troca de duas informaç ões para a geraç ão de uma chave
única para clonagem
40/67

Estrutura Modular
Implementaç ão
Implementaç ão
Adaptaç ão para a criaç ão de par de filas
Nó B
QP B
Nó A
VAPI
QP A
Caixa B Clonada
Caixa A
QP A
Nó A
QP B
Nó B
Caixa A Clonada
Caixa B
MicroVAPI
41/67

Estrutura Modular
Implementaç ão
Implementaç ão
Adaptaç ão para assincronismo: produtor-consumidor
Fluxo da biblioteca
MicroVAPI
Fluxo concorrente
de execução
comunicação
requisitar uma
Procedimento para
comunicação
Demônio para o
processamento da
Produtor Consumidor
1
3
2
4
6
5
Fila de requisições
Rede de Interconexão
42/67

Tempo de Comunicaç ão e Vazão
Comunicaç ão Ass´ıncrona
Serializaç ão de Objetos
Aplicaç ão Distribu´ıda do Filtro de Mediana
Geraç ão de Rastros
Roteiro
43/67

Aplicaç ão de Ping-Pong
Capturar o tempo final para a passagem de uma
mensagem
Nó 1
canal_saida.write(dados, 0, tamanho);
canal_saida.flush();
canal_recepcao.read(dados, 0, tamanho);
T_final = Captura_tempo();
T_inicial = captura_tempo();
}
for(i = 0; i < iteracoes; i++){
}
T_final=(T_final−T_inicial) / (2*iteracoes);
44/67

Tempo de Comunicac¸ ˜ao Usando o Aldeia com a VAPI
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
Tamanho da mensagem em bytes
0
50
100
150
200
250
300
350
400
450
500
550
600
650
Tempoemmicrosegundos
MTU 512
MTU 1024
MTU 2048
Tempo unidirecional da aplicação de Ping-Pong em microsegundos usando a VAPI
45/67

Vaz˜ao Usando o Aldeia com a VAPI
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
25
50
75
100
125
150
175
200
225
250
275
300
325
350
375
400
Larguradebandaemmegabitsporsegundo
MTU 512
MTU 1024
MTU 2048
Tempo da aplicação de Ping-Pong em milisegundos usando a VAPI
46/67

Vaz˜ao Usando o Aldeia com a VAPI
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
25
50
75
100
125
150
175
200
225
250
275
300
325
350
375
400
MTU 512
MTU 1024
MTU 2048
Tempo da aplicação de Ping-Pong em milisegundos usando a VAPI
400 megabits
por segundo
47/67

Tempo de Comunicac¸ ˜ao Usando o Aldeia com a DECK/TCP
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
50
100
150
200
250
300
350
400
450
500
550
600
650
700
750
800
850
900
950
1000
1050
1100
MTU 512
MTU 1024
MTU 2048
Tempo unidirecional da aplicação de Ping-Pong em microsegundos usando o DECK/TCP
48/67

Vaz˜ao Usando o Aldeia com a DECK/TCP
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
5
10
15
20
25
30
35
40
45
50
55
60
65
70
75
MTU 512
MTU 1024
MTU 2048
Tempo da aplicação de Ping-Pong em milisegundos usando o DECK/TCP
49/67

Vaz˜ao Usando o Aldeia com a DECK/TCP
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
5
10
15
20
25
30
35
40
45
50
55
60
65
70
75
MTU 512
MTU 1024
MTU 2048
Vazão da aplicação de Ping-Pong usando o DECK/TCP
70 megabits
por segundo
50/67

Captura dos tempos ass´ıncrono e s´ıncrono
M´etodo ﬂush() fora da estrutura iterativa
Nó 1
for( i = 0; i < iterações ; i++){
}
T_parcial = captura_tempo();
canal_saida.write(dados, 0, tamanho);
T_final = captura_tempo();
T_assinc = (T_parcial−T_inicial) / (2*iteracoes);
T_sinc = (T_final−T_inicial) / (2*iteracoes);
51/67

Comunicac¸ ˜ao Usando o Aldeia com a VAPI
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
25
50
75
100
125
150
175
200
Comunicação Síncrona
Comunicação Assíncrona
Comunicação Assíncrona usando a VAPI
52/67

Comunicac¸ ˜ao Usando o Aldeia com o DECK/TCP
0 1000 2000 3000 4000 5000 6000 7000 8000 9000 10000
0
50
100
150
200
250
300
350
400
450
500
550
600
650
700
750
800
850
900
950
1000
Comunicação Síncrona
Comunicação Assíncrona
Comunicação Assíncrona usando DECK TCP
53/67

Serializaç ão de um vetor de inteiros
Comparaç ão com soquetes Java TCP/IP
Descarregamento do canal antes de capturar o tempo final
Utilizaç ão do DECK na sua versão TCP/IP
Nó 1
int[ ] vetor = new int[tamanho];
objeto_saida.writeObject(vetor);
Tempo_final = T_final − T_inicial;
T_final = Captura_tempo();
54/67

Tempo da passagem do vetor de inteiros em milisegundos
Sistema
Elementos do vetor
102
103
104
105
106
107
Soquetes
TCP/IP
27.3 28.9 47.9 113.2 447.5 3628.7
Aldeia
TCP/IP
26.9 27.6 48.2 114.4 449.3 3626.1
55/67

Caracter´ısticas da aplicaç ão
Paralelizaç ão segundo o modelo mestre-escravo
Possui uma propriedade chamada máscara
Utilizaç ão de todos os nós do agregado LabTeC
Utilizaç ão do DECK na sua versão TCP/IP
Avaliar a correta transmissão dos dados com o Aldeia
56/67

57/67

Eficiência Usando Diferentes Máscaras
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
Número de processos escravos
0
10
20
30
40
50
60
70
80
90
100
Porcentagemdaeficiência
Máscara 9x9
Máscara 7x7
Máscara 5x5
Máscara 3x3
Eficiência na aplicação do Filtro de Mediana
58/67

Caracter´ısticas da geraç ão de rastros
Utilizaç ão do DECK na sua versão instrumentada
DECK gera rastros para as criaç ão e clonagem de caixas
de correio e trocas de mensagem
Visualizaç ão na ferramenta Pajé
Permite identificar o instante da troca de mensagem e
quantidade de dados envolvida
59/67

Geraç ão de Rastros e Depuraç ão
Transmissão de um vetor de inteiros
Identificar a comunicaç ão na serializaç ão de objetos
Criaç ão de caixa de correio e clonagem da caixa remota
Machine
labtec-l1 Thread 5734 DECKState
77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 9
60/67

Troca de mensagem
Visualizaç ão de três instantes
Clicar nas linhas para verificar a quantidade de bytes
transmitidos
Machine
5 80 85 90 95 100 105 110 115 120 125 130 135 14
61/67

Conclusões Gerais
Contribuiç ões
Trabalhos Futuros
Publicaç ões
Roteiro
Conclusões Gerais
Contribuiç ões
Trabalhos Futuros
Publicaç ões
62/67

Conclusões Gerais
Contribuiç ões
Trabalhos Futuros
Publicaç ões
Conclusões Gerais
Aspectos gerais do sistema Aldeia
Organizado de modo que novas bibliotecas sejam
facilmente adicionadas
Possui uma interface que o programador está acostumado
Apresenta uma interface simples que esconde os detalhes
de utilizaç ão das bibliotecas de baixo n´ıvel
Utilizaç ão em sistemas distribu´ıdos, para alto desempenho
e aplicaç ões corporativas
63/67

Conclusões Gerais
Contribuiç ões
Trabalhos Futuros
Publicaç ões
Contribuiç ões
Por que usar o sistema Aldeia?
Interface Java para comunicaç ão sobre redes Infiniband
Transmissão de dados de forma ass´ıncrona sobre uma
interface Java
Qualidade de serviço para comunicaç ão Infiniband
Geraç ão de rastros para a visualizaç ão do comportamento
do programa paralelo usando a biblioteca DECK
Proporciona uma interface de programaç ão em Java que é
simples e intuitiva e de fácil integraç ão com sistemas RMI
64/67

Conclusões Gerais
Contribuiç ões
Trabalhos Futuros
Publicaç ões
Trabalhos Futuros
Avaliaç ão do Aldeia
Avaliaç ão sobre a interface de rede Myrinet
Implementaç ão do Aldeia
Adaptador DECK
Integraç ão de agregados formados por diferentes
tecnologias de rede
65/67

Conclusões Gerais
Contribuiç ões
Trabalhos Futuros
Publicaç ões
Publicaç ões
Sistema Aldeia: Invocaç ão Remota e Ass´ıncrona de
Métodos sobre Infiniband e DECK. Workshop em Sistemas
Computacionais de Alto Desempenho. Foz do Iguaçu,
2004
Infiniband: Alta Eficiência no tratamento de grandes
volumes de dados e na computaç ão numérica. Encontro
Nacional de Engenharia de Produç ão. Florianópolis, 2004
libVIP: Arquitetura de Interface Virtual sobre TCP/IP.
Workshop em sistemas computacionais de alto
desempenho. São Paulo, 2003
66/67

Java sobre Infiniband

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (6)

Similar to Java sobre Infiniband

Similar to Java sobre Infiniband (20)

Recently uploaded

Recently uploaded (20)

Java sobre Infiniband