Sophia:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
 
(85 intermediate revisions by 16 users not shown)
Line 1: Line 1:
= Réseau =
{{Template:Site link|Network}}
{{Portal|Network}}
{{Portal|User}}


== Gigabit Ethernet ==
'''See also:''' [[Sophia:Hardware|Hardware description for Sophia]]
[[Image:sophia-network.png|thumbnail|305px|Schéma Réseau]]
=== Cluster Azur (IBM)===
Tous les noeuds du cluster IBM sont interconnectés en Gigabit Ethernet par une pile de 9 switchs Cisco-3750 reliés par un bus de 32Gbps. La liste précise l'appartenance des noeuds aux différents switchs :


* switch n°1 : agrégat 8x1 giga vers le Foundry
= Overview of Ethernet network topology =
* switch n°2 : node-118 à node-138 (21 noeuds)
* switch n°3 : node-20 à node-39 (20 noeuds)
* switch n°4 : node-1 à node-19 (19 noeuds)
* switch n°5 : node-40 à node-58 (19 noeuds)
* switch n°6 : node-59 à node-78 (20 noeuds)
* switch n°7 : node-79 à node-85 (7 noeuds)
* '''switch n°9''' (Master) : lien 10G Renater4


'''Attention''' : le réseau n'est pas dédié à Grid5000, le switch n°7 en particulier est partagé avec un autre cluster (et par conséquent le bus de la pile de switch également).
[[File:SophiaNetwork.svg|600px]]


Le numéro de switch peut être utilisé lors des réservations oar : <code class="command">oarsub -l nodes=15 -p switch=X</code>
{{:Sophia:GeneratedNetwork}}


Il est possible de consulter l'utilisation du réseau à l'adresse suivante : https://helpdesk.grid5000.fr/cricket/grapher.cgi?target=%2Fsophia%2Fcisco


OS installé:
== High Performance networks ==
<code>
Cisco IOS Software, C3750 Software (C3750-IPBASE-M), Version 12.2(25)SEB4</code>


=== Cluster Helios (Sun) ===
=== Infiniband 40G on uvb ===
uvb cluster nodes are all connected to 40G infiniband switches. Since these two clusters are shared with the Nef procution cluster at INRIA Sophia, we are using Infiniband partitions to isolate the nodes from nef when they are available on grid5000. The partition dedicated to grid5000 is '''0x8100'''. The ipoib interfaces on nodes are therefore named ib0.8100 instead of ib0.
To use the native openib driver of '''openmpi''', you must set: <code>btl_openib_pkey = 0x8100 </code>


Tous les noeuds sont interconnectés en gigabit ethernet sur une pile de 2 switchs Foundry EdgeIron, reliés par un bus de 10Gbps (2x10 en full duplex). La liste précise l'appartenance des noeuds aux différents switchs :
==== Nodes ====


* switch n°1 : helios01 à helios48 (48 noeuds)
*<code class="host">uvb-9</code> to <code class="host">uvb-12</code> have one QDR Infiniband card.
* switch n°2 : helios49 à helios56 (8 noeuds)
* Card Model : Mellanox Technologies MT26428 [ConnectX IB QDR, PCIe 2.0 5GT/s].
* Driver : <code class="dir">mlx4_ib</code>
* OAR property : ib_rate=40
* IP over IB addressing :  
** <code class="host">uvb-[9..12]-ib0</code>.sophia.grid5000.fr ( 172.18.132.[1..44] )


Le numéro de switch peut être utilisé lors des réservations oar : <code class="command">oarsub -l nodes=15 -p switch=X</code>
==== Interconnection ====


Version de l'OS: <code>2.2.6.23</code>
Infiniband network is physically isolated from Ethernet networks. Therefore, Ethernet network emulated over Infiniband is isolated as well. There isn't any interconnection, neither at the data link layer nor at the network layer.
 
=== Interconnection ===
 
L'interconnection entre les deux piles de switch se fait via un aggrégat de 8 liens 1 gigabit = 8Gpbs.
 
L'interconnection Renater se fait via un port 10 Gigabit Ethernet sur un des Cisco 3750.
 
== Myrinet ==
 
76 noeuds IBM sont interconnectés via un commutateur Myrinet 2000 de 128 ports, ce sont les machines :
 
* node-118 à node-138
* node-1 à node-39
* node-63 à node-78
 
Elles peuvent être réservée lors des soumissions oar en précisant la propriété 'myrinet' : <code class="command">oarsub -l nodes=10 -p "myrinet='yes'"</code>.
 
Il est possible de consulter l'utilisation du réseau à l'adresse suivante : https://helpdesk.grid5000.fr/cricket/

Latest revision as of 14:50, 17 March 2025

Network: Global | Grenoble | Lille | Louvain | Luxembourg | Lyon | Nancy | Nantes | Rennes | Sophia | Strasbourg | Toulouse

See also: Hardware description for Sophia

Overview of Ethernet network topology

SophiaNetwork.svg


Network devices models

  • gw: Aruba 8325-48Y8C
  • sw-2: Aruba 6300M
  • sw-3: Aruba 6300M
  • sw-4: Dell PowerSwitch N1548
  • sw-5: Aruba 2930F
  • sw-6: Aruba 2930F
  • sw-7: Dell PowerSwitch N4032
  • swadmin-2: Aruba 2930F
  • swadmin-3: Aruba 2930F
  • swadmin-4: Aruba 2930F
  • swadmin-5: Aruba 2930F
  • swadmin-6: Aruba 2930F
  • swadmin-7: Aruba 2930F

More details (including address ranges) are available from the Grid5000:Network page.


High Performance networks

Infiniband 40G on uvb

uvb cluster nodes are all connected to 40G infiniband switches. Since these two clusters are shared with the Nef procution cluster at INRIA Sophia, we are using Infiniband partitions to isolate the nodes from nef when they are available on grid5000. The partition dedicated to grid5000 is 0x8100. The ipoib interfaces on nodes are therefore named ib0.8100 instead of ib0. To use the native openib driver of openmpi, you must set: btl_openib_pkey = 0x8100

Nodes

  • uvb-9 to uvb-12 have one QDR Infiniband card.
  • Card Model : Mellanox Technologies MT26428 [ConnectX IB QDR, PCIe 2.0 5GT/s].
  • Driver : mlx4_ib
  • OAR property : ib_rate=40
  • IP over IB addressing :
    • uvb-[9..12]-ib0.sophia.grid5000.fr ( 172.18.132.[1..44] )

Interconnection

Infiniband network is physically isolated from Ethernet networks. Therefore, Ethernet network emulated over Infiniband is isolated as well. There isn't any interconnection, neither at the data link layer nor at the network layer.

Retrieved from "https://www.grid5000.fr/mediawiki/index.php?title=Sophia:Network&oldid=105381"