Grenoble:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
No edit summary
Line 13: Line 13:
Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switches are shared with GriCad, the Grenoble mesocenter).  
Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switches are shared with GriCad, the Grenoble mesocenter).  


One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect the switch to two other top switches. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).
One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switches. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).
 
                                                        +-----------------------------------------------------+              +-----------------------------------------------------+
                                                        |    OPA Top switch 1  (48 ports)                    |              |    OPA Top switch 2  (48 ports)                    |
                                                        +-----------------------------------------------------+              +-----------------------------------------------------+
                                                        |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |              |8 ports |8 p    |8 p    |8 p    |8 p    |8 p    |
                                                        +---+X+-----------------------------------------------+              +---+X+-----------------------------------------------+
                                                              X                                                                    X
                                                              X                                                                    X
                                                              X                                                                    X
                                                              X                                                                    X
                                                              X                                                                    X
                                                              X                                                                    X
                                                              XXXXXXXXXXX                                                          X
                                                                        X                                                          X
                                                                        X                                                          X
                                                                        X 8 links                                                  X
            +-----------------------------------------------------+    X                                                          X
            |    OPA switch 1  (48 ports)                        |    X                                                          X 8 links
            +-----------------------------------+--------+--------+    X                                                          X
            | 32 ports                          |        |        |    X                                                          X
            ++--+---------------+------------+--+---+X+--+--+X+---+    X                                                          X
              |  |              |            |      X      X        X                                                          X
              |  |              |            |      X      X        X                                                          X
              |  |              |            |      XXXXXXXXXXXXXXXXXXX                                                          X
      +------+  |              |            |              X                                                                    X
      |        |              |            |              X                                                                    X
      |        |              |            |              XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
      |        |            +--+---+        |
      |        | +------+  |Node N|  +-----+-+
    +--+---+    +-+Node 2|  +------+  |Node 32|
    |Node 1|      +------+            +-------+
    +------+
 


= IP Range =
= IP Range =

Revision as of 14:09, 2 December 2019

Overview of Ethernet network topology

GrenobleNetwork.png


Network devices models

  • gw: Dell S5296F-ON

More details (including address ranges) are available from the Grid5000:Network page.

Omnipath Topology

Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switches are shared with GriCad, the Grenoble mesocenter).

One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switches. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).

                                                        +-----------------------------------------------------+               +-----------------------------------------------------+
                                                        |    OPA Top switch 1  (48 ports)                     |               |    OPA Top switch 2  (48 ports)                     |
                                                        +-----------------------------------------------------+               +-----------------------------------------------------+
                                                        |8 ports |8 p     |8 p     |8 p     |8 p     |8 p     |               |8 ports |8 p     |8 p     |8 p     |8 p     |8 p     |
                                                        +---+X+-----------------------------------------------+               +---+X+-----------------------------------------------+
                                                             X                                                                     X
                                                             X                                                                     X
                                                             X                                                                     X
                                                             X                                                                     X
                                                             X                                                                     X
                                                             X                                                                     X
                                                             XXXXXXXXXXX                                                           X
                                                                       X                                                           X
                                                                       X                                                           X
                                                                       X 8 links                                                   X
            +-----------------------------------------------------+    X                                                           X
            |    OPA switch 1  (48 ports)                         |    X                                                           X 8 links
            +-----------------------------------+--------+--------+    X                                                           X
            | 32 ports                          |        |        |    X                                                           X
            ++--+---------------+------------+--+---+X+--+--+X+---+    X                                                           X
             |  |               |            |       X       X         X                                                           X
             |  |               |            |       X       X         X                                                           X
             |  |               |            |       XXXXXXXXXXXXXXXXXXX                                                           X
      +------+  |               |            |               X                                                                     X
      |         |               |            |               X                                                                     X
      |         |               |            |               XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
      |         |            +--+---+        |
      |         | +------+   |Node N|  +-----+-+
   +--+---+     +-+Node 2|   +------+  |Node 32|
   |Node 1|       +------+             +-------+
   +------+


IP Range

  • Computing : 172.16.16.0/20
  • Omni-Path : 172.18.16.0/20
  • Virtual : 10.132.0.0/14