Grenoble:Network: Difference between revisions

From Grid5000
Jump to navigation Jump to search
No edit summary
No edit summary
Line 16: Line 16:


If we take 2 switch and the 2 top switch :
If we take 2 switch and the 2 top switch :
                                                         +-----------------------------------------------------+              +-----------------------------------------------------+
                                                         +-----------------------------------------------------+              +-----------------------------------------------------+
                                                         |    OPA Top switch 1  (48 ports)                    |              |    OPA Top switch 2  (48 ports)                    |
                                                         |    OPA Top switch 1  (48 ports)                    |              |    OPA Top switch 2  (48 ports)                    |
Line 44: Line 43:
       |        |              |            |              XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX                                                                                X
       |        |              |            |              XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX                                                                                X
       |        |            +--+---+        |                                      X                                                                                                                                X
       |        |            +--+---+        |                                      X                                                                                                                                X
       |        | +------+  |Node N|  +-----+-+                                    X                                                                                                                                X
       |        | +------+  |dahu N|  +-----+-+                                    X                                                                                                                                X
     +--+---+    +-+Node 2|  +------+  |Node 32|                                    X                                                                    +-----------------------------------------------------+    X
     +--+---+    +-+dahu 2|  +------+  |dahu 32|                                    X                                                                    +-----------------------------------------------------+    X
     |Node 1|      +------+            +-------+                                    X                                                                    |    OPA switch 2  (48 ports)                        |    X
     |dahu 1|      +------+            +-------+                                    X                                                                    |    OPA switch 2  (48 ports)                        |    X
     +------+                                                                        X                                                                    +-----------------------------------+--------+--------+    X
     +------+                                                                        X                                                                    +-----------------------------------+--------+--------+    X
                                                                                     X                                                                    | 32 ports                          |        |        |    X
                                                                                     X                                                                    | 32 ports                          |        |        |    X
Line 57: Line 56:
                                                                                     X                                                              |        |              |            |      X
                                                                                     X                                                              |        |              |            |      X
                                                                                     X                                                              |        |            +--+---+        |      X
                                                                                     X                                                              |        |            +--+---+        |      X
                                                                                     X                                                              |        | +------+  |Node N|  +-----+-+    X
                                                                                     X                                                              |        | +------+  |yeti 3|  +-----+-+    X
                                                                                     X                                                          +--+---+    +-+Node 2|  +------+  |Node 32|    X
                                                                                     X                                                          +--+---+    +-+yeti 2|  +------+  |yeti 4 |    X
                                                                                     X                                                          |Node 1|      +------+            +-------+    X
                                                                                     X                                                          |yeti 1|      +------+            +-------+    X
                                                                                     X                                                          +------+                                          X
                                                                                     X                                                          +------+                                          X
                                                                                     X                                                                                                            X
                                                                                     X                                                                                                            X
                                                                                     X                                                                                                            X
                                                                                     X                                                                                                            X
                                                                                     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
                                                                                     XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX


= IP Range =
= IP Range =

Revision as of 14:42, 2 December 2019

Overview of Ethernet network topology

GrenobleNetwork.png


Network devices models

  • gw: Dell S5296F-ON

More details (including address ranges) are available from the Grid5000:Network page.

Omni-Path Topology

Each node of the dahu, yeti and lama clusters are connected to 100Gbps Dell Omni-Path switches (some of these switch are shared with GriCad, the Grenoble mesocenter).

One switch has 48 ports, 32 are reserved for the nodes. The 16 others ports are used to connect to two top switch. This is a fat tree blocking 2:1 topologoy (we have 16 uplinks for 32 nodes).

If we take 2 switch and the 2 top switch :

                                                        +-----------------------------------------------------+               +-----------------------------------------------------+
                                                        |    OPA Top switch 1  (48 ports)                     |               |    OPA Top switch 2  (48 ports)                     |
                                                        +-----------------------------------------------------+               +-----------------------------------------------------+
                                                        |8 ports |8 p     |8 p     |8 p     |8 p     |8 p     |               |8 ports |8 p     |8 p     |8 p     |8 p     |8 p     |
                                                        +---+X+-------X---------------------------------------+               +---+X+-------X---------------------------------------+
                                                             X        X                                                            X        X
                                                             X        X                                                            X        X
                                                             X        X                                                            X        X
                                                    8 links  X        XXXXXXXXXXXXXXX                                              X        X
                                                             X                      X                                              X        XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
                                                             X                      X                                              X                                                                                 X
                                                             XXXXXXXXXXX            X                                              X                                                                                 X
                                                                       X            X                                              X                                                                                 X
                                                                       X            X 8 links                              8 links X                                                                                 X
                                                                       X            X                                              X                                                                        8 links  X
            +-----------------------------------------------------+    X            X                                              X                                                                                 X
            |    OPA switch 1  (48 ports)                         |    X            X                                              X                                                                                 X
            +-----------------------------------+--------+--------+    X            X                                              X                                                                                 X
            | 32 ports                          |        |        |    X            X                                              X                                                                                 X
            ++--+---------------+------------+--+---+X+--+--+X+---+    X            X                                              X                                                                                 X
             |  |               |            |       X       X         X            X                                              X                                                                                 X
             |  |               |            |       X       X         X            X                                              X                                                                                 X
             |  |               |            |       XXXXXXXXXXXXXXXXXXX            X                                              X                                                                                 X
      +------+  |               |            |               X                      X                                              X                                                                                 X
      |         |               |            |               X                      X                                              X                                                                                 X
      |         |               |            |               XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX                                                                                 X
      |         |            +--+---+        |                                      X                                                                                                                                X
      |         | +------+   |dahu N|  +-----+-+                                    X                                                                                                                                X
   +--+---+     +-+dahu 2|   +------+  |dahu 32|                                    X                                                                    +-----------------------------------------------------+     X
   |dahu 1|       +------+             +-------+                                    X                                                                    |    OPA switch 2  (48 ports)                         |     X
   +------+                                                                         X                                                                    +-----------------------------------+--------+--------+     X
                                                                                    X                                                                    | 32 ports                          |        |        |     X
                                                                                    X                                                                    ++--+---------------+------------+--+---+X+--+--+X+---+     X
                                                                                    X                                                                     |  |               |            |       X       X          X
                                                                                    X                                                                     |  |               |            |       X       X          X
                                                                                    X                                                                     |  |               |            |       X       X          X
                                                                                    X                                                              +------+  |               |            |       X       XXXXXXXXXXXXX
                                                                                    X                                                              |         |               |            |       X
                                                                                    X                                                              |         |               |            |       X
                                                                                    X                                                              |         |            +--+---+        |       X
                                                                                    X                                                              |         | +------+   |yeti 3|  +-----+-+     X
                                                                                    X                                                           +--+---+     +-+yeti 2|   +------+  |yeti 4 |     X
                                                                                    X                                                           |yeti 1|       +------+             +-------+     X
                                                                                    X                                                           +------+                                          X
                                                                                    X                                                                                                             X
                                                                                    X                                                                                                             X
                                                                                    XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

IP Range

  • Computing : 172.16.16.0/20
  • Omni-Path : 172.18.16.0/20
  • Virtual : 10.132.0.0/14