哪些主板带Infiniband接口？听说这些主板巨牛鼻

Franso · 发表于 2021-12-19 12:14:58

带Infiniband接口的主板，连起来，是不是就是超算啊

听说超算节点之间不用以太网，用的是Infiniband做互联的

各位用过带Infiniband接口的主板么，
可否说下哪些主板带Infiniband接口

wye11083 · 发表于 2021-12-19 12:26:47

听说超算主要用rdma。。专业网卡。bios也是专门设计的，可以直接读写rdma映射地址访问远程共享内存（典型的高带宽超高延迟），可以直接当做节点间延迟超大的numa架构开发程序。

Franso · 发表于 2021-12-19 12:45:47

wye11083 发表于 2021-12-19 12:26
听说超算主要用rdma。。专业网卡。bios也是专门设计的，可以直接读写rdma映射地址访问远程共享内存（典型的 ...

remote direct memory access？
不需要经过操作系统转发数据，A节点可以通过infiniband直接读取B节点的内存么？

monkeynav · 发表于 2021-12-19 16:30:43

rdma并不是不用经过操作系统，它只是不需要系统去打包解包，设置好dma寄存器直接就复制过去了。

zkf0100007 · 发表于 2021-12-19 16:35:23

wye11083 发表于 2021-12-19 12:26
听说超算主要用rdma。。专业网卡。bios也是专门设计的，可以直接读写rdma映射地址访问远程共享内存（典型的 ...

天河用的就是IB

Franso · 发表于 2021-12-19 17:01:47

zkf0100007 发表于 2021-12-19 16:35
天河用的就是IB

你用过IB主板么

wye11083 · 发表于 2021-12-19 17:11:12

Franso 发表于 2021-12-19 17:01
你用过IB主板么

你闲着没事干了。想折腾你整俩7702去，一共128核256线程2T内存，这就是个16路NUMA架构（虚拟2路64C128T的NUMA，因为跨IODIE很慢）。

david1234 · 发表于 2021-12-19 17:22:38

本帖最后由 david1234 于 2021-12-19 17:29 编辑

上次听华为人讲，GPU用RDMA直通100G（400G？）网卡，与外部连接。

更牛的是LIFI, 一端装在房顶，使用DLP技术做目标跟踪，实现与下方笔记本10G点对点通信

hhxb · 发表于 2021-12-19 17:26:21

又不是pc机声卡网卡都集成在主板上
Infiniband是独立网卡，

咸鱼二手便宜

Franso · 发表于 2021-12-21 11:17:54

hhxb 发表于 2021-12-19 17:26
又不是pc机声卡网卡都集成在主板上
Infiniband是独立网卡，咸鱼二手便宜
...

为什么某宝Infiniband 网卡成交量都是0呢

qtechzdh · 发表于 2021-12-21 12:27:06

Franso 发表于 2021-12-21 11:17
为什么某宝Infiniband 网卡成交量都是0呢

普通人用不上，商业用户不上淘宝买。淘宝的都是二手货或者工程余料

hhxb · 发表于 2021-12-21 15:42:24

Franso 发表于 2021-12-21 11:17
为什么某宝Infiniband 网卡成交量都是0呢

Infiniband 满血要用100G 的网线，一米上百块钱。

阿莫论坛20周年了！感谢大家的支持与爱护！！