机框交换机,跌落神坛!大厂DCN硬件选择的十年反转路 !

文 | 钱钱

编辑 | 阿景


现在咱们刷短视频、逛电商、抢火车票,背后都靠数据中心网络撑着。

大厂的DCN(数据中心网络)就像行业的技术样板间,他们怎么搭架构、选设备,小公司基本就跟着学。

今天就聊聊大厂DCN的架构、协议和运维这三件事,看看这些技术风向标到底有啥不一样。

DCN架构的十年变身

早期数据中心的服务器摆得跟村里散养鸡似的,一台台隔开,留着宽过道,方便人工检修。

那会儿金融机构的ServerFarm就是典型,服务器密度低得可怜,毕竟金融业务求稳,出点故障可不是闹着玩的。

互联网公司就不一样了。

用户量爆炸式增长,服务器不够用,机房空间又金贵,只能往"密"里整。

现在大厂的DCN,服务器堆得跟钢铁森林似的,密度比早期金融数据中心高了20倍不止。

这可不是瞎堆,得看业务属性。

在线业务比如直播、支付,讲究"快",服务器得挨近点,数据传输时延才能压到最低。

离线业务比如数据备份、AI训练,对时延不敏感,但数据量大,就得优先考虑成本,服务器可以分区域放,甚至用便宜点的硬件。

阿里张北数据中心的离线业务集群就很典型。

他们把服务器分组部署,每组之间留着"防火墙",一组出问题,另一组能立马顶上。

这种设计既省了钱,又扛住了风险,算是把"集约化"玩明白了。

协议和硬件的攻守战

架构搭好了,数据在里面跑还得靠协议指挥,就像修好了高速公路,得有交通规则才行。

大厂DCN里,协议的江湖也挺热闹。

以前企业网最爱用OSPF协议,简单好上手。

但到了大厂DCN,OSPF基本销声匿迹了,现在当家的是BGP。

为啥?BGP就像个万能插头,能接各种网络,扩展性强;规则灵活,想让数据走哪条路就走哪条;最重要的是,用的人多,生态成熟,出问题了好找解决方案。

举个例子,早期DCN用ECMP协议分流量,就像几条路一起开车,但总有条路车多、条路车少,效率低。

后来大厂搞出UCMP,能根据每条路的实时状态分配流量,某电商大促时,一条链路突然拥堵,系统自动把流量分到其他路,用户都没感觉卡顿。

硬件这边,机框式交换机以前是香饽饽,一个大机箱插十几个线卡,端口多。

但现在大厂基本改用盒式交换机了。

机框式有个致命问题:一个线卡坏了,整个机箱都可能受影响,故障范围太大,就像一栋楼的水管爆了,整栋楼停水。

盒式交换机小巧灵活,一个坏了换一个,故障范围可控,成本还低,三年周期算下来,TCO能省不少。

某大厂早年吃过机框式的亏。

一次跨厂商排障,机框内部模块兼容性出问题,查了48小时才找到原因,业务停了小半天。

从那以后,他们就慢慢换成盒式设备了。

光模块是连接服务器和交换机的"数据线",别看小,学问大。

高速信号传输时,速率、距离、功耗、可靠性得平衡。

以前大厂买现成的货架产品,现在都跟厂商联合研发,比如从SR4到DR4的升级,就是根据自己机房的距离和速率需求定制的,既能满足性能,又能压成本。

日常运维才是真考验。

大厂的DCN一天要处理几亿次请求,出点小故障都可能影响几千万用户,所以他们的运维团队练就了"秒级响应"的本事。

他们在网络里到处插"探针",就像遍布全城的监控摄像头,哪条链路堵了、哪个设备卡了,立马能发现。

配合ARP/ND转主机路由技术,故障设备能被快速隔离,不会连累其他区域。

自动化运维也是标配。

BGP团体字策略就像给路由贴标签,哪条路由从哪来、要去哪,一看标签就知道,管理起来清清楚楚。

故障发生时,系统能自动触发修复流程,从告警到业务恢复,全程不用人工插手。

数据驱动决策也用得溜。

比如统计不同厂商设备的故障率,谈判时直接甩数据:"你家设备半年坏了5次,别家才1次,价格得再降降。"厂商也没法反驳。

说到底,大厂DCN的技术路线,其实就一个逻辑:业务需要什么,就做什么优化。

不追时髦技术,只解决真问题。

未来云网融合,DCN还得跟着业务变,但核心逻辑估计跑不了简单、可靠、成本可控,这才是技术该有的样子。

↑