那么HBM内存究竟是什么，与现在主流的LPDDR5有何不同呢？事实上，HBM（High Bandwidth Memory，高带宽内存）是一种基于3D堆栈技术，通过TSV（硅通孔）和微凸块（ubump）工艺实现的多层DRAM芯片垂直堆叠。而DDR（Double Data Rate）则采用的是并行总线架构，常见于DIMM（双列直插式内存模块）形式。

HBM的带宽究竟有多高呢？以最新的HBM3E为例，其传输速率达到了9.6GB/s，可提供1.2TB/s带宽。作为对比，LPDDR5X的带宽为8533Mbps（1066.6MB/s），也就是说HBM3E的带宽是LPDDR5X的1180倍。

这里

目前只有kubelet支持动态修改log level。

用于LLM的沙盒环境，没想到背后是依赖libkrun，containers组件下面的，后来看下了RedHat也有相关介绍。

和集团那边沟通他们声称设计的推理集群最多只能支持32物理机节点，啊这有点不科学，天天都在听说什么万卡集群，这差的有点多吧。

液冷服务器

生产环境中的 LLM 推理， 这系列文章写的不错。

试用了下perplexity，感觉一般，没有很惊讶。

GORK 4 发布了。

生活

已经提了离职，周五晚上到下周一去了趟青岛。

电力如何调度的？这几天新闻说用电量一直达到历史新高。