traps: Add HPE SAN box SCSI UNMAP issue

Author: iBug

docs/records/2024-10-02.md

@@ -31,6 +31,31 @@
 SPARSE_SIZE indicates the consecutive number of bytes (defaults to 4k) that must contain only zeros for qemu-img to create a sparse image during conversion. If SPARSE_SIZE is 0, the source will not be scanned for unallocated or zero sectors, and the destination image will always be fully allocated.
 ```
 
-在添加 `-S 0` 后测试，`qemu-img convert` 能够正常工作。由于一个 GPT 项只有 128B，而 `qemu-img` 默认 sparse size 为 4K，因此如果刚好对应的块设备区域没有被写零清空，那么本来为 0 的 GPT 表就会错误包含非零内容，进而导致了分区表校验和错误。
+在添加 `-S 0` 后测试，`qemu-img convert` 能够正常工作。由于一个 GPT 项只有 128B，而 `qemu-img` 默认 sparse size 为 4K，因此如果刚好对应的块设备区域没有被写零清空，那么本来为 0 的 GPT 表区域就会包含残留数据，进而导致了分区表校验和错误。
 
 相关问题已反馈 Proxmox: <https://bugzilla.proxmox.com/show_bug.cgi?id=5754>。经过内部讨论，我们暂时添加了 `-S 1M` 参数，并且 `apt-mark hold qemu-server` 锁定版本。
+
+## 后续
+
+在 Proxmox 开发者的提示下，我们检查 HPE 存储柜汇报的 SCSI 功能特性：
+
+```console
+
+root@pv1:~# sg_vpd --page=0xb2 /dev/sde
+Logical block provisioning VPD page (SBC):
+  Unmap command supported (LBPU): 1
+  Write same (16) with unmap bit supported (LBPWS): 1
+  Write same (10) with unmap bit supported (LBPWS10): 0
+  Logical block provisioning read zeros (LBPRZ): 1
+[...]
+```
+
+而实际上该存储柜仅当 SCSI UNMAP 命令覆盖完整的 1 MiB 段时才会清零对应位置的数据，而 qemu-img 的 sparse size 默认为 4K，因此当 qemu-img 以 4K 为单位 `fallocate()` 时底层存储的数据并没有清零。
+
+保险起见，我们决定禁用“以 UNMAP 作清零”的功能，具体做法是向 `/sys/devices/platform/host*/session*/target*/scsi_disk/*/zeroing_mode` 中写入 `writesame`。持久化该设置的方式是通过 udev：
+
+```shell title="/etc/udev/rules.d/99-scsi-zeroing-mode.rules"
+ACTION=="add", SUBSYSTEM=="scsi_disk", DEVPATH=="/devices/platform/host*/session*/target*/scsi_disk/*", ATTR{zeroing_mode}="writesame"
+```
+
+完整的讨论过程参见上面的 Proxmox Bugzilla 链接。

docs/traps.md

@@ -1,3 +1,7 @@
+---
+icon: material/bug
+---
+
 # 踩坑记录
 
 ## Proxmox VE
@@ -26,9 +30,9 @@
 
 ### Migrate 提示 `ERROR: migration aborted (duration 00:00:00): CT is locked (migrate)`
 
-容器：`pct unlock <ID 号>`
+容器：`pct unlock <ID>`
 
-虚拟机：`qm unlock <ID 号>`
+虚拟机：`qm unlock <ID>`
 
 !!! warning "HA 注意事项"
 
@@ -463,6 +467,12 @@ See [2023 年 1 月 28 日工作记录](./records/2023-01-28.md).
 # pct list | awk '$2=="running"{print $1}' | xargs -I xxx pct exec xxx -- bash -c 'echo xxx && [ ! -f "/etc/systemd/system/logrotate.timer.d/vlab.conf" ] && mkdir -p /etc/systemd/system/logrotate.timer.d && echo -e "[Timer]\nRandomizedDelaySec=3h" > /etc/systemd/system/logrotate.timer.d/vlab.conf && systemctl daemon-reload'
 ```
 
+### 新建的虚拟机随机出现 GPT 分区表损坏
+
+这个问题困扰了我们很久，根本原因是 HPE 的 SAN 汇报其会对通过 SCSI UNMAP 命令释放的块进行清零处理，但实际上并不会，导致 `qemu-img convert` 往新建的 LVM 写入镜像时跳过了清零操作，而未清零的残余数据导致了 GPT 分区表损坏。
+
+排查过程和解决方法详见 [2024 年 10 月 2 日的工作记录](records/2024-10-02.md)。
+
 ## Web 及用户界面
 
 ### 创建虚拟机出现 Connection aborted, RemoteDisconnected('Remote end closed connection without response')