vdfuseloop：支持更多格式虚拟磁盘启动的Linux方式（vdi/vmdk/vhd等）

y4h3z4

zhangxuwang 发表于 2021-11-10 10:32
大佬，想用动态vhd装linux，能否出个详细的教程

我也在等待大佬的详细教程

kero990

我有两个问题
第一，如果我不用win，我只是多个linux的多系统，但不想多分区，我该怎么做
我的考虑是，vhd并不是linux下的常规虚拟磁盘格式，使用vhd格式更多的需求是win作为主系统的需求。那么如果摒弃vhd这种格式，只考虑将linux装进一个虚拟磁盘文件，无论它是raw，crow2，会不会更简单一些。

第二，我目前折腾的这台机器是个国产机，也就是arm64架构，既然这个方案是用的vbox的解决方案，那么它能否支持arm64架构的linux呢？

want20

lijingjack 发表于 2020-12-22 10:32
**** 作者被禁止或删除 内容自动屏蔽 ****

qemu-nbd 挂载 动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功挂到 sysroot上的，也手动验证了，但是在 switch root 的时候，qemu-nbd 就立马断开连接了（shutting down socket），ps 看进程结束了，猜测是 systemd kill 掉了。exec 的方案也无效，但是理论上来说 vdfuse 都可以挂载到进入系统，qemu-nbd 原理也是一样的，不知道怎么整了emmm，大佬给点建议呗

want20

qemu-nbd 挂载 动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功挂到 sysroot上的，也手动验证了，但是在 switch root 的时候，qemu-nbd 就立马断开连接了（shutting down socket），ps 看进程结束了，猜测是 systemd kill 掉了。exec 的方案也无效，但是理论上来说 vdfuse 都可以挂载到进入系统，qemu-nbd 原理也是一样的，不知道怎么整了emmm，大佬给点建议呗

2011dingfei

Misty 发表于 2020-2-2 06:42
更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后 ...

吊炸天了！怎么不更新了！正需要这个功能

2011dingfei

Misty 发表于 2020-2-2 06:42
更新：支持VMware快照功能! (仅bios)
1. 下载https://github.com/NyaMisty/grub-vmsnap，用build.sh编译后 ...

uefi能用了吗

fendou00

试了一下，没成功， 打印：
Gave up waiting for root file system device.Common problems:
- Boot args(cat /proc/cmdline)
-Check rootdelay= ( did the system wait long enough?)
- Missing modules (cat /proc/moudles;ls /dev)
ALERT! /dev/vdhost/Partition2 does not exist. Dropping to a shell!

有尝试成功的大佬吗？

ZMLoveLH

看看楼主的教程，学习那些支持虚拟磁盘启动的Linux方式

2013qwaszx

补充一下：dracut方案《第四步》中，fedora 37中/etc/dracut.conf.d/为空目录，没有任何配置文件。
可以在第五步中增加选项-N，即

1. dracut -f -N

复制代码

，在生成时指定hostonly模式。

paodiao

want20 发表于 2022-11-23 18:58
qemu-nbd 挂载 动态 ubuntu vhd ，在 dracut 的 pre-mount 挂脚本处理，救援模式shell 下看日志是可以成功 ...

老哥，我也在看使用qemu-nbd启动qcow2的问题，你有研究出什么结果没？感谢！

want20

paodiao 发表于 2023-5-8 20:50
老哥，我也在看使用qemu-nbd启动qcow2的问题，你有研究出什么结果没？感谢！

没，qemu-nbd始终无法起来，还是老问题，可以用vboximg-mount替代，vdfuse只支持mbr，vboximg-mount支持mbr和gpt，但是都需要装个vbox，想把其提取出来，但是vbox为了做多平台，代码还不好提。目前知道几个方案，libguestfs-tools和nbdfuse有些镜像分区读不出？libvhd只支持读，blktap没试过。

want20

want20 发表于 2023-5-29 15:34
没，qemu-nbd始终无法起来，还是老问题，可以用vboximg-mount替代，vdfuse只支持mbr，vboximg-mount支持m ...

以上针对vhd而言，差分qcow2应该有其他挂载工具吧，vhd比较麻烦

want20

kero990 发表于 2022-3-11 12:36
我有两个问题
第一，如果我不用win，我只是多个linux的多系统，但不想多分区，我该怎么做
我的考虑是，vh ...

显然不支持，vbox除了apple的m系列外目前不支持arm，当然把挂载工具vdfuse换成支持arm的即可

ghosthark

有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd挂载成功了
但是drauct改写时nbd被断开显示IO  error
[  568.600126] fedora kernel: block nbd1: shutting down sockets
[  568.603241] fedora kernel: blk_print_req_error: 11 callbacks suppressed
[  568.603244] fedora kernel: I/O error, dev nbd1, sector 97519872 op 0x0:(READ) flags 0x3000 phys_seg 1 prio class 2
[  568.603260] fedora systemd-journald[292]: Received SIGTERM from PID 1 (systemd).
[  568.603774] fedora kernel: EXT4-fs error (device nbd1p2): __ext4_get_inode_loc_noinmem:4687: inode #3014657: block 12058656: comm systemd: unable to read itable block

ghosthark

有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd挂载成功了
但是drauct改写时nbd被断开显示fedora kernel: I/O error

2011niumao

ghosthark 发表于 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd ...

看看我这个方案。好像我也没有成功，但是Ubuntu系统qemu-nbd是成功了的，只是明显感觉到系统迟钝。
注意，引导参数是 qemu-nbd. 它的值是vhd文件的含路径的名称。

注意，需要安装ntfs-3g,  最好是我修订过的ntfs-3g

1. ########################################################################
   
2. ###                           KLOOP by niumao                        ###
   
3. ########################################################################
   
4. 
   
5. QEMUNBD=$(getarg qemunbd=)
   
6. 
   
7. export QEMUNBD
   
8. 
   
9. 
   
10. if [ -n "$QEMUNBD" ]; then
    
11. 
    
12.         ### reset the value of the root variable
    
13.         HOSTDEV="${root#block:}"
    
14.         [ -n "$KROOT" ]  ||  root="/dev/loop0"
    
15.         [ -n "$KROOT" ]  &&  root="$KROOT"
    
16.         realroot="$root"
    
17.         export root
    
18.         if ismounted "$NEWROOT"; then
    
19.                 umount "$NEWROOT"
    
20.         fi
    
21.                         
    
22.         ###  auto probe the fs-type of the partition in which vhd-file live and mount it  /host
    
23.         mkdir -p /host
    
24.         if [ -z "${HOSTFSTYPE}" ]; then
    
25.                 HOSTFSTYPE="$(blkid -s TYPE -o value "$HOSTDEV")"
    
26.                 [ -z "${HOSTFSTYPE}"  -o  "${HOSTFSTYPE}" = "ntfs" ] && HOSTFSTYPE="ntfs-3g"
    
27.         fi
    
28.         [ "${HOSTFSTYPE}" = "ntfs-3g" ] || modprobe ${HOSTFSTYPE}
    
29.         mount -t "${HOSTFSTYPE}" -o rw   $HOSTDEV /host
    
30.         
    
31.         ### mount the vhd-file on a loop-device
    
32.         if [ "${QEMUNBD#/}" != "${QEMUNBD}" ]; then
    
33.                 modprobe  nbd
    
34.                 [ -e /host$QEMUNBD ] || sleep 3
    
35.                 qemu-nbd -c /dev/nbd0 /host$QEMUNBD
    
36.                 kpartx -av /dev/nbd0
    
37.                 [ -e "$realroot" ] ||  sleep 3
    
38.         fi
    
39. 
    
40.         ### mount the realroot / in vhd-file on $NEWROOT
    
41.         if [ -z "${KLOOPFSTYPE}" ]; then
    
42.                 KLOOPFSTYPE="$(blkid -s TYPE -o value "$realroot")"
    
43.                 [ -z "${KLOOPFSTYPE}" ] && KLOOPFSTYPE="ext4"
    
44.         fi
    
45.         [ -e "$realroot" ] || sleep 3
    
46.         mount -t "${KLOOPFSTYPE}" -o rw $realroot $NEWROOT
    
47.         
    
48.         ### mount /host in initrd to /host of the realrootfs
    
49.         if [  "${HOSTHIDDEN}" != "y" ] ; then
    
50.                 [ -d "${NEWROOT}"/host ] || mkdir -p ${NEWROOT}/host
    
51.                 mount -R /host   ${NEWROOT}/host
    
52.         fi
    
53. 
    
54. fi
    
55. 
    
56. 
    
57. ########################################################################
    
58. ###                        END,  KLOOP by niumao                     ###
    
59. ########################################################################
    

复制代码

2011niumao

ghosthark 发表于 2023-6-15 22:25
有在drauct下成功使用qemu-ndb的挂载vhd（动态）的案例吗
按照楼主的方案initramfs-tool方案改写qemu-nd ...

是不是应该首先在vhd内系统的内核设置一下，block的黑名单或者白名单？再重新制作initramfs使用此内核引导。

ghosthark

2011niumao 发表于 2023-6-16 10:25
看看我这个方案。好像我也没有成功，但是Ubuntu系统qemu-nbd是成功了的，只是明显感觉到系统迟钝。
注意 ...

感谢大佬回复，我尝试使用该脚本但是还是没有正常引导 我的环境是fedroa 38  efi分区 +EXT4(/分区)   
grub2 配置如下

1. menuentry 'kloop-dracut' --class ubuntu {
   
2.         insmod gzio
   
3.         insmod part_msdos
   
4.         insmod part_gpt
   
5.         insmod ext2
   
6.         insmod ntfs
   
7.         insmod probe
   
8.         set vhdfile="/CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/kloop_dracut.vhd"
   
9.         set root=(hd1,gpt2)
   
10.         search --no-floppy -f --set=aabbcc  $vhdfile
    
11.         set root=${aabbcc}
    
12.         probe -u --set=ddeeff ${aabbcc}
    
13.         linux        /CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/vmlinuz rw root=UUID=${ddeeff} qemunbd=$vhdfile kroot=/dev/nbd1p2   selinux=0  rd.debug rd.shell
    
14.         initrd       /CloudStorage/Virtual/Virtual_Disk/Blackup/kloop_dracut/initrd.img
    
15. }

复制代码

返回debug 如下123网盘后加 /s/PP7lVv-YAOC.html提取码:IJnn

ghosthark

kpartx -av 操作将分区挂载到了/dev/mapper 下 修改grub2配置 kroot=/dev/mapper/nbd1p2 一直滚动输出 卡在starting draut-pre-udev.service  -  rule-based manager for devievents and files

2011niumao

ghosthark 发表于 2023-6-16 21:56
kpartx -av 操作将分区挂载到了/dev/mapper 下 修改grub2配置 kroot=/dev/mapper/nbd1p2 一直滚动输出 卡 ...

kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

ghosthark

2011niumao 发表于 2023-6-17 14:18
kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

ktoot=/dev/mapper/nbd1p2 和
kroot=/dev/npd1p2 加 注释掉kprat后的运行结果一样
问题照片如下

www点123pan点com/s/PP7lVv-i9OC.htm

ghosthark

2011niumao 发表于 2023-6-17 14:18
kroot 的值应该是什么呢？是/dev/mapper/nbd1p2？还是 /dev/npd1p2?两者不一样的。也许两种都可以？

通过增加grub debug rd.break=pre-shutdown rd.break=shutdown  rd.udev.debug  rd.break=pre-mount rd.break=mount
以及在增加 blockdev 之后进入到了initqueue 阶段 增加rd.break=initqueue rd.initqueue.debug 后发现内核模块丢失无法通过modprobe加载包括fuse  ntfs  nvme在内的所有模块并且ntfs-3g 挂载也无法操作

duhe303

很详细。。。

ghosthark

fedroa dracut 方式

vdfuseloop 方式使用qmeu-nbd 替换vdfuse 操作会导致卡在initqueue
kloop方案改写也有相同问题

arch
kloop_mkinitcpio 使用qemunbd  rootfs下提示 ntfs-3g 已挂载 但是umount 之后依然无法挂载 并且使用kloop的ntfs-3g make中很多报错 因此使用的是ntfs-3g+fuse2的包 但是这个似乎挂载时有用户权限问题
至此 只有参照楼主initramfs-tool方案改写qemu成功了
全部资料信息github.com/MobtgZhang/VHD-Boot
如果有成功实现 dracut mkinitcpio 实现使用qemu-nbd 方式挂载动态vhd 成功的方案可以分享一下不胜感激

2011niumao

ghosthark 发表于 2023-6-30 00:18
fedroa dracut 方式

vdfuseloop 方式使用qmeu-nbd 替换vdfuse 操作会导致卡在initqueue

对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。
不然，内核挂载好动态vhd文件所在分区后，找不到qemu-nbd命令，是无法挂载动态vhd的、
使用以下一个命令来制作initramfs，不用修改配置文件(在add-drivers参数后面是否应该加入 nbd 存疑，下面arch同理)

1. sudo dracut  -i /home/niumao/mydracut/10-vhdmount-kloop.sh /lib/dracut/hooks/pre-mount/10-vhdmount-kloop.sh  --no-hostonly  --install " vi /etc/virc ps grep cat rm blkid losetup  kpartx partx mount.fuse mount.ntfs-3g ntfs-3g shutdown  qemu-nbd "   --add-drivers  "fuse dm-mod nbd"  -o " plymouth btrfs crypt  cifs fcoe fcoe-uefi iscsi nfs"  /home/niumao/dracut-fedora-kloop

复制代码

关于arch有同样的问题，不过因为不是dracut模式，可以选择修改配置文件后重新制作initramfs

1. sudo  gedit /etc/mkinitcpio.conf

复制代码

修改地方大体如下

1. BINARIES="losetup partx mount.fuse mount.ntfs-3g ntfs-3g shutdown qemu-nbd "
   
2. MODULES="fuse ntfs loop  nbd"

复制代码

ghosthark

2011niumao 发表于 2023-7-3 13:50
对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。 ...

配置正确之后还是异常 返回
Starting initrd-switch-root.service - Switch Root...
[
170.773548] blk_print_req_error: 2 callbacks suppressed
170.773551] I/O error, dev nbdi, sector 42946816 op 0x0:(1READ) flags 0x3000 phys_seg 1 prio class 2
[ 170.773607] systemd-journald[5138]: Received SIGTERMfrom PID 1 (systemd)
170.774783] EXT4-fs error (device nbd1p2):__ext4_get_inode_loc_noinmem:4493: inode #1310721: block 5242912: comm systemd: un
able to read itable block
[ 170.775600] I/O error, dev nbdi, sector 1003520 op 0x1:(WRITE) flags 0x23800 phys_seg 1 prio class 2
[ 170.776124] Buffer I/O error on dev nbdip2, logicalblock 0, lost sync page write
[ 170.776402] EXT4-fs (nbd1p2): I/O error while writing superblock
[ 170.801244] systemd[1]: systemd 253.7-1.fc38 runniing in system mode (+PAM +AUDIT +SELINUX -APPARMOR +IMA +SMACK +SECCOMP -GCR
YPT +GNUTLS +OPENSSL +ACL +BLKID +CURL +ELFUTILS +FIDOZ +IDNŽ -IDN -IPTC +KMOD +LIBCRYPTSETUP +LIBEDISK +PCREZ +PWQUALITY +P11KI
T +QRENCODE +TPM2 +BZIP2 +LZ4 +XZ +ZLIB +ZSTD +BPP_FRAMEWORK +XKBCOMMON +UTMP +SYSUINIT default-hierarchy=unified)
[]
170.802266] systemd[1]: Detected virtualization vware
[ 170.802661] systemd[1]: Detected architecture x86-644.
[ 170.803121] systemd[1]: Running in initrd.

want20

ghosthark 发表于 2023-7-28 10:43
配置正确之后还是异常 返回
Starting initrd-switch-root.service - Switch Root...
[

用qemu-nbd是会这样的，我都没成功过，initramfs-tool 和 dracut 都是 switch root 的时候卡 io error，目前我的方案是自己写的挂载工具，可以实现 x86 和 arm 的挂载，但是 initramfs-tool 的关机无论是用 vdfus 还是 vboximg-mount 会容易卡死，挂载的镜像设备卸载不掉，dracut 关机脚本写好了就不会。单纯自己使用的话完全可以用 vboximg-mount 做，虽然要装 vbox，且不能移植到arm平台。
引导起来只是第一步，后续还在解决断电文件系统损坏，镜像损坏等问题，至于性能方面，只要挂载工具没做 direct io 或者每次写都加同步的话，还是很不错的。加了 direct io 或者 实时同步到 disk 的话 io 性能会大大下降。

此外，给 grub 加个 vhd 的只读模块就不用把内核镜像拷出来了，挂起来直接引导。目前打算研究一下 ventoy 的实现，看下会不会更优雅一点。

ghosthark

want20 发表于 2023-7-31 11:53
用qemu-nbd是会这样的，我都没成功过，initramfs-tool 和 dracut 都是 switch root 的时候卡 io error， ...

initramfs-tool 我没有遇到问题
dracut  目前定位到没有加--uefi参数  可以进入rootfs 但是没有成功启动
grub 加个 vhd 的只读模块 这个怎么实现 可以分享一下吗 loopback ？似乎不支持动态磁盘
如果可以有支持动态磁盘的通用方案可以分享一下吗

ghosthark

2011niumao 发表于 2023-7-3 13:50
对于Fedora, 你确定在使用dracut命令时候，把命令qemu-nbd装入到了initramfs里了？是qemu-nbd,不要错拼。 ...

经过这段时间尝试已经成功实现arch 原因在于  lo设备没有分配网络地址和qemu依赖/var/lock中存放链接文件
增加

1. mkdir -p /var/lock
   
2. addr add 127.0.0.1/8 dev lo
   
3. ip link set lo up

复制代码

之后正常启动 但是存在关机异常 但基本可用
fedroa 的dracut 还是没有头绪，目前只能定位到在initrd阶段正常但后续过程中导致了nbd设备和模块被kill 继续尝试中

want20

ghosthark 发表于 2023-8-10 22:14
initramfs-tool 我没有遇到问题
dracut  目前定位到没有加--uefi参数  可以进入rootfs 但是没有成功启 ...

提示一下，参考vboot的vhd模块，自己改。他本身是支持动态vhd的，但是不支持差分，可以自己加差分的支持。没差分也问题不大，就是更新initrd后记得压到第一级镜像。这一part经过长时间测试，非常稳定。外部因素，暂时无法分享代码，望理解。