QEMU/KVM in practice
QEMU/KVM на практике
Short working notes on Linux virtualization: how the stack fits together, which devices to choose, how to store disks and how to get near-native performance out of a guest.
Короткие рабочие заметки о виртуализации в Linux: как устроен стек, какие устройства выбирать, как хранить диски и как получить от гостя производительность, близкую к железу.
How the stack fits together
Как устроен стек
KVM (Kernel-based Virtual Machine) is a Linux kernel module, in the mainline kernel since 2.6.20 (2007). Using Intel VT-x or AMD-V it turns the kernel into a hypervisor: guest code runs directly on the CPU, and the kernel only steps in on privileged operations (VM exits). KVM itself emulates no devices.
KVM (Kernel-based Virtual Machine) — модуль ядра Linux, в основной ветке с версии 2.6.20 (2007). С помощью Intel VT-x или AMD-V он превращает ядро в гипервизор: код гостя исполняется прямо на процессоре, а ядро вмешивается только на привилегированных операциях (VM exit). Устройств KVM сам не эмулирует.
QEMU is the userspace half: it creates the virtual machine through /dev/kvm, emulates the chipset, firmware, disks and network cards, and talks to the outside world. Without KVM, QEMU can still run guests through its TCG binary translator — just much slower.
QEMU — пользовательская часть: создаёт машину через /dev/kvm, эмулирует чипсет, прошивку, диски и сетевые карты и связывает гостя с внешним миром. Без KVM QEMU тоже умеет запускать гостей через двоичный транслятор TCG — но намного медленнее.
Every VM is an ordinary Linux process; each vCPU is a thread of it, and guest RAM is that process's memory. That is why the usual tools — top, cgroups, taskset, NUMA policies — apply to virtual machines as well.
Каждая ВМ — обычный процесс Linux, каждый vCPU — его поток, а память гостя — память этого процесса. Поэтому к виртуальным машинам применимы привычные инструменты: top, cgroups, taskset, политики NUMA.
Is the host ready?
Готов ли хост?
# CPU flags: vmx = Intel VT-x, svm = AMD-V (0 means disabled in BIOS/UEFI)
grep -cE 'vmx|svm' /proc/cpuinfo
# modules and device node
lsmod | grep kvm
ls -l /dev/kvm
# full checklist from libvirt (IOMMU, cgroups, ...)
virt-host-validate qemu
# nested virtualization (Y or 1 = enabled)
cat /sys/module/kvm_intel/parameters/nested
If /dev/kvm is missing on a cloud VPS, the provider does not expose nested virtualization — QEMU will fall back to slow TCG emulation.
Если на облачном VPS нет /dev/kvm, провайдер не даёт вложенную виртуализацию — QEMU откатится на медленную эмуляцию TCG.
Quick start without libvirt
Быстрый старт без libvirt
# 20 GB thin-provisioned disk
qemu-img create -f qcow2 debian.qcow2 20G
# install from ISO: KVM acceleration, host CPU model, virtio disk and NIC
qemu-system-x86_64 \
-accel kvm -cpu host -smp 4 -m 4G \
-machine q35 \
-drive file=debian.qcow2,if=virtio,cache=none,aio=native \
-cdrom debian-netinst.iso -boot once=d \
-nic user,model=virtio-net-pci,hostfwd=tcp::2222-:22 \
-display none -serial mon:stdio
# after install: ssh -p 2222 user@127.0.0.1
-nic user is slirp NAT that needs no root — fine for a test. Servers use a bridge or macvtap with vhost=on; for UEFI guests add OVMF firmware (-drive if=pflash,...).
-nic user — NAT через slirp, работает без root, для проверки годится. На серверах используют мост или macvtap с vhost=on; для UEFI-гостей добавляют прошивку OVMF (-drive if=pflash,...).
virtio: paravirtual devices
virtio: паравиртуальные устройства
Emulating real hardware (e1000, IDE) means a VM exit on almost every register access. virtio devices are designed for virtualization: the guest and host exchange data through shared ring buffers (virtqueues), so exits become rare. Linux supports virtio out of the box; Windows needs the virtio-win drivers.
Эмуляция настоящего железа (e1000, IDE) — это VM exit почти на каждое обращение к регистру. Устройства virtio спроектированы для виртуализации: гость и хост обмениваются данными через общие кольцевые буферы (virtqueue), выходы из гостя становятся редкими. Linux поддерживает virtio из коробки, Windows нужны драйверы virtio-win.
| DeviceУстройство | UseНазначение |
|---|---|
virtio-net + vhost-net | network; vhost moves the data path into the host kernelсеть; vhost переносит путь данных в ядро хоста |
virtio-blk | simple, fast block deviceпростое и быстрое блочное устройство |
virtio-scsi | many disks per controller, TRIM/discard, hotplugмного дисков на контроллере, TRIM/discard, горячее подключение |
virtio-balloon | return free guest memory to the hostвозврат свободной памяти гостя хосту |
virtio-rng | entropy from the hostэнтропия от хоста |
virtiofs | share a host directory with the guestобщая с гостем папка хоста |
virtio-gpu | display, optionally with 3D (virgl)графика, при желании с 3D (virgl) |
Disk images and storage
Образы дисков и хранилище
raw
Plain bytes, lowest overhead. Best on LVM, ZFS zvols or Ceph RBD, where the storage layer already handles snapshots.
Просто байты, минимальные накладные расходы. Лучший выбор поверх LVM, ZFS zvol или Ceph RBD, где снапшоты уже умеет хранилище.
qcow2
Copy-on-write: thin provisioning, internal snapshots, backing files (overlays), compression and LUKS encryption.
Copy-on-write: тонкое выделение, внутренние снапшоты, базовые образы (overlay), сжатие и шифрование LUKS.
# overlay on top of a read-only golden image
qemu-img create -f qcow2 -b base.qcow2 -F qcow2 vm1.qcow2
qemu-img info --backing-chain vm1.qcow2
qemu-img convert -p -O qcow2 -c source.vmdk compressed.qcow2 # convert + compress
qemu-img resize vm1.qcow2 +10G # then grow the partition in the guest
For a disk cache mode, cache=none with aio=native or aio=io_uring is the usual server choice: it bypasses the host page cache and keeps guest flushes honest.
Режим кэша для серверов обычно cache=none с aio=native или aio=io_uring: страничный кэш хоста не используется, а сбросы данных гостя честно доходят до диска.
Getting near-native performance
Производительность, близкая к железу
-cpu hostexposes all host CPU features (AES-NI, AVX). Use a named model such asEPYC-v4only when VMs must migrate between different CPUs.- Hugepages (
-mem-path /dev/hugepagesormemoryBackingin libvirt) cut TLB misses for large guests. - Pin vCPUs and the emulator thread to dedicated cores and keep guest memory on the same NUMA node.
- Give busy disks their own
iothread, and use multiqueue virtio-net (queues=N) for network-heavy guests. - Leave the guest kernel's
kvm-clockas the clocksource; it is stable across migration.
-cpu hostотдаёт гостю все возможности процессора хоста (AES-NI, AVX). Именованная модель вродеEPYC-v4нужна, только если ВМ мигрируют между разными CPU.- Huge pages (
-mem-path /dev/hugepagesилиmemoryBackingв libvirt) уменьшают промахи TLB у больших гостей. - Закрепите vCPU и поток эмулятора за выделенными ядрами, а память гостя держите на том же узле NUMA.
- Нагруженным дискам — отдельный
iothread, сетевым гостям — многоочередной virtio-net (queues=N). - Источником времени в госте оставьте
kvm-clock: он стабилен и при миграции.
What else the stack can do
Что ещё умеет стек
Live migration
Живая миграция
Memory is copied while the guest runs, then a short pause moves the rest. With shared storage only RAM moves; otherwise disks can be mirrored too.
Память копируется, пока гость работает, затем короткая пауза переносит остаток. С общим хранилищем переезжает только RAM, без него можно зеркалировать и диски.
VFIO passthrough
Hand a GPU, NVMe or NIC directly to a guest through the IOMMU (VT-d / AMD-Vi). SR-IOV splits one NIC into many virtual functions.
Проброс GPU, NVMe или сетевой карты прямо в гостя через IOMMU (VT-d / AMD-Vi). SR-IOV делит одну карту на множество виртуальных функций.
UEFI & TPM
UEFI и TPM
OVMF provides UEFI firmware with Secure Boot; swtpm emulates TPM 2.0 — enough for modern Windows guests.
OVMF даёт прошивку UEFI с Secure Boot, swtpm эмулирует TPM 2.0 — этого достаточно для современных Windows.
Memory overcommit
Overcommit памяти
KSM merges identical pages across guests; the balloon driver reclaims unused memory. Useful for dense hosts, at some CPU cost.
KSM объединяет одинаковые страницы разных гостей, balloon забирает неиспользуемую память. Полезно на плотных хостах ценой части CPU.
Snapshots & backups
Снапшоты и бэкапы
External snapshots plus block jobs (commit, stream, mirror) and dirty bitmaps give incremental backups of running VMs.
Внешние снапшоты, блочные задания (commit, stream, mirror) и dirty bitmaps дают инкрементальные бэкапы работающих ВМ.
Confidential VMs
Конфиденциальные ВМ
AMD SEV-SNP and Intel TDX encrypt guest memory so that even the host cannot read it.
AMD SEV-SNP и Intel TDX шифруют память гостя так, что её не может прочитать даже хост.
Day-to-day management
Повседневное управление
Raw QEMU command lines are great for experiments; for real hosts use libvirt. It keeps VM definitions in XML, manages networks and storage pools, applies sVirt (SELinux/AppArmor) isolation and talks to QEMU through QMP.
Командная строка QEMU хороша для экспериментов, для настоящих хостов используют libvirt. Он хранит описания ВМ в XML, управляет сетями и пулами хранения, изолирует гостей через sVirt (SELinux/AppArmor) и говорит с QEMU по QMP.
virt-install --name web1 --memory 4096 --vcpus 4 --cpu host-passthrough \
--disk size=30,bus=virtio --network bridge=br0,model=virtio \
--os-variant debian12 --location https://deb.debian.org/debian/dists/bookworm/main/installer-amd64/ \
--graphics none --extra-args 'console=ttyS0'
virsh list --all
virsh console web1 # Ctrl+] to detach
virsh snapshot-create-as web1 before-upgrade
virsh migrate --live web1 qemu+ssh://host2/system
virsh domstats web1 # CPU, balloon, block and net counters
On top of libvirt or QEMU sit full platforms: Proxmox VE for a few clustered hosts, OpenStack and oVirt for private clouds, Cockpit for a simple web UI on a single server.
Поверх libvirt или QEMU работают целые платформы: Proxmox VE — для нескольких хостов в кластере, OpenStack и oVirt — для частных облаков, Cockpit — простой веб-интерфейс для одного сервера.