QEMU/KVM in practice

QEMU/KVM на практике

Short working notes on Linux virtualization: how the stack fits together, which devices to choose, how to store disks and how to get near-native performance out of a guest.

Короткие рабочие заметки о виртуализации в Linux: как устроен стек, какие устройства выбирать, как хранить диски и как получить от гостя производительность, близкую к железу.

How the stack fits together

Как устроен стек

KVM (Kernel-based Virtual Machine) is a Linux kernel module, in the mainline kernel since 2.6.20 (2007). Using Intel VT-x or AMD-V it turns the kernel into a hypervisor: guest code runs directly on the CPU, and the kernel only steps in on privileged operations (VM exits). KVM itself emulates no devices.

KVM (Kernel-based Virtual Machine) — модуль ядра Linux, в основной ветке с версии 2.6.20 (2007). С помощью Intel VT-x или AMD-V он превращает ядро в гипервизор: код гостя исполняется прямо на процессоре, а ядро вмешивается только на привилегированных операциях (VM exit). Устройств KVM сам не эмулирует.

QEMU is the userspace half: it creates the virtual machine through /dev/kvm, emulates the chipset, firmware, disks and network cards, and talks to the outside world. Without KVM, QEMU can still run guests through its TCG binary translator — just much slower.

QEMU — пользовательская часть: создаёт машину через /dev/kvm, эмулирует чипсет, прошивку, диски и сетевые карты и связывает гостя с внешним миром. Без KVM QEMU тоже умеет запускать гостей через двоичный транслятор TCG — но намного медленнее.

libvirt · virsh · virt-manager · Proxmoxmanagementуправление
QEMU process per VM— процесс на каждую ВМdevices, firmware, migrationустройства, прошивка, миграция
/dev/kvm · kvm.ko + kvm_intel / kvm_amdCPU & memory virtualizationвиртуализация CPU и памяти
VT-x / AMD-V · EPT / NPT · VT-d / AMD-Vihardwareжелезо

Every VM is an ordinary Linux process; each vCPU is a thread of it, and guest RAM is that process's memory. That is why the usual tools — top, cgroups, taskset, NUMA policies — apply to virtual machines as well.

Каждая ВМ — обычный процесс Linux, каждый vCPU — его поток, а память гостя — память этого процесса. Поэтому к виртуальным машинам применимы привычные инструменты: top, cgroups, taskset, политики NUMA.

Is the host ready?

Готов ли хост?

# CPU flags: vmx = Intel VT-x, svm = AMD-V (0 means disabled in BIOS/UEFI)
grep -cE 'vmx|svm' /proc/cpuinfo

# modules and device node
lsmod | grep kvm
ls -l /dev/kvm

# full checklist from libvirt (IOMMU, cgroups, ...)
virt-host-validate qemu

# nested virtualization (Y or 1 = enabled)
cat /sys/module/kvm_intel/parameters/nested

If /dev/kvm is missing on a cloud VPS, the provider does not expose nested virtualization — QEMU will fall back to slow TCG emulation.

Если на облачном VPS нет /dev/kvm, провайдер не даёт вложенную виртуализацию — QEMU откатится на медленную эмуляцию TCG.

Quick start without libvirt

Быстрый старт без libvirt

# 20 GB thin-provisioned disk
qemu-img create -f qcow2 debian.qcow2 20G

# install from ISO: KVM acceleration, host CPU model, virtio disk and NIC
qemu-system-x86_64 \
  -accel kvm -cpu host -smp 4 -m 4G \
  -machine q35 \
  -drive file=debian.qcow2,if=virtio,cache=none,aio=native \
  -cdrom debian-netinst.iso -boot once=d \
  -nic user,model=virtio-net-pci,hostfwd=tcp::2222-:22 \
  -display none -serial mon:stdio

# after install: ssh -p 2222 user@127.0.0.1

-nic user is slirp NAT that needs no root — fine for a test. Servers use a bridge or macvtap with vhost=on; for UEFI guests add OVMF firmware (-drive if=pflash,...).

-nic user — NAT через slirp, работает без root, для проверки годится. На серверах используют мост или macvtap с vhost=on; для UEFI-гостей добавляют прошивку OVMF (-drive if=pflash,...).

virtio: paravirtual devices

virtio: паравиртуальные устройства

Emulating real hardware (e1000, IDE) means a VM exit on almost every register access. virtio devices are designed for virtualization: the guest and host exchange data through shared ring buffers (virtqueues), so exits become rare. Linux supports virtio out of the box; Windows needs the virtio-win drivers.

Эмуляция настоящего железа (e1000, IDE) — это VM exit почти на каждое обращение к регистру. Устройства virtio спроектированы для виртуализации: гость и хост обмениваются данными через общие кольцевые буферы (virtqueue), выходы из гостя становятся редкими. Linux поддерживает virtio из коробки, Windows нужны драйверы virtio-win.

DeviceУстройствоUseНазначение
virtio-net + vhost-netnetwork; vhost moves the data path into the host kernelсеть; vhost переносит путь данных в ядро хоста
virtio-blksimple, fast block deviceпростое и быстрое блочное устройство
virtio-scsimany disks per controller, TRIM/discard, hotplugмного дисков на контроллере, TRIM/discard, горячее подключение
virtio-balloonreturn free guest memory to the hostвозврат свободной памяти гостя хосту
virtio-rngentropy from the hostэнтропия от хоста
virtiofsshare a host directory with the guestобщая с гостем папка хоста
virtio-gpudisplay, optionally with 3D (virgl)графика, при желании с 3D (virgl)

Disk images and storage

Образы дисков и хранилище

raw

Plain bytes, lowest overhead. Best on LVM, ZFS zvols or Ceph RBD, where the storage layer already handles snapshots.

Просто байты, минимальные накладные расходы. Лучший выбор поверх LVM, ZFS zvol или Ceph RBD, где снапшоты уже умеет хранилище.

qcow2

Copy-on-write: thin provisioning, internal snapshots, backing files (overlays), compression and LUKS encryption.

Copy-on-write: тонкое выделение, внутренние снапшоты, базовые образы (overlay), сжатие и шифрование LUKS.

# overlay on top of a read-only golden image
qemu-img create -f qcow2 -b base.qcow2 -F qcow2 vm1.qcow2

qemu-img info --backing-chain vm1.qcow2
qemu-img convert -p -O qcow2 -c source.vmdk compressed.qcow2   # convert + compress
qemu-img resize vm1.qcow2 +10G                                 # then grow the partition in the guest

For a disk cache mode, cache=none with aio=native or aio=io_uring is the usual server choice: it bypasses the host page cache and keeps guest flushes honest.

Режим кэша для серверов обычно cache=none с aio=native или aio=io_uring: страничный кэш хоста не используется, а сбросы данных гостя честно доходят до диска.

Getting near-native performance

Производительность, близкая к железу

What else the stack can do

Что ещё умеет стек

Live migration

Живая миграция

Memory is copied while the guest runs, then a short pause moves the rest. With shared storage only RAM moves; otherwise disks can be mirrored too.

Память копируется, пока гость работает, затем короткая пауза переносит остаток. С общим хранилищем переезжает только RAM, без него можно зеркалировать и диски.

VFIO passthrough

Hand a GPU, NVMe or NIC directly to a guest through the IOMMU (VT-d / AMD-Vi). SR-IOV splits one NIC into many virtual functions.

Проброс GPU, NVMe или сетевой карты прямо в гостя через IOMMU (VT-d / AMD-Vi). SR-IOV делит одну карту на множество виртуальных функций.

UEFI & TPM

UEFI и TPM

OVMF provides UEFI firmware with Secure Boot; swtpm emulates TPM 2.0 — enough for modern Windows guests.

OVMF даёт прошивку UEFI с Secure Boot, swtpm эмулирует TPM 2.0 — этого достаточно для современных Windows.

Memory overcommit

Overcommit памяти

KSM merges identical pages across guests; the balloon driver reclaims unused memory. Useful for dense hosts, at some CPU cost.

KSM объединяет одинаковые страницы разных гостей, balloon забирает неиспользуемую память. Полезно на плотных хостах ценой части CPU.

Snapshots & backups

Снапшоты и бэкапы

External snapshots plus block jobs (commit, stream, mirror) and dirty bitmaps give incremental backups of running VMs.

Внешние снапшоты, блочные задания (commit, stream, mirror) и dirty bitmaps дают инкрементальные бэкапы работающих ВМ.

Confidential VMs

Конфиденциальные ВМ

AMD SEV-SNP and Intel TDX encrypt guest memory so that even the host cannot read it.

AMD SEV-SNP и Intel TDX шифруют память гостя так, что её не может прочитать даже хост.

Day-to-day management

Повседневное управление

Raw QEMU command lines are great for experiments; for real hosts use libvirt. It keeps VM definitions in XML, manages networks and storage pools, applies sVirt (SELinux/AppArmor) isolation and talks to QEMU through QMP.

Командная строка QEMU хороша для экспериментов, для настоящих хостов используют libvirt. Он хранит описания ВМ в XML, управляет сетями и пулами хранения, изолирует гостей через sVirt (SELinux/AppArmor) и говорит с QEMU по QMP.

virt-install --name web1 --memory 4096 --vcpus 4 --cpu host-passthrough \
  --disk size=30,bus=virtio --network bridge=br0,model=virtio \
  --os-variant debian12 --location https://deb.debian.org/debian/dists/bookworm/main/installer-amd64/ \
  --graphics none --extra-args 'console=ttyS0'

virsh list --all
virsh console web1                       # Ctrl+] to detach
virsh snapshot-create-as web1 before-upgrade
virsh migrate --live web1 qemu+ssh://host2/system
virsh domstats web1                      # CPU, balloon, block and net counters

On top of libvirt or QEMU sit full platforms: Proxmox VE for a few clustered hosts, OpenStack and oVirt for private clouds, Cockpit for a simple web UI on a single server.

Поверх libvirt или QEMU работают целые платформы: Proxmox VE — для нескольких хостов в кластере, OpenStack и oVirt — для частных облаков, Cockpit — простой веб-интерфейс для одного сервера.