Lxc error unable to fetch gpg key from keyserver

When launching a new LXC container using lxc-create, the following error might show up and container creation fails:

root@host ~ # lxc-create -n ubuntu1 -B lvm —vgname=vglxc —fstype=ext4 —fssize=15G -t download-infiniroot — -d ubuntu -r focal -a amd64
The cached copy has expired, re-downloading…
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver

LXC Image verification using GPG key

The reason is that since LXC 3.x, the (suggested) default template is the lxc-download template (/usr/share/lxc/templates/lxc-download). This connects to GPG key servers to verify the downloaded image and prevent a man in the middle (MITM) attack. The connection to the keyserver does not happen via http or https but rather via hkp(s), a different protocol using a different port (tcp/11371). See my notes in a previous articles How to import apt repository key behind outgoing proxy and Setting up a LXC host on Ubuntu 18.04 for additional information related to HKP(S).

But even if the LXC host is able to communicate with the Internet on port tcp/11371, this error can still happen.

Keyserver down

In the background LXC uses the keyservers behind the address pool.sks-keyservers.net. What happened in this particular situation was that no DNS resolving happened for this DNS address:

Whatever happened here, DNS caching problem (at Google??!) or DNS misconfiguration of the target domain doesn’t really matter. Fact is that at this point in time the key server could not be reached and therefore no GPG key could be downloaded. This leads to no verification of the downloaded image/rootfs and container creation fails.

Where is the key server defined?

The lxc-download template has a hardcoded key server configured:

From this code snippet we can also see that a variable ${DOWNLOAD_KEYSERVER} is checked. If it does not exist, the default key server is defined.

This means that an alternative key server can be specified using this variable!

Using a different key server

According to a discussion in the Linuxcontainers community forums,
this isn’t the first time that the default key servers were not
reachable. User simos suggest to switch to the Ubuntu key servers.

With this information, an alternative key server can be defined — right in front of the lxc-create command:

root@host ~ # DOWNLOAD_KEYSERVER=»keyserver.ubuntu.com» lxc-create -n ubuntu1 -B lvm —vgname=vglxc —fstype=ext4 —fssize=15G -t download — -d ubuntu -r focal -a amd64
The cached copy has expired, re-downloading…
Setting up the GPG keyring
Downloading the image index
Downloading the rootfs
Downloading the metadata
The image cache is now ready
Unpacking the rootfs

This time it worked — by using a different GPG key server!

Alternative: Disable download verification

Another (insecure!) alternative is to completely disable the image download verification. There are two ways to do this. Either by using the -no-validate (template) parameter or by modifying the LXC template.

root@host:~# lxc-create -n container1 -B lvm —vgname vglxc —fstype=ext4 —fssize=50G -t download — —no-validate -d debian -r buster -a amd64

Instead of using the command line parameter, the template (/usr/share/lxc/templates/lxc-download) can also be manually modified by setting the DOWNLOAD_VALIDATE variable to «false». By default this value is set to «true»:

root@host:~# grep «^DOWNLOAD_VALIDATE» /usr/share/lxc/templates/lxc-download
DOWNLOAD_VALIDATE=»true»

Setting it to false:

root@host:~# sed -i «/^DOWNLOAD_VALIDATE/s/true/false/» /usr/share/lxc/templates/lxc-download

The next lxc-create command adds a warning in the output:

Add a comment

Show form to leave a comment

Comments (newest first)

No comments yet.

Required information

• Distribution: Ubuntu
• Distribution version: 18.04
• The output of
  • lxc-start --version : 3.0.3
  • lxc-checkconfig

Kernel configuration not found at /proc/config.gz; searching…
Kernel configuration found at /boot/config-4.15.0-118-generic
— Namespaces —
Namespaces: enabled
Utsname namespace: enabled
Ipc namespace: enabled
Pid namespace: enabled
User namespace: enabled
Network namespace: enabled

— Control groups —
Cgroups: enabled

Cgroup v1 mount points:
/sys/fs/cgroup/systemd
/sys/fs/cgroup/memory
/sys/fs/cgroup/blkio
/sys/fs/cgroup/cpu,cpuacct
/sys/fs/cgroup/pids
/sys/fs/cgroup/hugetlb
/sys/fs/cgroup/rdma
/sys/fs/cgroup/net_cls,net_prio
/sys/fs/cgroup/freezer
/sys/fs/cgroup/perf_event
/sys/fs/cgroup/cpuset
/sys/fs/cgroup/devices

Cgroup v2 mount points:
/sys/fs/cgroup/unified

Cgroup v1 clone_children flag: enabled
Cgroup device: enabled
Cgroup sched: enabled
Cgroup cpu account: enabled
Cgroup memory controller: enabled
Cgroup cpuset: enabled

— Misc —
Veth pair device: enabled, loaded
Macvlan: enabled, not loaded
Vlan: enabled, not loaded
Bridges: enabled, loaded
Advanced netfilter: enabled, not loaded
CONFIG_NF_NAT_IPV4: enabled, loaded
CONFIG_NF_NAT_IPV6: enabled, not loaded
CONFIG_IP_NF_TARGET_MASQUERADE: enabled, loaded
CONFIG_IP6_NF_TARGET_MASQUERADE: enabled, not loaded
CONFIG_NETFILTER_XT_TARGET_CHECKSUM: enabled, loaded
CONFIG_NETFILTER_XT_MATCH_COMMENT: enabled, not loaded
FUSE (for use with lxcfs): enabled, not loaded

— Checkpoint/Restore —
checkpoint restore: enabled
CONFIG_FHANDLE: enabled
CONFIG_EVENTFD: enabled
CONFIG_EPOLL: enabled
CONFIG_UNIX_DIAG: enabled
CONFIG_INET_DIAG: enabled
CONFIG_PACKET_DIAG: enabled
CONFIG_NETLINK_DIAG: enabled
File capabilities:

Note : Before booting a new kernel, you can check its configuration
usage : CONFIG=/path/to/config /usr/bin/lxc-checkconfig

   * `uname -a`
``` Linux kilauea 4.15.0-118-generic #119-Ubuntu SMP Tue Sep 8 12:30:01 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux```
   * `cat /proc/self/cgroup`

12:devices:/user.slice
11:cpuset:/
10:perf_event:/
9:freezer:/user/root/0
8:net_cls,net_prio:/
7:rdma:/
6:hugetlb:/
5:pids:/user.slice/user-1000.slice/session-c2.scope
4:cpu,cpuacct:/user.slice
3:blkio:/user.slice
2:memory:/user/root/0
1:name=systemd:/user/root/0
0::/user.slice/user-1000.slice/session-c2.scope

   * `cat /proc/1/mounts | grep cgroup`

tmpfs /sys/fs/cgroup tmpfs ro,nosuid,nodev,noexec,mode=755 0 0
cgroup /sys/fs/cgroup/unified cgroup2 rw,nosuid,nodev,noexec,relatime 0 0
cgroup /sys/fs/cgroup/systemd cgroup rw,nosuid,nodev,noexec,relatime,xattr,name=systemd 0 0
cgroup /sys/fs/cgroup/memory cgroup rw,nosuid,nodev,noexec,relatime,memory 0 0
cgroup /sys/fs/cgroup/blkio cgroup rw,nosuid,nodev,noexec,relatime,blkio 0 0
cgroup /sys/fs/cgroup/cpu,cpuacct cgroup rw,nosuid,nodev,noexec,relatime,cpu,cpuacct 0 0
cgroup /sys/fs/cgroup/pids cgroup rw,nosuid,nodev,noexec,relatime,pids 0 0
cgroup /sys/fs/cgroup/hugetlb cgroup rw,nosuid,nodev,noexec,relatime,hugetlb 0 0
cgroup /sys/fs/cgroup/rdma cgroup rw,nosuid,nodev,noexec,relatime,rdma 0 0
cgroup /sys/fs/cgroup/net_cls,net_prio cgroup rw,nosuid,nodev,noexec,relatime,net_cls,net_prio 0 0
cgroup /sys/fs/cgroup/freezer cgroup rw,nosuid,nodev,noexec,relatime,freezer 0 0
cgroup /sys/fs/cgroup/perf_event cgroup rw,nosuid,nodev,noexec,relatime,perf_event 0 0
cgroup /sys/fs/cgroup/cpuset cgroup rw,nosuid,nodev,noexec,relatime,cpuset,clone_children 0 0
cgroup /sys/fs/cgroup/devices cgroup rw,nosuid,nodev,noexec,relatime,devices 0 0

# Issue description
Option -t dowload  fails on fetching gpg key.
``
$ lxc-create -n lenomdetontruc -t download -- -d debian -r buster -a amd64
The cached copy has expired, re-downloading...
Setting up the GPG keyring
ERROR: Unable to fetch GPG key from keyserver
lxc-create: lenomdetontruc: lxccontainer.c: create_run_template: 1617 Failed to create container from template
lxc-create: lenomdetontruc: tools/lxc_create.c: main: 327 Failed to create container lenomdetontruc

Probably related to #3068

It would be nice to know if this option still supported in LXC or if i shall use LXD now.

Установка и настройка LXC под Ubuntu 18.04. Непривилегированные контейнеры.

Перед настройкой LXC рекомендуется выполнить базовую настройку Ubuntu.

UID и GID Maping

Убедитесь, что у вас корректно настроены map uig и gid. Mapping нужен для того, чтобы запускать непривелигированные контейнера. Т.е. root в контейнере на хост машине будет работать с ID 100000, а не 0. Соостветственно файлы в контейнеры будут иметь владельца, начиная с 100000.

nano /etc/subuid

lxc:100000:65536
lxd:100000:65536
root:100000:65536

nano /etc/subgid

lxc:100000:65536
lxd:100000:65536
root:100000:65536

Для удобства вы можете добавить пользователя lxc-root, чтобы в htop видеть процессы запущенные в lxc

groupadd -r --gid 100000 lxc-root
useradd -r -M --uid 100000 -g lxc-root lxc-root

Установка LXC

aptitude install lxc

Установите права доступа, чтобы корректно запускались контейнеры:

chown lxc-root:root /var/lib/lxc
chmod 755 /var/lib/lxc

Также вам потребуется настроить UID для LXC. Пропишите в конце файла следующие строки, выполнив команду nano /etc/lxc/default.conf

lxc.idmap = u 0 100000 65536
lxc.idmap = g 0 100000 65536

Настройка сети

Рекомендуется использовать сеть 172.30.0.1/24. Более подробный список указан в списке сетей.

В файле /etc/default/lxc-net пропишите

USE_LXC_BRIDGE="true"
LXC_BRIDGE="lxcbr0"
LXC_ADDR="172.30.0.1"
LXC_NETMASK="255.255.255.0"
LXC_NETWORK="172.30.0.0/24"
LXC_DHCP_RANGE="172.30.0.2,172.30.0.254"
LXC_DHCP_MAX="253"
LXC_DHCP_CONFILE=/etc/lxc/dnsmasq.conf
#LXC_DOMAIN="lxc"

Создайте файл /etc/lxc/dnsmasq.conf и пропишите в нем:

port=53
listen-address=172.30.0.1

Перенос папки на другой диск

К примеру, вам нужно перенести папку lxc в /srv. 

Перед переносом папки, остановите все контейнеры.

Создайте папку lxc в srv

mkdir /srv/lxc
chown lxc-root:root /srv/lxc
chmod 755 /srv/lxc

перенесите все содержимое из папки /var/lib/lxc в /srv/lxc

mv -f /var/lib/lxc/* /srv/lxc

Убедитесь что папка /var/lib/lxc пустая

ls -la /var/lib/lxc

 /etc/fstab пропишите строчку в конце

/srv/lxc    /var/lib/lxc    none    bind

Сделайте монтирование папки:

mount -a

По умолчанию при загрузке будет монтироваться папка

Перенос контейнера на другой хост

Остановите контейнер:

lxc-stop название_контейнера

Создайте на другом сервере папку:

/var/lib/lxc/название_контейнера/

Перенесите контейнер через rsync:

rsync -aSsuh --info=progress2 --numeric-ids /var/lib/lxc/название_контейнера/ server:/var/lib/lxc/название_контейнера/

Установка контейнера

Установка контейнера LXC Centos 7:

lxc-create -t download -n test-centos -- --dist centos --release 7 --arch amd64

Установка контейнера LXC Ubuntu 18.04:

lxc-create -t download -n test-ubuntu -- --dist ubuntu --release bionic --arch amd64

Установка контейнера LXC Debian Jessie:

lxc-create -t download -n test-debian -- --dist debian --release jessie --arch amd64

Установка контейнера Alpine Linux 3.10:

lxc-create -t download -n test-alpine -- --dist alpine --release 3.10 --arch amd64

Список шаблонов: https://us.images.linuxcontainers.org/

Если выдает ошибку «ERROR: Unable to fetch GPG key from keyserver» то нужно прописать keyserver:

lxc-create -t download -n test-ubuntu-focal -- --dist ubuntu --release focal --arch amd64 --keyserver hkp://keyserver.ubuntu.com

Автозапуск контейнера

Чтобы настроить автоматическое включение контейнера, укажите следующие строки для файла /var/lib/lxc/<название контейнера>/config:

lxc.start.auto = 1
lxc.start.delay = 5 # Задержка, когда будет запущен контейнер

Если хотите, чтобы контейнер не запускался при старте, укажите 0

Ограничение ресурсов CPU

Иногда нужно ограничить cpu для контейнера. Чтобы это сделать, пропишите строчку в конфиге контейнера

# CPU Limit
lxc.cgroup.cpuset.cpus = 0,1

0,1 — означает запустить контейнер на 1м и 2м ядре.

Отключение AppArmor в LXC

Иногда AppArmor мешает контейнеру запуститься. Тогда в конце файла настроек контейнера /var/lib/lxc/<название контейнера>/config пропишите следующую строку

Прописывайте, только если контейнер не запускается.

lxc.apparmor.profile = unconfined

Команды для работы с контейнерами

Чтобы запустить контейнер выполните:

lxc-start название контейнера

Чтобы остановить контейнер выполните:

lxc-stop название контейнера

Чтобы подключиться к контейнеру под рутом:

lxc-attach название контейнера

Просмотреть список контейнеров и их IP адреса

lxc-ls -f

Настройка сети контейнера

В конце файла настроек контейнера /var/lib/lxc/<название контейнера>/config укажите слоедующие параметры:

# Network configuration
lxc.net.0.type = veth
lxc.net.0.link = lxcbr0
lxc.net.0.flags = up
lxc.net.0.hwaddr = 00:16:3e:6b:aa:11
lxc.net.0.ipv4.address = 172.30.0.10/24
lxc.net.0.ipv4.gateway = 172.30.0.1

172.30.0.10 — Это IP адрес контейнера
172.30.0.1 — Адрес шлюза
00:16:3e:6b:aa:11 — MAC Адрес должен быть уникальный
lxcbr0 — Имя LXC bridge. Обычно ставится автоматически

Настройка IP адреса для контейнера с Centos и Alpine Linux

Бывает, что первого способа не достаточно чтобы выдать IP адрес. Тогда нужно задать IP адрес в самом контейнере.

Способ для Centos и Alpine Linux:

Подключитесь к контейнеру через команду

lxc-attach название контейнера

Откройте файл /etc/network/interfaces

Вместо iface eth0 inet dhcp Пропишите:

iface eth0 inet static
        address 172.30.0.10
        netmask 255.255.255.0
        gateway 172.30.0.1

Выйдите из контейнера командой:

exit

Перезапустить контейнер:

lxc-stop название контейнера
lxc-start название контейнера

Настройка IP адреса для контейнера с Ubuntu

Подключитесь к контейнеру и откройте файл nano /etc/netplan/10-lxc.yaml и пропишите следующее содержимое

network:
  version: 2
  ethernets:
    eth0:
      dhcp4: no
      dhcp6: no
      addresses: [172.30.0.20/24]
      gateway4: 172.30.0.1
      nameservers:
        addresses: [172.30.0.1]

Перезапустить контейнер:

lxc-stop название контейнера
lxc-start название контейнера

Настройка DNS

Подключитесь к контейнеру и удалите файл resolv

rm -f /etc/resolv.conf

И создайте его заново:

nano /etc/resolv.conf

nameserver 172.30.0.1

Установка SSH

С хоста. Сгенерируйте ключ ssh, если его у вас нет в домашней папке:

ssh-keygen

Установите ваш публичный сертификат в контейнер:

mkdir -p /var/lib/lxc/test-ubuntu/rootfs/root/.ssh/
cat ~/.ssh/id_rsa.pub >> /var/lib/lxc/test-ubuntu/rootfs/root/.ssh/authorized_keys
chown -R lxc-root:lxc-root /var/lib/lxc/test-ubuntu/rootfs/root/.ssh
chmod 700 /var/lib/lxc/test-ubuntu/rootfs/root/.ssh
chmod 400 /var/lib/lxc/test-ubuntu/rootfs/root/.ssh/authorized_keys

Подключитесь к контейнеру через консоль командой:

lxc-attach test-ubuntu

Установите SSH сервер в контейнере.

Для Ubuntu:

apt install openssh-server -y

Для Centos:

yum install openssh-server -y
systemctl enable sshd

Установите root пароль:

passwd

Завершите текущий сеанс в контейнере:

exit

Теперь вы можете подключиться к контейнеру через SSH:

ssh root@IP-адрес-контейнера

Проброс портов

Проброс портов нужен, чтобы расшарить контейнер в интернет. Иногда этого не требуется, например, если вы проксируете трафик через nginx. Делать нужно на хосте.

Чтобы пробросить порты, нужно установить и настроить iptables-persistent

При работе с iptables будьте осторожны.
Одно неверное движение и доступ к серверу может быть заблокирован !!!

После этого в файле /etc/iptables/rules.v4 и /etc/iptables/rules.v6 в секцию *nat нужно указать строчки

# Проброс SSH на 172.30.0.10
-A PREROUTING ! -i lxcbr0 -p tcp -m tcp --dport 22340 -j DNAT --to-destination 172.30.0.10:22

# Проброс HTTP на 172.30.0.10
-A PREROUTING ! -i lxcbr0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.30.0.10:80
-A PREROUTING ! -i lxcbr0 -p tcp -m tcp --dport 443 -j DNAT --to-destination 172.30.0.10:443

# Проброс FTP на 172.30.0.10
-A PREROUTING ! -i lxcbr0 -p tcp -m tcp --dport 21 -j DNAT --to-destination 172.30.0.10:21
-A PREROUTING ! -i lxcbr0 -p tcp -m tcp --dport 30000:50000 -j DNAT --to-destination 172.30.0.10:30000-50000

и выполнить:

iptables-restore < /etc/iptables/rules.v4
ip6tables-restore < /etc/iptables/rules.v6
systemctl stop lxc
systemctl stop lxc-net
systemctl start lxc-net
systemctl start lxc

Настройка nested контейнера

Nested контейнер — это возможность запустить контейнер в контейнере. Например, если вам нужно будет запустить Docker внутри LXC контейнера, то нужно включить данную опцию.

Опция включается в файле конфига контейнера /var/lib/lxc/<название контейнера>/config

Раскоментируйте строчку:

#lxc.include = /usr/share/lxc/config/nesting.conf

Также может понадобится прописать параметр для монтирования файловой системы cgroup

lxc.mount.auto = cgroup-full:rw

Дополнительно:

1. Настройка Centos 7 LXC контейнера с поддержкой nginx и php-fpm
2. Докер в LXC
3. Непривилегированные контейнеры
4. Описание файла config
5. Безопасность в LXC
6. Список всех образов: https://us.images.linuxcontainers.org/