Docker: multi-stage build Prefect Agent image

[aspeddro]

Esse PR é experimento para tentar diminuir o tempo de construção da imagem Docker.

Problema

Cada build da imagem leva em média ~4:50s.

A imagem tem algumas bibliotecas que não precisa ser instaladas em cada build. Acho que podemos criar um imagem com as bibliotecas instaladas e usar a imagem como referência.

Essa etapa é mais longa:

pipelines/Dockerfile

Lines 18 to 49 in 0265c6b

	RUN apt-get update && \
	apt-get install --no-install-recommends -y wget gnupg && \
	wget -q -O - https://dl-ssl.google.com/linux/linux_signing_key.pub | apt-key add - && \
	echo "deb http://dl.google.com/linux/chrome/deb/ stable main" >> /etc/apt/sources.list.d/google.list && \
	apt-get update && \
	apt-get install --no-install-recommends -y \
	build-essential \
	curl \
	freetds-dev \
	ftp \
	gcc \
	google-chrome-stable \
	libcrypto++-dev \
	libssl-dev \
	p7zip-full \
	python3-dev \
	traceroute \
	wget \
	tesseract-ocr \
	python3-opencv \
	git \
	bzip2 \
	libxtst6 \
	libgtk-3-0 \
	libx11-xcb-dev \
	libdbus-glib-1-2 \
	libxt6 \
	libpci-dev \
	&& \
	apt-get install -y r-base && \
	apt-get clean && \
	rm -rf /var/lib/apt/lists/*

Multi-stage build

Vamos separar o processo em duas imagens. A primeira é uma imagem com as bibliotecas a nível de sistema, onde a instalação tem um custo alto (tempo). A segunda imagem representa é a imagem atual mas sem o processo de instalação das bibliotecas. Ainda existe o custo de pulling da imagem no registro ghcr.io, mas é um custo mais baixo.

Dockerfile.base - prefect-base-libs

Essa imagem é pública em https://github.com/basedosdados/pipelines/pkgs/container/prefect-base-libs.

A imagem prefect-base-libs é usada em Dockerfile.

FROM ghcr.io/basedosdados/prefect-base-libs:latest

Dockerfile - prefect-flows

Dockerfile faz o pull de ghcr.io/basedosdados/prefect-base-libs:latest.

Algumas etapas ainda estão em Dockerfile:

• Instalação do poetry
• Instalação das dependências e do próprio pacote pipelines

Tempo de construção de Build and publish Prefect Agent image

Atualmente essa etapa leva ~4:50s. Com essa alteração o resultado foi 3m7s, uma pequena mudança

Inspecionando as etapas

Olhando as etapas podemos vê qual leva mais tempo:

• Pull da imagem ghcr.io/basedosdados/prefect-base-libs:latest: 23.4s
• Instalação do poetry RUN curl -sSL https://install.python-poetry.org | python3 -: 11.8s
• Instalação das dependências RUN poetry install && dbt deps: 35.0s
• Push da imagem: 106.2s

Notas

• Adicionar um cache para reduzir o pull da imagem.
  • https://www.kenmuse.com/blog/implementing-docker-layer-caching-in-github-actions/
  • https://www.augmentedmind.de/2023/11/19/advanced-buildkit-caching/
  • https://news.ycombinator.com/item?id=39956327
• Não tem muito o que fazer com o tempo de instalação do poetry e das dependências
• O push da imagem leva muito tempo. A imagem tem cerca ~2GB. Seria bom verificar quais dependências de fato é utilizado

[github-actions]

Tests	Skipped	Failures	Errors	Time
8	7 💤	0 ❌	0 🔥	14.808s ⏱️

[mergify]

@aspeddro esse pull request tem conflitos 😩