Lakebase: lessen uit 100 PR-databases voor CI/CD

Samenvatting

Lakebase geeft elke pull request een eigen PostgreSQL-branch, klaar voor tests in minder dan een minuut.

Lakebase maakt CI/CD met productiedata praktisch

Snorkel AI koppelt zijn Kubernetes-CI/CD-pijplijn aan Databricks Lakebase. Elke open pull request krijgt een eigen, tijdelijke Lakebase Postgres-branch met lees- en schrijfrechten. De omgeving staat binnen zestig seconden klaar, terwijl een kopie van de bestaande Amazon Aurora PostgreSQL-database ongeveer twintig minuten kostte.

De tests draaien daardoor op actuele productiedata zonder dat ontwikkelaars elkaar in een gedeelde database hinderen. De hoofdbranch blijft via continue DMS-replicatie binnen ongeveer twee minuten van de productieomgeving. Snorkel controleerde daarnaast compatibiliteit met standaard-Postgres, grote JSONB- en LOB-kolommen en prestaties die vergelijkbaar zijn met Aurora.

Lakebase gebruikt copy-on-write. Bij het aanmaken van een branch kopieert het systeem geen volledige dataset, maar deelt het opslagpagina’s met de ouderbranch. Alleen gewijzigde pagina’s vragen extra opslag. Bij honderd gelijktijdige PR-databases op een productiedataset van ongeveer 2,5 TB blijft de opslag daardoor gekoppeld aan de wijzigingen per branch.

Waarom Lakebase relevant is voor CI/CD

De casus laat zien waar database branching afwijkt van traditionele testomgevingen. Gedeelde staging-databases veroorzaken interferentie, testfixtures missen echte datastructuren en synthetische data verbergen fouten die pas met productieachtige gegevens zichtbaar worden. Lakebase koppelt isolatie aan een workflow die ontwikkelaars al kennen uit Git.

De technische randvoorwaarden zijn minstens zo bepalend als de snelheid. Branches krijgen een automatische vervaldatum via TTL, zodat afgeronde pull requests geen opslag blijven gebruiken. Private connectivity houdt productiedata buiten het publieke internet; Okta SSO verzorgt toegang voor ontwikkelaars en service principals authenticeren CI-pijplijnen.

Concrete takeaway voor Lakebase

Beoordeel database branching aan de hand van vier meetpunten: provisionering binnen zestig seconden op p95, honderd onafhankelijke branches, actuele replicatie en automatische opruiming. Test daarnaast standaard-Postgres-compatibiliteit met grote JSONB- en LOB-kolommen. Zonder TTL, private networking en gescheiden CI-authenticatie blijft een snelle branch slechts een tijdelijke testkopie.