dbt: ondersteunt Amazon Redshift datadeling voor snellere pipelines

Samenvatting

dbt ondersteunt native Amazon Redshift data sharing, zodat modellen over databases heen kunnen schrijven zonder data te kopiëren.

dbt en Amazon Redshift data sharing: wat verandert er

dbt ondersteunt vanaf deze release lezen en schrijven via Amazon Redshift data sharing. Daarmee kan dbt modellen materialiseren over Redshift-databases heen, zonder bytes tussen databases, clusters, AWS-accounts of regio’s te verplaatsen.

Redshift deelt live databaseobjecten zoals schema’s, tabellen, views, materialized views en UDF’s. Consumenten bevragen die objecten alsof ze lokaal staan en zien na een bevestigde schrijfactie transactioneel consistente informatie.

De configuratie krijgt hiervoor de credential `datasharing: true`. Die instelling schakelt de adapter over van PostgreSQL-catalogustabellen naar Redshift-eigen `SVV_*`-system views en `SHOW`-API’s. Die bronnen herkennen objecten over databases heen.

dbt-redshift verlaat daarnaast de legacy Postgres metadata-API’s. Volgens dbt levert dat snellere runs, betrouwbaardere metadataresolutie en beter gedrag bij hoge gelijktijdigheid.

Waarom Amazon Redshift data sharing belangrijk is

Voorheen werkte dbt met gedeelde bronnen onder strikte voorwaarden. De omgeving moest RA3 of serverless gebruiken, het profiel had `ra3_node: true` nodig en modellen die een gedeelde bron gebruikten, moesten als tabel materialiseren. Views, verwijzingen tussen projecten en CI-omgevingen over meerdere clusters vielen buiten die ondersteuning.

De release haalt die beperkingen weg. Dat verandert vooral de technische inrichting van dbt-projecten die databases of clusters verdelen over teams. Redshift blijft de live bron, terwijl dbt modellen op een andere database kan schrijven. Kopieerprocessen verdwijnen uit deze route.

De wijziging zit niet alleen in datadeling zelf. Ook de metadata-afhandeling verandert fundamenteel. PostgreSQL-catalogi tonen alleen objecten in de verbonden database; Redshift-native views en `SHOW`-API’s ondersteunen de cross-database controle die dbt voor deze writes nodig heeft.

Concrete takeaway voor dbt-gebruikers

Controleer dbt-profielen en modellen die naar een andere Amazon Redshift-database schrijven. Voeg `datasharing: true` toe waar dat nodig is, test tabel- en viewmaterialisaties afzonderlijk en controleer metadataresolutie in omgevingen met meerdere clusters of hoge gelijktijdigheid.