Samenvatting
Fivetran migreert bestaande warehouse-tabellen naar managed Apache Iceberg zonder historische data opnieuw te synchroniseren.
Managed Apache Iceberg: wat Fivetran verandert
Fivetran biedt bestaande klanten een migratiepad van warehouse-native tabellen naar managed Apache Iceberg-tabellen. De dienst kopieert de al aanwezige gegevens vanuit het warehouse naar Iceberg, zonder opnieuw historische data uit bronsystemen op te halen.
Tijdens de migratie blijven de synchronisatiestatus, tabelnamen, schema’s en verbindingen behouden. Na afloop zijn de gegevens beschikbaar in Iceberg-formaat en kan het warehouse dezelfde tabellen blijven gebruiken. Fivetran bewaart daarbij de bestaande sync cursor, zodat de synchronisatie na een testfase kan worden hervat.
Apache Iceberg: waarom dit belangrijk is
Een overstap naar een data lake vereiste eerder vaak een volledige herextractie. Dat kost tijd, belast productiesystemen en vormt een probleem voor bronnen met jaren aan historie of beperkte extractiemogelijkheden. Fivetran verplaatst het bestaande warehouse-kopieerwerk naar managed Iceberg-tabellen en vermijdt die extra bronbelasting.
De aanpak sluit aan op Open Data Infrastructure en gebruikt Apache Iceberg voor interoperabiliteit tussen opslag en query-engines. Fivetran ondersteunt hiervoor cloudopslag in AWS S3, Azure Data Lake Storage en Google Cloud Storage. Het warehouse krijgt toegang tot de tabellen in de bucket, zonder een tweede kopie in native opslag te maken.
De inrichting vraagt twee bestemmingen in Fivetran: een Managed Data Lake-bestemming en een Lakehouse-bestemming voor het Cloud Data Warehouse. Snowflake beschikt over installatie-instructies; instructies voor BigQuery en Databricks volgen volgens de bron.
Fivetran-migratie: concrete takeaway
Controleer vóór een migratie of beide bestemmingen exact dezelfde CDW-inloggegevens, database en schema gebruiken als de bestaande bestemming. Zet daarna eerst een Managed Data Lake op, test de nieuwe Iceberg-tabellen en schakel pas vervolgens de synchronisatie opnieuw in. Zo behoud je de bestaande tabelstructuur en voorkom je een nieuwe historische extractie.
Verdiep je kennis
Wat is Business Intelligence? Uitleg, voorbeelden en tools
Wat is business intelligence (BI)? Leer over de definitie, de BI-stack, praktijkvoorbeelden, populaire tools en de trend...
KennisbankData-driven werken — Hoe begin je als organisatie?
Leer hoe je als organisatie data-driven gaat werken. Van data-volwassenheid tot cultuurverandering: een praktisch stappe...
KennisbankData governance in het MKB — Praktische aanpak
Wat is data governance en hoe pak je het aan als MKB-organisatie? Een praktisch stappenplan met aandacht voor AVG-compli...