Power BI: optimalisatie 600k+ rijen per jaar vergeleken met Excel

Samenvatting

Power BI-project combineert 600.000+ rijen en 106 kolommen per jaar; na drie jaar duurt laden en verversen al lang.

Power BI en de groei van het datamodel

Een Reddit-gebruiker beschrijft een Power BI-project met universitaire inschrijvingsgegevens. Voor elk jaar levert de opdrachtgever een Excel-bestand met meer dan 600.000 rijen en 106 kolommen. Het model voegt de bestanden uit meerdere jaren samen.

Na drie jaar bevat het model ongeveer 1,8 miljoen rijen. De laad- en verversingstijd loopt nu al op. De vraagsteller wil daarom weten wat er gebeurt wanneer het model gegevens uit tien of meer jaren bevat en vergelijkt Excel met CSV of SharePoint als bron.

Excel, CSV en SharePoint voor Power BI

De bron geeft geen uitkomst waaruit blijkt dat CSV of SharePoint in deze situatie beter presteert dan Excel. Dat onderscheid moet je dus niet vooraf aannemen. De casus laat wel zien dat bronkeuze en modelomvang samen moeten worden beoordeeld: elk jaar komt een groot bestand binnen, terwijl het model alle jaren combineert.

Voor een BI-professional ligt de kern niet alleen bij het aantal rijen. Ook de vaste breedte van 106 kolommen, de manier waarop bestanden worden toegevoegd en de omvang van de bestaande modeldata bepalen wat je moet testen. Een vergelijking tussen Excel, CSV en SharePoint heeft pas waarde wanneer dezelfde gegevens en dezelfde modelopbouw worden gebruikt.

Concrete takeaway voor Power BI

Maak eerst een reproduceerbare proef met de huidige drie jaren. Laad dezelfde 1,8 miljoen rijen afzonderlijk vanuit Excel, CSV en SharePoint, meet per variant de laad- en verversingstijd en controleer of alle 106 kolommen gelijk binnenkomen. Gebruik die meting voordat je de bron voor tien of meer jaren vastlegt.