Power BI Garage

Folosind Power BI, avem capacitatea de a ne conecta la un întreg folder și de a adăuga fără probleme mai multe fișiere. Această funcționalitate este utilă atunci când primim periodic exporturi de date din diverse sisteme și trebuie să le combinăm (union/append) într-un singur tabel.

Prin implementarea logicii de mai jos, data viitoare când un fișier nou este adăugat sau eliminat din folder, nu va fi necesară nicio intervenție manuală. Un simplu refresh va fi suficient pentru a propaga schimbarea în dataset-ul Power BI.

Pentru a realiza acest lucru:

1. În Power BI, accesează Transform Data.

2. Creati un parametru cu calea catre folder

3. Mergi la New Source si selcteaza conectorul „Folder”

În noua fereastra care se deschide, alege tipul parametrului ca input, apoi selectează parametrul creat în pasul 2.

5. Odată conectat la folder, vei fi solicitat să alegi una dintre următoarele opțiuni:

• Cancel dacă dorești să anulezi conexiunea.
• Combine and Transform Data – efectuează această acțiune doar dacă ești sigur că folderul sursă conține doar fișierele care trebuie concatenate sau unite.

După ce apeși pe butonul Combine and Transform Data, ți se va solicita să selectezi:

• fișierul din folder care va fi utilizat ca fișier eșantion;
• codificarea fișierului (File encoding);
• delimitatorul care va fi utilizat pentru separarea conținutului în coloane;
• și dacă se va încerca detectarea tipului de date pe baza primelor 200 de rânduri, a întregului set de date sau dacă nu se va efectua nicio detectare.

După ce apeși pe OK, acest pas va genera automat logica de combinare, rezultând în crearea unor elemente noi în Power Query.

În captura de ecran de mai sus avem:

i. Elemente create automat
ii. Noua interogare creată
iii. Previzualizarea conținutului noii interogări
iv. Pașii aplicați automat

Transformarea datelor

Folosește această opțiune atunci când trebuie să aplici filtre suplimentare înainte de a combina fișierele din folderul sursă.

După ce ai selectat „Transform Data”, vei fi direcționat către interfața Power Query, unde poți manipula conținutul folderului.

Aici poti selecta un singur fisier pentr a-l deschide.

Sau poti combina fisiere multiple intr-o singure structura tabulara.

Mai mult, putem executa operațiuni complexe de ETL asupra fișierelor combinate. Totuși, este important de reținut că aceste operațiuni nu ar trebui efectuate direct pe noua interogare creată, ci pe „Transform Sample File”.

Pentru a aplica noua logică de transformare tuturor fișierelor adăugate prin operația de concatenare (append/union), evită modificarea oricăror elemente evidențiate cu roșu și concentrează-te exclusiv pe cel încadrat cu verde.

Orice logică de transformare aplicată în interogarea „Transform Sample File” va fi aplicată tuturor fișierelor combinate, așa cum se vede mai jos: