hrvatski

Model nadzora i upravljanja inkrementalnim ažuriranjem skladišta podataka

Kako bi se ostvarila određena razina povjerenja u kvalitetu podataka u skladištu podataka potrebno je obaviti niz provjera. Postoje brojne komponente (i aspekti) skladišta podataka koji se mogu testirati. U fokusu ovog rada je testiranje ETL (Extract-Transform-Load hrv. Ekstrakcija- Transformacija-Punjenje) procesa. U radu je predložen općeniti model i algoritmi za integracijsko testiranje određenih aspekata ETL procedura. Predloženi pristup tretira ETL procedure kao crne kutije, a testiranje se obavlja uspoređivanjem ulaznih i izlaznih skupova podataka s tri lokacije: podaci iz izvorišta podataka, podaci iz konsolidiranog područja za pripremu podataka te podaci iz skladišta podataka. Predloženi model i algoritmi se mogu primijeniti na bilo koje skladište podatka koje koristi dimenzijski model pri čemu podatke dobavlja iz relacijskih baza podataka. Općenitim ga čine meta podaci kojima se opisuju skupovi podataka koji se uspoređuju te strategija uspoređivanja. Rezultati postupaka uspoređivanja koriste se pri sljedećim usporedbama za brže pronalaženje razlika. U radu je također, predložen model i metode za horizontalnu fragmentaciju dimenzijskih i činjeničnih relacija. Predložene metode su prikladne za implementaciju u skladištima podataka u kojima se može odrediti pogodan kriterij fragmentacije - npr. skladištima koja objedinjuju podatke različitih organizacijskih struktura. Integriraju se u fazu punjenja ETL procesa. Postupkom se postiže poboljšanje dimenzija kvalitetne, potpunost i pravovremenost. Kao i predloženi model i algoritmi integracijskog testiranja i ovaj postupak općenitim čine meta podaci. ETL procesom s implementiranom horizontalnom fragmentacijom je automatiziran proces traženja i bilježenja pogrešaka. Informacije prikupljene procesom raspoložive su administratorima sustava i čine podlogu za kvalitetan nadzor i upravljanje procesom ažuriranja skladišta podataka. Naravno, vidljive su i krajnjim korisnicima čime se minimizira vrijeme traženja pogrešnih podataka i uzroka njihove pojave.

ETL proces; inkrementalno ažuriranje skladišta podataka; integracijsko testiranje skladišta podataka; horizontalna fragmentacija; potpunost i pravovremenost u skladištu podataka

nije evidentirano