hrvatski

Izrada sustava za nadzor i praćenje ”Pig” upita korištenjem ”Big Data” tehnologija

Tema diplomskog rada je izrada sustava za nadzor i praćenje ”Pig” upita korištenjem ”Big Data” tehnologije. U prvom dijelu upoznajemo se se s povijesti Big Data tehnologije kao i mogućnosti koje nam donosi njena uporaba. Jedan od programa koji se koristi u Big data tehnologiji je Hadoop. Hadoop je open source rješenje koje je omogućilo pohranu i analizu onoga što se nekad zvalo ”smećem” podacima odnosno podacima nestrukturiranog ili polustrukturiranog oblika, dok su za Google ti „smeće“ podaci bili i još jesu osnova njihovog pametnog poslovnog modela. Hadoop se temelji se na paralelnoj obradi podataka (MapReduce) i distribuiranoj pohrani podataka (HDFS). Dijelovi HDFS- a su Name i Secondary Name čvor, a dio MapReduce-a je JobTracker i zajedno predstavljaju master dio. Osim mastera, arhitekturu Hadoop-a čini i slave dio, a njegove komponente su Data čvor i TaskTracker. Za izgradnju Hadoop klastera potrebna je ogromna količina računalnih resursa, pa je za potrebu diplomskog rada instaliran pseudo-distribuirani klaster sa jednim master i tri slave čvora koji simuliraju rad klastera nad ”Big Data” podacima. Sljedeći korak bio je instalacija Apache Pig-a. Pig je nastao kao istraživački projekt u Yahoo. Cilj razvoja Pig Latin-a je bio da se zauzme mjesto između dekleratinog stila SQL-a i i proceduralnog MapReduce-a kako bi u popunosti iskoristio sve mogućnosti koje mu Hadoop pruža. Prvo Pig izdanje dolazi u rujnu 2008 godine, a krajem godine diplomirao iz inkubatora i postao podprojekt Apache Hadoop-a. U Eclipse Juno programskoj razvojnoj okolini kreiran je plugin za učitavanje podataka u klaster, nakon čega se oni distribuiraju po čvorovima. Prednost instaliranog plugin-a je u tome da se podaci vrlo jednostavno mogu učitati na Hadoop, uz par klikova mišem, dok se bez plugin-a podaci unose naredbom preko konzole, a to zahtjeva puno više vremena. Također, kreiran je Pig projekt i u njemu klasa za kreiranje Pig Latin upita. Programska realizacija izvedena je u Java SE programskom jeziku. Pokretanjem Pig Latin upita dobiju se odgovarajući rezultati koji se također repliciraju u klasteru. Nakon uspješno dobivenih rezultata, tok obrade podataka po čvorovima se sprema u folder unutar klastera. Rezultat toka podataka je u obliku tekstualne datoteke. Kreirana je Java Swing aplikacija koja čita informacije iz tekstualne datoteke i prikazuje tok obrade po čvorovima, tj. na kojim čvorovima je izvršena MapReduce faza.

Big data; Hadoop; mapreduce; Apache Pig

nije evidentirano