Saturs
- Definīcija - ko nozīmē MapReduce?
- Ievads Microsoft Azure un Microsoft Cloud | Šajā rokasgrāmatā jūs uzzināsit, kas ir mākonis skaitļošana un kā Microsoft Azure var palīdzēt jums migrēt un vadīt savu biznesu no mākoņa.
- Techopedia skaidro MapReduce
Definīcija - ko nozīmē MapReduce?
MapReduce ir Google ieviests programmēšanas modelis lielu datu kopu apstrādei un ģenerēšanai datoru kopās.
Vispirms Google izstrādāja ietvaru, lai apkalpotu Google tīmekļa lapu indeksāciju, un jaunais ietvars aizstāja iepriekšējos indeksācijas algoritmus. Iesācējiem izstrādātāji uzskata, ka MapReduce ietvars ir izdevīgs, jo bibliotēku rutīnas var izmantot, lai izveidotu paralēlas programmas, neuztraucoties par infraklasteru komunikāciju, uzdevumu uzraudzību vai kļūmju apstrādes procesiem.
MapReduce darbojas lielā preču klasterā un ir ļoti pielāgojama. Tam ir vairāki ieviešanas veidi, ko nodrošina vairākas programmēšanas valodas, piemēram, Java, C # un C ++.
Ievads Microsoft Azure un Microsoft Cloud | Šajā rokasgrāmatā jūs uzzināsit, kas ir mākonis skaitļošana un kā Microsoft Azure var palīdzēt jums migrēt un vadīt savu biznesu no mākoņa.
Techopedia skaidro MapReduce
MapReduce ietvarstruktūra sastāv no divām daļām:
- Funkcija ar nosaukumu “Karte”, kas ļauj dažādiem sadalītā klastera punktiem izplatīt savu darbu
- Funkcija ar nosaukumu “Samazināt”, kuras mērķis ir samazināt kopu rezultātu galīgo formu vienā izvadē
Galvenā MapReduce ietvara priekšrocība ir tā pieļaujamā kļūme, kurā, pabeidzot darbu, tiek sagaidīti periodiski pārskati no katra klastera mezgla.
Uzdevums tiek pārsūtīts no viena mezgla uz otru. Ja galvenais mezgls pamana, ka mezgls ir klusējis ilgāku laika periodu nekā paredzēts, galvenais mezgls veic atkārtotu piešķiršanas procesu iesaldētajam / atliktajam uzdevumam.
MapReduce ietvars ir iedvesmots funkcijās "Karte" un "Samazināt", kas tiek izmantotas funkcionālā programmēšanā. Datu apstrāde notiek ar datiem, kas tiek glabāti failu sistēmā vai datu bāzē, kas ņem ievades atslēgas vērtību kopu un rada izvades atslēgas vērtību kopu.
Katru dienu Googles klasteros tiek izpildītas daudzas MapReduce programmas un MapReduce darbi. Programmas tiek automātiski paralēlas un izpildītas lielā preču klasterā. Runtime sistēma nodarbojas ar ievades datu sadalīšanu, programmu izpildes plānošanu mašīnkopā, mašīnu kļūmju apstrādi un nepieciešamo starpmašīnu komunikāciju pārvaldību. Programmētāji bez pieredzes ar paralēlām un izkliedētām sistēmām var viegli izmantot lielas izkliedētās sistēmas resursus.
MapReduce tiek izmantots sadalītajā grep, sadalītajā sakārtošanā, Web link-graph mainīšanā, Web piekļuves žurnāla statistikā, dokumentu grupēšanā, mašīnmācībā un statistiskajā mašīntulkošanā.