Kādas ir Hadoop 2.0 (YARN) struktūras priekšrocības?

Saturs

• Kas ir YARN ietvars?
• Hadoop 1.0 ietvara ierobežojumi
• Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi
• YARN Framework un tā priekšrocības
• Secinājums

Avots: Jim Hughes / Dreamstime.com

Izņemšana:

YARN ir būtisks uzlabojums salīdzinājumā ar Hadoop 1.0 sistēmu. Šeit mēs apskatīsim dažas priekšrocības, kas tai ir salīdzinājumā ar tā priekšgājēju.

Kopš brīža, kad tika ieviests lielo datu jēdziens, tas ir piedzīvojis vairākas evolūcijas fāzes. Hadoop tika ieviests 2005. gadā ar dažām sākotnējām funkcijām, piemēram, MapReduce apstrādes dzinēju, kas ļāva liela apjoma datu apstrādes darba slodzēm, kas sadalītas klasteros. Pati Hadoop ir piedzīvojusi daudz pārmaiņu un ir izstrādājusi uzlabotas struktūras un metodes.

YARN ir Hadoop 2.0 galvenā sastāvdaļa. Tas būtībā pārvalda resursus klasterizētā vidē. YARN brokeris mijiedarbojas ar aprēķina resursiem (lietojumprogrammu vārdā) un piešķir resursus katrai lietojumprogrammai, pamatojoties uz dažādiem filtrēšanas kritērijiem.

Šajā rakstā mēs apskatīsim YARN galvenās priekšrocības salīdzinājumā ar Hadoop 1.0.

Kas ir YARN ietvars?

Yet Another Ravots Negotiator ir galvenā Hadoop 2.0 sastāvdaļa, kas pārvalda resursus klasterizētā vidē. Hadoop YARN ietvars ir uzlabota Hadoop 1.0 versija, kas nodrošina uzlabotu veiktspēju, kas ir izdevīga Hadoop ekosistēmai un visam ar to saistīto tehnoloģiju klāstam. Tagad, kad esam nedaudz vairāk iepazinušies ar YARN, sīkāk apskatīsim Hadoop 1.0 un YARN.

Hadoop 1.0 ietvara ierobežojumi

Lai saprastu YARN ietvara priekšrocības, ir ļoti svarīgi saprast, kā darbojas Hadoop 1.0 un kādi ir šī ietvara ierobežojumi.

Šeit nonāk JobTracker loma. Tas pārvalda gan klastera resursus, gan nosaka MapReduce darba izpildi. Īsumā JobTracker plāno un rezervē uzdevumu laika nišas, kā arī konfigurē un uzrauga katru palaižamo uzdevumu. Ja uzdevums neizdodas, tas no jauna piešķir jaunu laika nišu, lai uzdevumu sāktu no jauna. Kad uzdevums ir pabeigts, JobTracker atbrīvo vietu citiem uzdevumiem un iztīra pagaidu resursus.

Iepriekšminētās pieejas galvenie trūkumi:

• Pieejamība - JobTracker ir vienīgais pieejamības punkts Hadoop 1.0. Tas nozīmē, ka, ja JobTracker neizdodas, visi uzdevumi pēc noklusējuma tiks restartēti.
• Ierobežota mērogojamība - tā kā JobTracker veic vairākus uzdevumus un darbojas vienā mašīnā, pārējās pieejamās mašīnas netiek izmantotas; tādējādi radot ierobežotu mērogojamību.
• Resursu izmantošana - iepriekšminētajā pieejā iepriekš tiek definēti kartes sloti un samazināti sloti. Var gadīties, ka viena no laika nišām ir pilna, bet otras mašīnas laika nišas ir tukšas. Tā kā tukšās laika nišas ir rezervētas, tās darbosies dīkstāvē, nevis kompromitēs par pilnām laika nišām. Tas var izraisīt resursu izmantošanas problēmu.
• Programmu, kas nav MapReduce lietojumprogrammas, darbināšana - JobTracker ir lietojumprogramma, kas paredzēta MapReduce ietvariem. Problēma rodas, ja lietojumprogramma, kas nav MapReduce, mēģina palaist šajā sistēmā. Lai programma darbotos veiksmīgi, tai jāatbilst MapReduce ietvara programmēšanai. Daži no kopējiem jautājumiem, ar kuriem tā saskaras, ir problēmas ar:
  • Ad-hoc vaicājums
  • Reālā laika analīze
  • tuvojošā pieeja
• Kaskādes kļūme - viena no galvenajām problēmām šajā ietvarā rodas, ja mezglu skaits ir lielāks par 4000. Šādā gadījumā rodas kaskādes kļūme, kā rezultātā tiek sabojāts viss klasteris.

Šie ir daži no galvenajiem ierobežojumiem, ar kuriem saskaras, strādājot ar šo sistēmu. Ir arī daži citi nelieli ierobežojumi, kas nav minēti. YARN satvars tika ieviests, lai pārvarētu šos ierobežojumus.

Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi

Jūs nevarat uzlabot savas programmēšanas prasmes, kad nevienam nerūp programmatūras kvalitāte.

YARN Framework un tā priekšrocības

YARN ietvars, kas ieviests Hadoop 2.0, ir paredzēts, lai dalītos ar MapReduce atbildību un rūpētos par kopu pārvaldības uzdevumu. Tas ļauj MapReduce veikt tikai datu apstrādi un tādējādi pilnveidot procesu.

YARN ievieš centrālās resursu pārvaldības koncepciju. Tas ļauj Hadoop darbināt vairākas lietojumprogrammas, kopīgi izmantojot kopēju resursu pārvaldību.

Daži no galvenajiem YARN ietvara komponentiem ir:

• ResourceManager - komponents ResourceManager ir sarunu vedējs klasterā par visiem resursiem, kas atrodas šajā klasterī. Turklāt šis komponents tiek klasificēts lietojumprogrammu pārvaldniekā, kas atbild par lietotāju darbu pārvaldību. No Hadoop 2.0 jebkurš MapReduce darbs tiks uzskatīts par pieteikumu.
• ApplicationMaster - šī sastāvdaļa ir vieta, kurā pastāv darbs vai lietojumprogramma. Tas arī pārvalda visus MapReduce darbus un tiek pabeigts pēc darba apstrādes pabeigšanas.
• NodeManager - mezgla pārvaldnieka komponents darbojas kā serveris darba vēsturei. Tas ir atbildīgs par informāciju par paveiktajiem darbiem. Tas arī izseko lietotāju darbiem līdztekus viņu darbplūsmai noteiktā mezglā.

Paturot prātā, ka YARN ietvarstruktūrai ir dažādi komponenti, lai pārvaldītu dažādus uzdevumus, redzēsim, kā tā novērš Hadoop 1.0 ierobežojumus.

• Labāka resursu izmantošana - YARN ietvarā nav fiksētu laika nišu uzdevumiem. Tas nodrošina centrālo resursu pārvaldnieku, kas ļauj koplietot vairākas lietojumprogrammas, izmantojot kopēju resursu.
• Programmu, kas nav MapReduce lietojumprogrammas, darbība - YARN plānošanas un resursu pārvaldības iespējas ir atdalītas no datu apstrādes komponentes. Tas ļauj Hadoop palaist dažāda veida lietojumprogrammas, kas neatbilst Hadoop ietvara programmēšanai. Hadoop kopas tagad spēj veikt neatkarīgus interaktīvus vaicājumus un labāk veikt reālā laika analīzi.
• Saderība ar atpakaļejošu datumu - YARN nāk kā ar atpakaļejošu datumu saderīgs ietvars, kas nozīmē, ka Hadoop 2.0 var izpildīt jebkuru esošo MapReduce darbu.
• JobTracker vairs nepastāv. Divas galvenās JobTracker lomas bija resursu pārvaldība un darba plānošana. Ieviešot YARN ietvaru, tie tagad ir sadalīti divās atsevišķās sastāvdaļās, proti:
  • NodeManager
  • Resursu pārvaldnieks

Secinājums

YARN ietvara ieviešana ir atvieglojusi lietojumprogrammu izveidi Hadoop izstrādātājiem. Tagad lietojumprogrammas vairs nav jāievieš, izmantojot trešo pušu rīkus. YARN ir milzīgas izmaiņas, kas lietotājiem ļaus apsvērt Hadoop 2.0, lai izveidotu lietojumprogrammas un efektīvāk manipulētu ar datiem. Ar laiku Hadoop lietojamības uzlabošanai tiks veikti turpmāki uzlabojumi. Pagaidām YARN satvaram būs izšķiroša loma, risinot esošās problēmas un radot bezrūpīgu vidi, kas ir daudzpusīgāka nekā iepriekšējā MapReduce modeļa versija.