Saturs
- Kas ir nākamās paaudzes datu arhitektūra?
- Cerības no Hadoop nākamās paaudzes arhitektūras konferencē
- Kādas vērtības Hadoop var pievienot nākamās paaudzes datu arhitektūrai?
- Uzlabota veiktspēja kā uzņēmuma datu arhitektūra
- Atšķirība starp Hadoop un citām tehnoloģijām
- Secinājums
Avots: Romeo1232 / Dreamstime.com
Izņemšana:
Hadoop būs galvenais nākamās paaudzes datu arhitektūras spēlētājs, pateicoties tā spējai apstrādāt milzīgu datu daudzumu.
Hadoop lietderība sāk pārsniegt lielo datu apstrādi un analīzi, jo nozare prasa no tās vairāk. Hadoop vienmērīgi ievēro dažādas prasības, kas saistītas ar uzņēmuma datu arhitektūru, saglabājot sākotnējās stiprās puses. Saraksts ar to, ko Hadoop var darīt un pašlaik dara, ir diezgan garš. Hadoop tagad spēj apstrādāt milzīgus apjomus darījumu slodzes - uzdevumu, kas iepriekš tika gaidīts no tradicionālajām tehnoloģijām. Turpmāk Hadoop nākotnē ir daudz iespēju. Piemēram, transakciju sistēmās, kuru pamatā ir SQL, var izmantot Hadoop SQL motoru, un Hadoop arī pievienos daudz RDBMS iespēju. Var teikt, ka Hadoop kļūst par datu apstrādes un analītisko iespēju hibrīdu ar uzņēmuma arhitektūras iespējām.
Kas ir nākamās paaudzes datu arhitektūra?
Vienkārši sakot, nākamās paaudzes datu arhitektūra ir attīstīta datu arhitektūras forma. Nākamās paaudzes datu arhitektūrā ir attīstījies viss, ieskaitot datu modeļus, datu politikas, noteikumus un standartus, kas reglamentē datu vākšanu, glabāšanu, sakārtošanu, analīzi vai apstrādi, integrēšanu, izmantošanu un izplatīšanu.
Galvenā atšķirība starp agrāku datu arhitektūru un nākamās paaudzes datu arhitektūru ir pēdējās spēja reālā laikā vākt, glabāt un apstrādāt milzīgus datu apjomus, kas pazīstami arī kā lielie dati. Arhitektūra veic visus šos sarežģītos uzdevumus, neapdraudot privātuma, drošības un datu pārvaldības standartus.
Nākamās paaudzes datu arhitektūra saskaras ar daudzām problēmām. Nav viegli rīkoties ar lielo datu apjomu, ātrumu un daudzveidību. Pievienojiet tam prasības par sistēmas darba slodzes optimizēšanu, veiktspējas uzlabošanu, ātrumu un precizitāti un izmaksu samazināšanu. Lieki piebilst, ka iepriekšējai datu arhitektūrai šādas prasības nebija jāpārvalda.
CIO un informācijas arhitekti vēlas atrast risinājumu, kas viņiem palīdzētu sasniegt savus mērķus. Darbības Hadoop jau kādu laiku ir koncentrējušās šajā kontekstā. Nākamajās sadaļās tiks runāts par to, kā Hadoop operatīvais var atrisināt problēmas.
Cerības no Hadoop nākamās paaudzes arhitektūras konferencē
Uzņēmumi izjūt arvien pieaugošu spiedienu, lai sasniegtu labākus rezultātus, un to ietekme ir atkarīga no tehnoloģijām izvirzītajām cerībām. Tātad no Hadoop vairs nav paredzēts tikai apstrādāt datus. CIO un CTO vēlas vairāk no Hadoop. Zemāk ir Hadoop cerību saraksts. Faktiski Hadoop jau ir izpildījis dažas no šīm cerībām.
Paredzams, ka Hadoop darbosies ar transakciju sistēmām, kuru pamatā ir SQL un kurām ir izveidošanas, lasīšanas, atjaunināšanas un dzēšanas iespējas. Darījumu sistēmas izmantos SQL motoru. Sistēmām būs arī pilnīga portatīvās operētājsistēmas saskarnes (POSIX) atbilstība un spēja apstrādāt lielus darījumu apjomus.
Paredzams, ka Hadoop atbalstīs tādas funkcijas kā dublēšana, pieļaujama kļūme, atkopšana un atjaunošana pēc katastrofām. Lai Hadoop pārtaptu par sistēmu ar RDBMS iespējām, tai jābūt savietojamai ar esošajiem IT rīkiem.
Hadoop jau strādā, lai piepildītu cerības, kā tas izriet no dažām norisēm. Hadoop var nodrošināt reāllaika analīzi un ātras atbildes, pamatojoties uz YARN sniegto resursu pārvaldības atbalstu. YARN ir liela mēroga un izplatīta operētājsistēma lielu datu lietojumprogrammām, papildus tam, ka tā ir arī resursu pārvaldniece. Ir zināms, ka citas izstrādes, piemēram, Apache Storm, izplatītas atmiņā esošās arhitektūras, piemēram, Apache Spark, Apache Hive, Drill un MapR-FS (augstas veiktspējas HDFS nomaiņa), darbojas, lai piedāvātu dažādas pilnas datu bāzes iespējas, piemēram, dublēšana, atkopšana pēc avārijas, kļūdu novēršana utt. (Plašāku informāciju par YARN lasiet sadaļā Kādas ir Hadoop 2.0 (YARN) sistēmas priekšrocības?)
Kādas vērtības Hadoop var pievienot nākamās paaudzes datu arhitektūrai?
Vērtības, kuras Hadoop var pievienot nākamās paaudzes datu arhitektūrai, var aplūkot no diviem aspektiem: viens, vai tas atbilst iepriekš aprakstītajām cerībām, un otrs, vai tas dara kaut ko papildus. Zemāk ir norādītas svarīgākās vērtības, kuras Hadoop var sniegt.
Hadoop tagad, izmantojot HDFS, savā platformā var nodrošināt lielāku mērogojamību un datu pārvaldību. Un datu operētājsistēma ir iespējota, izmantojot Hadoop YARN lietojumprogrammas. Šī stratēģija atspoguļo datu arhitektūras maiņu pamatlīmenī. Tagad Hadoop var saglabāt dažāda veida datus, piemēram, uz darījumiem orientētas datu bāzes, grafiku datu bāzes un dokumentu datu bāzes, un šiem datiem var piekļūt, izmantojot YARN lietojumprogrammas. Nav nepieciešams dublēt vai pārvietot datus uz citām vietām.
Uzlabota veiktspēja kā uzņēmuma datu arhitektūra
Operatīvais Hadoop ir ceļā, lai kļūtu par uzņēmuma datu arhitektūras galveno sistēmu. Tā kā Hadoop vairāk iesaistās uzņēmuma datu arhitektūrā, datu tvertnes tiks likvidētas, jo tiks likvidētas līnijas starp tām. Gandrīz visos aspektos notiks strauji uzlabojumi. Uzlabojumi notiks efektīvāku failu formātu, labāku SQL motora veiktspēju, uzlabotu failu sistēmu un robustumu veidā, kas izpildīs uzņēmuma lietojumprogrammu vajadzības.
Atšķirība starp Hadoop un citām tehnoloģijām
Agrāk galvenā atšķirība starp Hadoop un datu uzņēmuma tehnoloģijām bija lielās Hadoop datu apstrādes, ziņošanas un analīzes iespējas. Tagad, kad operatīvā Hadoop aizvien vairāk kļūst par uzņēmuma datu arhitektūras sastāvdaļu, atšķirība starp entītijām kļūst arvien izplūdušāka. Tātad operatīvā Hadoop kļūst par labāku alternatīvu esošajai uzņēmuma datu arhitektūrai.
Secinājums
Ņemot vērā cerības un progresu, Hadoop ilgu laiku būs nozares uzmanības centrā. Bet ir jēga pārāk nedomāt par Hadoop un vienkārši neņemt vērā citas tehnoloģijas. Tas notiek tāpēc, ka citas tehnoloģijas gūs panākumus pēc vieniem un tiem pašiem parametriem un, iespējams, pat apsteigs Hadoopu. Nekad nav labi, ja tirgū ir monopols. Ir labi, ka citu tehnoloģiju, izņemot Hadoop, veidotājus varētu motivēt piegādāt labākus produktus un pat spraudņus, kas palīdz Hadoop uzlabot tā veiktspēju.