Saturs
- ETL izveido Analytics trūkumus
- ETL pilnveidošana, izmantojot mašīnu apguvi un AI
- Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi
Avots: Pop Nukoonrat / Dreamstime.com
Izņemšana:
Dati ir ļoti svarīgi uzņēmējdarbībai, taču, lai tie būtu noderīgi, šo datu apkopošanā, apstrādē un pasniegšanā nedrīkst būt kļūdas. Mākslīgais intelekts var uzraudzīt ETL procesus, lai pārliecinātos, ka tie nav bez kļūdām.
ETL (izvilkšana, pārveidošana un ielādēšana) ir viens no vissvarīgākajiem procesiem lielo datu analītikā - un vienlaikus tas var būt viens no lielākajiem sašaurinājumiem. (Lai iegūtu vairāk informācijas par lielajiem datiem, apskatiet 5 noderīgus lielo datu kursus, kurus varat apmeklēt tiešsaistē.)
Iemesls, kāpēc ETL ir tik svarīgs, ir tāds, ka vairums datu, ko apkopo bizness, neapstrādātā veidā nav gatavi analītiskajam risinājumam. Lai analītiskais risinājums radītu ieskatu, neapstrādātie dati ir jāiegūst no lietojumprogrammas, kurā tie pašlaik atrodas, jāpārveido tādā formātā, ko analītikas programma var nolasīt, un pēc tam jāielādē pašā analītikas programmā.
Šis process ir analogs vārīšanai. Jūsu izejvielas ir jūsu neapstrādātie dati. Pirms analīzes (nogaršot) tie jānoņem (jāiegādājas veikalā), jāpārveido (jāvāra) un pēc tam jāielādē (jāpārklāj). Grūtības un izdevumi var pieaugt neparedzami - ir viegli pagatavot mac n 'sieru pašam, bet daudz grūtāk ir izveidot gardēžu ēdienkarti 40 cilvēkiem vakariņu ballītē. Lieki piebilst, ka kļūda jebkurā brīdī var padarīt jūsu maltīti nesagremojamu.
ETL izveido Analytics trūkumus
ETL savā ziņā ir analītiskā procesa pamats, taču tam ir arī daži trūkumi. Pirmkārt, tas ir lēns un skaitļošanas ziņā dārgs. Tas nozīmē, ka uzņēmumi analītikai bieži piešķir prioritāti tikai saviem vissvarīgākajiem datiem un pārējo vienkārši uzglabā. Tas veicina faktu, ka līdz 99% no visiem biznesa datiem netiek izmantoti analītiskiem nolūkiem.
Turklāt ETL process nekad nav pārliecināts. Kļūdas ETL procesa laikā var sabojāt jūsu datus. Piemēram, īsa tīkla kļūda var neļaut iegūt datus. Ja jūsu avota datos ir vairāki failu tipi, iespējams, tie tiks pārveidoti nepareizi. Atkritumi, izmetot atkritumus, kā saka - kļūdas ETL procesa laikā gandrīz noteikti izteiksies neprecīzas analīzes izteiksmē.
Bojātam ETL procesam var būt sliktas sekas. Pat labākajā gadījumā jums, iespējams, būs atkārtoti jāvada ETL, kas nozīmē stundu kavēšanos - un pa to laiku jūsu lēmumu pieņēmēji ir nepacietīgi. Sliktākajā gadījumā nepamanāt kļūdainu analīzi, kamēr neesat sācis zaudēt naudu un klientus.
ETL pilnveidošana, izmantojot mašīnu apguvi un AI
Jūs varat un, iespējams, darāt, kādam uzticēt uzraudzīt ETL, taču tas, godīgi sakot, nav tik vienkārši. Nederīgi dati var rasties procesu kļūdu dēļ, kas notiek tik ātri, ka tos nevar pamanīt reālā laikā. Bojāta ETL procesa rezultāti bieži vien neatšķiras no pareizi ielādētiem datiem. Pat tad, ja kļūdas ir acīmredzamas, problēmu, kas radīja kļūdu, var nebūt tik viegli izsekot. (Lai uzzinātu vairāk par datu analīzi, skat. Darba lomu: datu analītiķis.)
Labā ziņa ir tā, ka mašīnas var noķert to, ko cilvēki nespēj. Šie ir tikai daži veidi, kā AI un mašīnmācība var noķert ETL kļūdas, pirms tās pārvēršas par kļūdainu analītiku.
Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi
Jūs nevarat uzlabot savas programmēšanas prasmes, ja nevienam nerūp programmatūras kvalitāte.
1. Atklāt un brīdināt visā ETL metrikā
Pat ja jūsu dati ir nepārtraukti kustīgs attēls, ETL procesam tomēr vajadzētu radīt nemainīgas vērtības ar nemainīgu ātrumu. Kad šīs lietas mainās, tas rada satraukumu. Cilvēki var redzēt lielas datu izmaiņas un atpazīt kļūdas, bet mašīnmācība ātrāk atpazīst smalkākas kļūdas. Mašīnmācīšanās sistēma var piedāvāt reāllaika anomāliju atklāšanu un tieši brīdināt IT departamentu, ļaujot viņiem apturēt procesu un novērst problēmu, neatmetot stundām ilgas skaitļošanas piepūles.
2. Precīzi precīzi sašaurinājumi
Pat ja rezultāti ir precīzi, tie joprojām var parādīties pārāk lēni, lai tos izmantotu. Gartners to saka 80% no atziņām kas iegūti no analītikas, nekad netiks izmantoti naudas vērtības radīšanai, un tas var būt tāpēc, ka uzņēmuma vadītājs nevar savlaicīgi redzēt ieskatu, lai to izmantotu. Mašīnmācība var jums pateikt, kur palēninās jūsu sistēma, un sniegt atbildes - ātrāk iegūstot labākus datus.
3. Kvantificējiet izmaiņu vadības ietekmi
Sistēmas, kas ražo jūsu datus un analīzi, nav statiskas - tās pastāvīgi saņem ielāpus un jauninājumus. Dažreiz tie ietekmē datu iegūšanas vai interpretācijas veidu - noved pie kļūdainiem rezultātiem. Mašīnmācība var atzīmēt mainītos rezultātus un izsekot tos konkrētajā ielāpotajā mašīnā vai lietojumprogrammā.
4. Samaziniet operāciju izmaksas
Nozaudētās analītiskās operācijas ir vienādas ar zaudēto naudu. Laiks, ko pavadāt, izdomājot ne tikai to, kā atrisināt problēmu, bet arī kurš ir atbildīgs problēmas risināšanai ir laiks, kad jūs varētu tērēt ēkas vērtību. Mašīnmācība palīdz nokļūt lietas centrā, brīdinot tikai tās komandas, kuras var būt atbildīgas par reaģēšanu uz noteikta veida negadījumiem, ļaujot pārējam IT departamentam turpināt brīvi veikt galvenās darba funkcijas. Turklāt mašīnmācīšanās palīdzēs novērst viltus pozitīvos rezultātus, samazinot kopējo trauksmju skaitu, vienlaikus palielinot to sniegtās informācijas precizitāti. Trauksmes nogurums ir ļoti reāls, tāpēc šīm izmaiņām būs izmērāma ietekme uz dzīves kvalitāti.
Runājot par uzvaru biznesā, analītikai ir izšķiroša nozīme. Nozīmīgs Bain Capital pētījums rāda, ka uzņēmumiem, kas izmanto analītiku, ir vairāk nekā divreiz lielāka iespēja pārspēt finansiāli. ETL nodrošina panākumu pamatu šajā arēnā, taču kavēšanās un kļūdas var arī novērst analītikas programmas panākumus. Tāpēc mašīnmācīšanās kļūst par nenovērtējamu rīku jebkuras analītikas programmas panākumiem, palīdzot garantēt tīrus datus un precīzus rezultātus.