Izņemšana: Host Rebecca Jozwiak apspriež straumēšanas analītiku ar nozares labākajiem ekspertiem.
Pašlaik neesat pieteicies. Lai redzētu video, lūdzu, pierakstieties vai reģistrējieties.
Rebeka Jozwiak: Dāmas un kungi, sveicināti un laipni gaidīti 2016. gada Hot Technologies! Šodienas nosaukums ir “Firehose izmantošana: biznesa vērtības iegūšana no straumēšanas Analytics”. Tā ir Rebeka Jozvejaka. Es esmu otrais rīks, kas nodrošina interneta apraidi, ja vien mūsu mīļais Ēriks Kavanaghs nevar atrasties šeit, tāpēc ir patīkami redzēt, ka šodien jūs redzat tik daudz no jums.
Šī epizode nedaudz atšķiras no citām. Mēs savulaik runājām par to, kas ir karsts, un, protams, šogad ir karsts. Pēdējie vairāki gadi ir bijuši karsti. Vienmēr parādās jauni materiāli. Šodien mēs runājam par straumēšanas analītiku. Straumēšanas analītika pati par sevi ir sava veida jauns. Protams, straumēšana, centra dati, RFID dati nav obligāti jauni. Bet datu arhitektūras kontekstā mēs gadu desmitiem esam bijuši tik koncentrēti uz miera stāvoklī esošiem datiem. Datu bāzes, failu sistēmas, datu krātuves - tas viss paredzēts galvenokārt sērijveida apstrādei. Bet tagad, mainoties vērtību radīšanai no datu straumēšanas, datu emocijām, daži to sauc par dzīvām straumēm, viņiem tiešām ir nepieciešama uz straumēm balstīta arhitektūra, nevis dati atpūtas arhitektūrās, pie kuriem mēs esam pieraduši, un tam jābūt spējīgam. ātras norīšanas, reāllaika vai gandrīz reālā laika apstrādes process. Tai jāspēj rūpēties ne tikai par lietu internetu, bet visu par internetu.
Protams, ideālā gadījumā būtu jauki, ja divas arhitektūras dzīvotu viena otrai blakus, viena puse mazgātu otru, tā sakot. Lai gan dienu vecajiem, nedēļu vecajiem un gadu vecajiem datiem, protams, joprojām ir vērtība, vēsturiskā analītika, tendenču analīze, tie ir pašreizējie dati, kas mūsdienās virza tiešo izlūkošanu, un tāpēc straumēšanas analītika ir kļuvusi tik svarīga.
Es šodien par to vairāk runāju. Mums ir mūsu datu zinātnieks Dezs Blanšfīlds, kurš zvana no Austrālijas. Šobrīd viņam ir agri no rīta. Mums ir mūsu galvenais analītiķis, Dr Robin Bloor. Mums pievienojas Anands Venugopāls, uzņēmuma Impetus Technologies StreamAnalytix produktu vadītājs. Viņi patiešām ir koncentrējušies uz šīs telpas straumēšanas analītisko aspektu.
Līdz ar to es došos uz priekšu un nodosim to Dezam.
Dez Blanchfield: Paldies. Man šeit jānoķer ekrāna kontrole un jākustas uz priekšu.
Rebeka Jozwiak: Te tev iet.
Dez Blanchfield: Kamēr mēs satveram slaidus uz augšu, ļaujiet man aplūkot tikai galveno tēmu.
Es to uzturēšu diezgan augstā līmenī, un es to izturēšu aptuveni 10 minūtes. Šī ir ļoti liela tēma. Es piedalījos pasākumā, kurā divas līdz trīs dienas mēs pavadījām, iedziļinoties sīkumos par straumju apstrādi un pašreizējiem ietvariem, kurus mēs izstrādājam, un ko vajadzētu nozīmēt analītikas veikšanai šajās liela apjoma straumēs.
Mēs vienkārši noskaidrosim, ko mēs domājam ar straumēšanas analītiku, un pēc tam izpētīsim, vai var iegūt biznesa vērtību, jo tas ir tas, ko uzņēmumi meklē. Viņi vēlas, lai ļaudis viņiem ļoti ātri un kodolīgi izskaidrotu. Kur es varu gūt vērtību, piemērojot kāda veida analītiku mūsu straumes datiem?
Kas ir straumēšanas analītika?
Straumēšanas analītika dod organizācijām iespēju iegūt vērtību no liela apjoma un liela ātruma datiem, kas viņiem nāk ar uzņēmējdarbību dažādās formās. Būtiska atšķirība šeit ir tā, ka mums ir sena analītikas un objektīva izstrādes vēsture, kā arī datu skatījums, ko gadu desmitiem kopš lieldatora izgudrošanas apstrādājam miera stāvoklī. Masveida paradigmas maiņa, ko pēdējos trīs līdz piecos gados mēs esam redzējuši, kā mēs to saucam par “tīmekļa mērogu”, ir piesaiste datu straumēm, kas nonāk mūs reālā laikā vai gandrīz reālā laikā, un ne tikai apstrādā un meklē notikumu korelāciju vai notikumu aktivizētāji, bet šīm straumēm tiek veikta patiešām detalizēta, padziļināta analīze. Tā ir būtiska pāreja uz to, ko mēs līdz šim darījām, proti, vai nu datu vākšana, ievietošana kaut kādā krātuvē, tradicionāli lielās datu bāzēs, lielas datu bāzes, piemēram, Hadoop platforma, un sērijveida apstrādes apstrāde tajā, kā arī datu iegūšana kaut kāds ieskats.
Mēs esam ļoti labi to izdarījuši ļoti ātri un pie daudzām lietām izmēģinājuši daudz smaga dzelzs, tomēr mēs joprojām patiešām tveram datus, tos glabājam un pēc tam skatāmies un iegūstam no tiem kaut kādas atziņas vai analīzi. Pāreja uz šo analītisko datu veikšanu, straumējot datus, ir bijusi ļoti jauna un aizraujoša izaugsmes joma, kas raksturīga lietām, kas notiek ap lielajiem datiem. Tam nepieciešama pilnīgi atšķirīga pieeja, lai tikai tvertu, saglabātu un apstrādātu un veiktu analītiku.
Viens no galvenajiem virzītājiem, kas virza un koncentrējas uz analīzes veikšanu straumē, ir tas, ka jūs varat iegūt ievērojamu biznesa vērtību, gūstot šo ieskatu ātrāk un vieglāk, jo dati jums nonāk, jo informācija tiek padarīta pieejama uzņēmumam. Ideja veikt apstrādi dienas beigās tagad vairs nav aktuāla dažās nozarēs. Mēs vēlamies, lai analītika būtu iespējama lidojumā. Dienas beigās mēs jau zinām, kas ir noticis, kā tas ir noticis, nevis nokļūstam dienas beigās un veicam 24 stundu sērijveida darbu un gūstam šo ieskatu.
Straumēšanas analītika ir saistīta ar pieskaršanos tieši šai straumei, kamēr datu straumes parasti ir vairākas ļoti liela apjoma datu straumes un dati, kas ļoti ātri, ļoti ātri nonāk pie mums, un iegūst ieskatu vai analīzi par šīm straumēm, kad tās nonāk pie mums, nevis atļaut, ka tas iznāk miera stāvoklī, un veikt viņiem analītiku.
Kā es minēju, mums ir gadu desmitiem un gadu desmitiem veikti tas, ko es saucu par partijas analītiku. Es šeit ievietoju ļoti foršu attēlu. Šis ir džentlmeņa attēls, kurš stāv priekšā izsmietam datoram, kuru RAND Corporation bija izveidojusi pirms visa mūža, un tas ir tas, ko viņi apskatīja mājā esošā datora izskatā. Interesanti ir tas, ka pat tad viņiem bija šī visu mazo zvanu koncepcija, un šie zvani atspoguļoja informāciju, kas nāk no mājas un tiek apstrādāta reālā laikā, un stāsta jums par notiekošo. Vienkāršs piemērs ir barometriskā spiediena un temperatūras kopums, kuru mēs varam redzēt, kur mēs redzam, kas notiek reālajā laikā. Bet es iedomājos, ka jau toreiz, kad RAND Corporation salika šo mazo maketu, viņi faktiski jau domāja par datu apstrādi un analīzi par to, kā tas nāk straumes formātā. Es neesmu pilnīgi pārliecināts, kāpēc viņi ieliek stūres ratu pie datora, bet tas ir diezgan forši.
Kopš er izgudrošanas mēs esam domājuši iegūt datus un veikt tiem sērijveida analīzi. Kā es jau teicu ar lielo maiņu un mēs to esam redzējuši no patīk visiem tīmekļa mēroga spēlētājiem, kurus mēs visi zinām, viņi visi ir mājsaimniecības zīmoli, piemēram, un LinkedIn, ka interaktīvai uzvedībai, kāda mums ir ar šīm sociālajām platformām, nepieciešama ne tikai uztveršanu, glabāšanu un pēc tam apstrādi pakešrežīmā, bet viņi faktiski arī uztver un virza analītiku, lidojot cauri datu straumēm. Kad es kaut ko sūtīt Tweet, viņiem ne tikai jāfiksē un jāsaglabā un jādara kaut kas vēlāk, bet arī jāspēj to tūlīt ievietot atpakaļ manā straumē un dalīties tajā ar citiem cilvēkiem, kuri man seko. Tas ir partijas apstrādes modelis.
Kāpēc mēs ejam pa šo ceļu? Kāpēc organizācijas ieguldītu laiku, pūles un naudu, pat apsverot izaicinājumu censties panākt straumju analīzes ceļu? Organizācijām ir šī milzīgā vēlme iegūt ieguvumus no konkurentiem tajās nozarēs, kurās viņi darbojas, un ka veiktspējas uzlabojumus var ātri ieviest, izmantojot vienkāršu straumju analīzi, un tas var sākties ar vienkāršu, tikai sekošanu reāllaika datiem, kurus mēs jau esam pazīstams ar. Es tur ieguvu nelielu Google Analytics ekrānuzņēmumu. Iespējams, ka šī ir viena no pirmajām reizēm, kad mēs patiešām esam ieguvuši praktisku patērētāju līmeņa analīzi. Tā kā cilvēki apmeklēja jūsu vietni un jūs saņemat šo trāpījumu skaitu ar nelielu JavaScript lapas daļu HTML lapas apakšā HTML, kas iegulta jūsu vietnē, šie mazie kodi tika izveidoti reāllaikā atpakaļ Google un tie tika veicot analītiku tām datu plūsmām, kas ienāk no katras jūsu vietnes lapas, katra jūsu vietnes objekta reāllaikā, un viņi jums to atgriež atpakaļ šajā patiešām mīļajā mazajā tīmekļa vietnē reāllaika diagrammas informācijas panelī, jaukās mazās histogrammās un rindiņā. diagramma, kurā parādīts X to cilvēku skaits, kuri vēsturiski ir nokļuvuši jūsu lapā, bet šeit ir redzams, cik šobrīd ir.
Kā redzat šajā ekrānuzņēmumā, tas šobrīd saka 25. Šobrīd ekrānuzņēmuma laikā šajā lapā bija 25 cilvēki. Šī ir pirmā reālā iespēja, ko mēs spēlējām patērētāja līmeņa analītikas rīkā. Es domāju, ka daudzi cilvēki to patiešām ieguva. Viņi vienkārši saprata spēku zināt, kas notiek un kā viņi var uz to reaģēt. Ja mēs domājam par aviācijas nozares mērogu, lidmašīnām, kas lido apkārt, tikai ASV vien ir 18 700 iekšzemes lidojumu dienā. Es pirms kāda laika lasīju rakstu - tas bija apmēram pirms sešiem vai septiņiem gadiem -, ka datu apjoms, ko ražo šie lidaparāti, bija aptuveni 200 līdz 300 megabaiti vecajā inženiertehniskajā modelī. Mūsdienu lidmašīnu projektos šie gaisa kuģi vienā lidojumā rada aptuveni 500 gigabaitu datu vai apmēram pusi terabaitu datu.
Kad jūs matemātiku veicat ļoti ātri no galvas, ka 18 700 iekšzemes lidojumu ik pēc 24 stundām notiek tikai ASV gaisa telpā, ja visas mūsdienu lidmašīnas ražo apmēram pusi terabaitu, tas ir no 43 līdz 44 petatatiem datu, kas nāk caur un tas notiek, kamēr lidmašīnas ir gaisā. Tas notiek, kad viņi nolaižas un izdara datus. Kad viņi ieiet veikalā, un viņiem ir pilns inženieru komandu datu klāsts, lai apskatītu, kas notiek gultņos, riteņos un dzinēju iekšpusē. Daži no šiem datiem ir jāapstrādā reālā laikā, lai viņi varētu pieņemt lēmumus par reālu problēmu, kamēr lidmašīna bija gaisā vai kamēr tā atrodas uz zemes. To vienkārši nevar izdarīt partijas režīmā. Citās nozarēs, kuras mēs redzam finanšu, veselības, ražošanas un inženierzinātņu jomā, viņi arī aplūko, kā viņi var gūt šo jauno ieskatu par to, kas notiek reālajā laikā, nevis to, kas tikai tiek glabāts datu bāzēs jēdziens.
Pastāv arī šī koncepcija, kas attiecas uz datiem kā to, ko es saucu par ātri bojājošu preci vai ātri bojājošu preci - laika gaitā liela daļa datu zaudē vērtību. Tas arvien vairāk notiek ar mobilitātes lietotnēm un sociālo mediju rīkiem, jo tas, ko cilvēki saka, un tas, kas šobrīd veido tendenci, ir tas, uz ko jūs vēlaties reaģēt. Kad jūs domājat par citām mūsu dzīves jomām ar loģistiku un pārtikas piegādi, mēs saprotam ātri bojājošās preces jēdzienu. Bet padomājiet par datiem, kas tiek izmantoti jūsu organizācijā, un to vērtībai. Ja kāds šobrīd ar jums nodarbojas ar biznesu un jūs ar viņiem varat mijiedarboties reālā laikā, jūs nevēlaties gaidīt stundu, lai datus varētu notvert un ievietot sistēmā, piemēram, Hadoop, un pēc tam nospiest šo pogu, jūs šobrīd nevarēs tikt ar to galā, un jūs vēlaties to izdarīt nekavējoties pēc klienta pieprasījuma. Ir tāds termins, kuru jūs tagad redzēsit daudz uznirstošā vietā, kad cilvēki runā par to, ka ir šī reāllaika datu straume, kas var dot jums personalizāciju, un šī personalizēšana sistēmā, kuru izmantojat, tiek pielāgota jūsu personīgajai pieredzei. Tātad, kad jūs nospiedat tādu rīku kā, piemēram, Google meklēšanas rīks, ja es veicu vaicājumu un jūs veicat to pašu vaicājumu, vienmēr mēs nesaņemam precīzus datus. Būtībā mēs iegūstam to, ko es dēvēju par slavenību pieredzi. Mani ārstē ar vienreizēju attieksmi. Es saņemu savu personīgo versiju par to, kas notiek šajās sistēmās, pamatojoties uz profiliem un datiem, ko viņi ir apkopojuši par mani, un es varēju veikt analītiku reāllaikā straumē.
Šī ideja par to, ka dati ir ātri bojājoša prece, šobrīd ir reāla lieta, un datu vērtība, kas laika gaitā samazinās, ir kaut kas tāds, kas mums šodien jārisina. Tā nav vakardienas lieta. Man patīk šis attēls, kurā lācis satver lasi, kurš lec no upes, jo tas tiešām glezno tieši to, ko redzu straumēšanas analītikā. Tā ir šī milzīgā datu upe, kas nonāk pie mums, ja jums ir ugunsdzēsības šļūtene, un lācis sēž līča vidū. Tas veiks reāllaika analīzi par to, kas notiek ap to, lai tas faktiski varētu pārveidot savas iespējas notvert šīs zivis gaisā. Tas nav tāpat kā vienkārši iegremdēties straumē un satvert to. Šī lieta lēkā gaisā, un, lai noķertu šīs zivis, tai jābūt pareizajā laikā pareizajā vietā. Pretējā gadījumā viņš nesaņem brokastis vai pusdienas.
Organizācija vēlas rīkoties tāpat ar saviem datiem. Viņi vēlas iegūt vērtību no pašreiz notiekošā apjomīgā datu apjoma. Viņi vēlas veikt šo datu un liela ātruma datu analīzi, tāpēc tas nav tikai datu daudzums, kas nāk pie mums, bet tas ir arī ātrums, kādā tas nāk no šī. Piemēram, drošībā tas ir visi jūsu maršrutētāji, slēdži, serveri, ugunsmūri un visi notikumi, kas nāk no tiem, un desmitiem tūkstošu, ja ne simtiem tūkstošu ierīču, dažos gadījumos tie ir ātri bojājoši dati. Kad mēs domājam par to lietu internetā un rūpnieciskajā internetā, mēs runājam par miljoniem, ja pat nevis miljardiem sensoru, un, tā kā dati nāk caur tiem, kas veic analītiku, mēs tagad domājam veikt sarežģītus notikumus. tādā apjomā un ātrumā, kādu mēs vēl nekad neesam redzējuši, un mums tas jārisina šodien. Ap to mums jāveido instrumenti un sistēmas. Tas ir īsts izaicinājums organizācijām, jo, no vienas puses, mums ir ļoti lieli zīmoli, kas nodarbojas ar paštaisītu darbu, paši to cep, kad viņiem ir iespējas to izdarīt, prasmju kopums un inženierzinātnes. Bet vidējai organizācijai tas tā nav. Viņiem nav prasmju komplekta. Viņiem nav ne laika, ne laika, ne pat naudas, lai ieguldītu naudas izdomāšanā. Viņu visu mērķis ir šī gandrīz reālā laika lēmumu pieņemšanas koncepcija.
Izmantojiet gadījumus, ar kuriem esmu saskāries, un tie ir sastopami katrā plašajā spektrā katrā nozarē, ko jūs varat iedomāties. Cilvēki sēž un pievērš uzmanību un saka: kā mēs mūsu straumes datiem izmantojam kādu analītiku? Mēs runājam par tīmekļa mēroga tiešsaistes pakalpojumiem. Pastāv tradicionālās sociālo mediju platformas, kā arī tiešsaistes e-veikšana un mazumtirdzniecība - piemēram, lietotnes. Viņi visi cenšas mums sniegt šo reāllaika slavenību pieredzi. Bet, kad mēs iedziļināmies vairākos tehnoloģiju kaudzes pakalpojumos, telefona pakalpojumos, balss un video, es redzu, kā cilvēki staigā pa tālruni, izmantojot FaceTime. Tas vienkārši eksplodē. Tas apbēdina manu prātu, ka cilvēki tur tālruni priekšā un sarunājas ar drauga video straumi, nevis vairs tur to pie auss. Bet viņi zina, ka var to izdarīt, un viņi pielāgojās, un viņiem šī pieredze patika. Attīstot šīs lietojumprogrammas un platformas, kas tās piegādā, ir jāveic reāllaika analīze uz šo trafiku un trafika profiliem, lai viņi varētu veikt vienkāršas darbības, piemēram, perfekti novirzīt šo video, lai balss kvalitāte jūsu saņemtais video ir piemērots, lai iegūtu labu pieredzi. Jūs nevarat sērijveidā apstrādāt šāda veida datus. Tas nepadara reāllaika video straumi par funkcionālu pakalpojumu.
Finanšu darījumos ir jāpārvalda izaicinājums. Nav pareizi nokļūt dienas beigās un uzzināt, ka esat pārkāpis likumu, pārvietojot privātus datus ap vietu. Austrālijā mums ir ļoti interesants izaicinājums, kurā ar privātumu saistītu datu pārvietošana uz jūru ir nē. Jūs nevarat ņemt manu PID, manus privātās personas identifikācijas datus ārzonā. Austrālijā ir likumi, kas to novērš. Jo īpaši finanšu pakalpojumu sniedzējiem, valdības dienestiem un aģentūrām, viņiem ir jāveic reāllaika analīze, izmantojot manas datu plūsmas un instrukcijas, lai pārliecinātos, ka tas, ko viņi man sniedz, neatstāj krastus. Visām lietām jāpaliek uz vietas. Viņiem tas jādara reāllaikā. Viņi nevar pārkāpt likumu un vēlāk lūgt piedošanu. Krāpšanās atklāšana - tas ir diezgan acīmredzams, par kuru mēs dzirdam darījumos ar kredītkartēm. Bet tā kā darījumu veidi, kurus mēs veicam finanšu pakalpojumu jomā, mainās ļoti, ļoti strauji, ir tāda veida lietas, kuras PayPal vispirms veic, atklājot krāpšanu reālā laikā, kad nauda nepārvietojas no vienas lietas uz otru, bet tā ir finanšu darījums starp sistēmām. Ebay solīšanas platformas, krāpšanas atklāšana ir jāveic reāllaikā straumēšanas birojā.
Tagad ir tendence veikt ieguvi un pārveidot slodzes aktivitātes straumēs, tāpēc mēs nevēlamies tvert kaut ko, kas notiek straumē. To mēs īsti nevaram izdarīt. Cilvēki ir iemācījušies, ka, ja visu uztveram, dati ļoti ātri tiek sadalīti. Triks tagad ir veikt analītiku šīm straumēm un veikt ETL ar to un vienkārši notvert nepieciešamo, iespējams, metadatus, un pēc tam vadīt prognozējošo analītiku, kur mēs patiesībā varam, tad pastāstīt, kas notiks, mazliet tālāk pa ceļam uz to, ko mēs mēs tikko esam redzējuši straumē, pamatojoties uz analīzi, kuru mēs tam veicām.
Enerģijas un komunālo pakalpojumu sniedzēji izjūt šo milzīgo patērētāju vēlmi pēc pieprasījuma noteikšanas. Es varētu nolemt, ka es gribu iegādāties zaļo enerģiju vienā noteiktā diennakts laikā, jo es esmu tikai mājās vienatnē un es nelietoju daudz ierīču. Bet, ja man ir vakariņas, es varētu vēlēties, lai visas manas ierīces būtu ieslēgtas, un es nevēlos pirkt lētu enerģiju un gaidīt, kamēr tā tiks piegādāta, bet esmu gatavs maksāt par lielākām izmaksām, lai šo jaudu iegūtu. Šī pieprasījuma noteikšana, jo īpaši komunālo pakalpojumu un enerģijas jomā, jau ir notikusi. Piemēram, Uber ir klasisks piemērs lietām, kuras varat darīt katru dienu, un to visu veicina pieprasījuma noteikšana. Ir daži klasiski piemēri, kā cilvēki Austrālijā saņem 10 000 USD biļetes, jo Vecgada vakarā ir milzīgs pieprasījums. Es esmu pārliecināts, ka viņi ir risinājuši šo problēmu, bet straumēšanas analīze tiek veikta reālā laikā, atrodoties automašīnā, sakot, cik man jāmaksā.
Lietiskais internets un sensoru plūsmas - mēs tikai nupat esam to noskrambājuši un patiesībā tikko notika pamata saruna, bet mēs redzēsim interesantu pārmaiņu to, kā tehnoloģija to risina, jo, kad jūs runājat nevis gandrīz tūkstošiem vai desmitiem tūkstošu, bet simtiem tūkstošu un potenciāli miljardu ierīču, kas straumē jums, gandrīz neviens no tehnoloģiju krājumiem, kas mums tagad ir, nav paredzēts, lai ar to tiktu galā.
Ir dažas ļoti aktuālas tēmas, kuras mēs redzēsim visur, piemēram, drošība un kiberuzdevumi. Tie mums ir ļoti reāli izaicinājumi. Tīmeklī ir patiešām glīts rīks ar nosaukumu North, kurā varat sēdēt un skatīties tīmekļa vietnē dažādas kiberuzbrukumus, kas notiek reālā laikā. Apskatot to, jūs domājat, ka “ak, tā ir jauka, mīlīga, maza vietne”, bet pēc apmēram piecām minūtēm tajā tu saproti, cik liels ir datu apjoms, ko sistēma analizē visās dažādās ierīcēs visā pasaulē. kas viņos tiek padoti. Sāk domāt par to, kā viņi to izpilda pēc šī ieraksta malas, un sniedzot jums šo vienkāršo mazo ekrānu, kas jums norāda, kam vai kas cits tam uzbrūk reāllaikā un kāda veida uzbrukumiem. Bet tas ir patiešām glīts, neliels veids, kā vienkārši iegūt labu garšu tam, ko straumju analītika var reāli paveikt jūsu labā, vienkārši skatoties šo lapu un izprotot tikai straumju apjomu un izaicinājumu, apstrādājot analītikas vaicājumus vietnē tos un reprezentējot to reālajā laikā.
Es domāju, ka saruna, kas man ir atlikušajā sesijas daļā, attieksies uz visiem šiem lietu veidiem ar vienu interesantu skatu no mana skatpunkta, un tas ir DIY izaicinājums - cept to pats, kas ir piemērots dažiem no klasiski vienradzi, kuri var atļauties veidot šāda veida lietas. Viņi ir ieguvuši miljardiem dolāru, lai izveidotu šīs inženieru komandas un izveidotu savus datu centrus. Bet 99,9% organizāciju, kas darbojas straumju analītikā, vēlas iegūt vērtību savā biznesā, viņiem ir jāiegūst parastais pakalpojums. Viņiem ir jāiegādājas produkts bez komplekta, un parasti viņiem ir vajadzīgs kāds konsultāciju un profesionāls serviss, kas palīdzētu viņiem to ieviest, un viņi iegūst šo vērtību atpakaļ biznesā un pārdod to atpakaļ uzņēmumam kā funkcionējošu risinājumu.
Ar to es došos atpakaļ pie jums, Rebeka, jo es uzskatu, ka tas ir tas, ko mēs tagad gatavojamies izskatīt sīkāk.
Rebeka Jozwiak: Lieliski. Liels paldies, Dez. Tā ir lieliska prezentācija.
Tagad es nodošu bumbu Robinam. Ņem to prom.
Robins Bloors: Labi. Tā kā Dez ir nonācis ļoti netiešajā straumju apstrādes procesā, man šķita, ka nav jēgas to pārklāt. Tāpēc es ņemšu tikai pilnīgi stratēģisku skatu.Skatoties gandrīz no ļoti augsta līmeņa uz notiekošo un pozicionējot to, jo, manuprāt, tas varētu palīdzēt cilvēkiem, īpaši mums, cilvēkiem, kuri iepriekš nav ieradušies straumju apstrādē lielā dziļumā.
Straumju apstrāde notiek jau ilgu laiku. Kādreiz to sauca par CEP. Pirms tam bija reālā laika sistēmas. Oriģinālās procesa vadības sistēmas faktiski apstrādāja informācijas plūsmas - protams, nekas nenotika tik tālu, kā mūsdienās. Šis grafiks, kuru redzat šeit esošajā slaidā; tas norāda uz daudzām lietām patiesībā, bet norāda arī pāri visam un ne tikai uz to - faktu, ka šeit ir latentu spektrs, kas dažādās krāsās parādās dažādās krāsās. Faktiski kopš skaitļošanas vai komerciālās skaitļošanas izgudrošanas, kas radās tieši ap 1960. gadu, ir tas, ka viss ir tikai kļuvis arvien ātrāks. Mēs kādreiz varējām būt atkarīgi no tā, kā tas patiesībā iznāca, ja jums patīk viļņos, jo tieši tā tas izskatās. Tas faktiski ir atkarīgs no tā. Tā kā to visu virzīja Mūra likumi un Mūra likumi piešķirs mums koeficientu, kas aptuveni desmit reizes pārsniedz ātrumu aptuveni sešu gadu laikā. Tad, kad mēs faktiski nokļuvām aptuveni 2013. gadā, tas viss izjuka, un mēs pēkšņi sākām paātrināties tādā ātrumā, kāda mēs nekad neesam, kas ir savādi nepieredzēts. Apmēram ik pēc sešiem gadiem mēs saņēmām koeficientu aptuveni desmit, ņemot vērā ātruma pieaugumu un tādējādi samazinātu latentumu. Sešu gadu laikā kopš aptuveni 2010. gada mums ir vismaz tūkstošdaļu kopu. Trīs lieluma pakāpes, nevis viena.
Tas ir tas, kas notiek, un tāpēc rūpniecība vienā vai otrā veidā, šķiet, pārvietojas fantastiskā ātrumā - jo tā ir. Tikai izprotot šī grafika nozīmi, reakcijas laiki patiesībā ir algoritmiskā mērogā pa vertikālo asi. Reālais laiks ir datora ātrums, ātrāks nekā cilvēkiem. Interaktīvie laiki ir oranži. Tas ir tad, kad jūs mijiedarbojaties ar datoru, kur jūs patiešām vēlaties no desmitās līdz apmēram vienai latentuma sekundei. Iepriekš ir darījums, kurā mēs faktiski domājam par to, ko jūs darāt datorā, bet, ja tas izdziest apmēram piecpadsmit sekunžu laikā, tas kļūst neciešams. Cilvēki patiesībā vienkārši negaidīs datoru. Viss tika darīts partijās. Daudzas lietas, kas tika veiktas partijās, tagad nonāk tieši darījumu telpā, interaktīvajā telpā vai pat reālā laika telpā. Lai gan iepriekš viļņveidīgs ar ļoti nelielu datu daudzumu mēs to varētu izdarīt, tagad mēs varam darīt ar ļoti lielu datu daudzumu, izmantojot ļoti izlīdzinātu vidi.
Tātad būtībā visi šie teicieni tiešām ir darījumu un interaktīvo cilvēku reakcijas laiki. Šausmīgi daudz to, kas šobrīd tiek darīts ar straumēm, ir informēt cilvēkus par lietām. Daļa no tā notiek ātrāk, kā arī labi informē lietas, tāpēc tas ir reāllaikā. Tad mēs paņemam licenci vienkārši nomest kā akmeni, padarot tūlītēju analīzi iespējamu un, starp citu, diezgan pieņemamu. Tas ir ne tikai ātruma samazinājums, bet arī augšdaļa ir sabrukusi. Droši vien vislielākā ietekme uz visiem šiem starp visiem dažādajiem lietojumiem, jūs varat veikt visus šos paredzamos analītiskos datus. Es jums pateikšu, kāpēc pēc minūtes.
Tas ir tikai datortehnikas veikals. Jums ir paralēla programmatūra. Mēs runājam par 2004. gadu. Izmēru samazināšanas arhitektūra, daudzkodolu mikroshēmas, atmiņas palielināšana, konfigurējams centrālais procesors. SSD tagad iet tik daudz ātrāk nekā vērpšanas disks. Jūs varat diezgan daudz atvadīties no diska vērpšanas diska. SSD ir arī vairākos kodolos, tāpēc atkal ātrāk un ātrāk. Drīz parādīsies, mēs esam ieguvuši memristoru no HP. Mēs esam ieguvuši 3D XPoint no Intel un Micron. To solījums ir tāds, ka tas tik un tā ļaus visam notikt ātrāk un ātrāk. Kad patiesībā domājat par divām jaunām atmiņas tehnoloģijām, no kurām abas padarīs visu mazo, katrs atsevišķais shēmas plates paātrinājums, mēs pat to neredzējām.
Straumēšanas tehnoloģija, kas patiešām ir nākamā, ir šeit, lai paliktu. Būs vajadzīga jauna arhitektūra. Es domāju, ka Dez jau savā prezentācijā to ir pieminējis vairākos punktos. Gadu desmitiem mēs arhitektūru uzskatījām par datu kaudzes un datu cauruļu kombināciju. Mums bija tendence apstrādāt kaudzes, un mums bija tendence pīpēt datus starp kaudzēm. Tagad mēs principiāli virzāmies uz tā saucamo Lambda datu arhitektūru, kas apvieno datu plūsmu apstrādi ar datu kaudzēm. Kad jūs faktiski apstrādājat notikumu straumi, kas nonāk pret vēsturiskajiem datiem, kā datu plūsmu vai datu kaudzi, to es domāju ar Lambda arhitektūru. Tas ir sākumstadijā. Tā ir tikai daļa no attēla. Ja jūs uzskatāt kaut ko tik sarežģītu kā Internets par visu, ko arī ir pieminējis Dez, jūs patiesībā sapratīsit, ka ir visdažādākie datu atrašanās vietas jautājumi - lēmumi par to, kas jums jāapstrādā straumē.
Lieta, ko es šeit patiešām saku, ir tāda, ka, apstrādājot paketi, mēs faktiski apstrādājām straumes. Mēs to vienkārši nevarējām izdarīt vienlaicīgi. Mēs tikai gaidām, kamēr būs liels daudzums kaudzes lietu, un pēc tam visu apstrādājam uzreiz. Mēs pārejam pie situācijas, kurā mēs faktiski varam apstrādāt straumē esošos materiālus. Ja mēs varam apstrādāt straumē esošos materiālus, tad mūsu rīcībā esošie datu kaudzes būs statiskie dati, uz kuriem mums jāatsaucas, lai apstrādātu straumē esošos datus.
Tas mūs ved pie šīs konkrētās lietas. Es to esmu pieminējis iepriekš kādā prezentācijā ar bioloģisko analoģiju. Tas, kā es vēlētos, lai jūs domājat, ir tas, kurā mēs esam cilvēki. Mums ir trīs atšķirīgi tīkli reālā laika paredzamai apstrādei. Tos sauc par somatiskajiem, autonomajiem un enterālajiem. Enteriskais ir jūsu kuņģis. Autonomā nervu sistēma rūpējas par cīņu un lidojumiem. Tas faktiski rūpējas par ātru reakciju uz vidi. Somatiskais, kas rūpējas par ķermeņa pārvietošanos. Tās ir reālā laika sistēmas. Interesanta lieta - vai es domāju, ka ir sava veida interesanta - ir liela daļa no tām, kas paredz vairāk, nekā jūs varētu iedomāties. Tas ir tā, it kā jūs faktiski skatu ekrānu aptuveni 18 collu attālumā no jūsu sejas. Viss, ko jūs varat skaidri redzēt, viss, ko jūsu ķermenis spēj skaidri redzēt, faktiski ir apmēram 8 × 10 taisnstūris. Viss, kas atrodas ārpus tā, patiesībā ir neskaidrs, ciktāl tas attiecas uz jūsu ķermeni, bet jūsu prāts faktiski aizpilda nepilnības un padara to neskaidru. Jūs vispār neredzat izplūšanu. Jūs to skaidri redzat. Jūsu prāts faktiski izmanto jutīgo datu plūsmas metodi, lai jūs varētu redzēt šo skaidrību. Tā ir ziņkārīga lieta, taču jūs faktiski varat apskatīt nervu sistēmas darbību un veidu, kādā mums izdodas apiet apkārt un izturēties saprātīgi - vismaz daži no mums - saprātīgi un nemudinot visu laiku.
To visu šeit veic virkne neironu analītikas skalas. Kas notiks, organizācijām būs tāda paša veida lietas un tās tiks veidotas tāpat, un tā būs straumju, ieskaitot organizācijas iekšējās plūsmas, apstrāde - lietas, kas notiek tas, lietas, kas notiek ārpus tā, tūlītējās atbildes, kas faktiski ir jāveic, protams, baro cilvēku, lai viņš pieņemtu lēmumus, lai tie visi notiktu. Cik es redzu, mēs ejam uz turieni.
Viena no šīm lietām ir straumēšanas programmas līmenis. Būs daudz vairāk, nekā mēs redzam tagad. Pašlaik mēs novācamies zemu nokareno augļu dēļ, darot acīmredzamas lietas.
Tātad tas ir secinājums šeit. Straumēšanas analītika reiz ir niša, bet tā kļūst par vispārpieņemtu, un drīz tā tiks pieņemta vispārīgi.
Ar to es to nodošu atpakaļ Rebekai.
Rebeka Jozwiak: Liels paldies, Robin. Lieliska prezentācija kā parasti.
Anand, tu esi nākamais. Stāvs ir tavs.
Anand Venugopal: Fantastiski. Paldies.
Mans vārds ir Anand Venugopal, un es esmu StreamAnalytix produktu vadītājs. Tas ir produkts, ko piedāvā Impetus Technologies no Los Gatos, Kalifornijā.
Impetus ir bijusi ļoti liela vēsture, kad tā ir liela datu risinājumu sniedzēja lieliem uzņēmumiem. Tāpēc mēs faktiski esam paveikuši vairākas straumēšanas analītikas ieviešanas kā pakalpojumu uzņēmums un mēs esam iemācījušies daudz mācību. Pēdējo pāris gadu laikā mēs arī pārgājām uz produktu un risinājumu virzītu uzņēmumu, un straumes analītika ir atbildīga par Impetus pārveidošanu lielā mērā uz produktu orientētu uzņēmumu. Ir daži kritiski, ļoti, ļoti svarīgi aktīvi, kurus Impetus atbrīvo, pateicoties mūsu iedarbībai uz uzņēmumiem, un StreamAnalytix ir viens no tiem.
Mums ir 20 gadi biznesā, un ir liels produktu un pakalpojumu klāsts, kas mums padara milzīgas priekšrocības. Un StreamAnalytix radās no visām mācībām, kas gūtas no mūsu pirmajiem pieciem vai sešiem straumēšanas ieviešanas variantiem.
Es apskatīšu dažas lietas, bet analītiķi Dezs un Robins ir paveikuši fantastisku darbu, aptverot kopējo telpu, tāpēc es izlaidīšu daudz satura, kas pārklājas. Es droši vien došos ātri. Bez patiesiem straumēšanas gadījumiem mēs redzam tikai daudz partijas paātrinājumu, ja uzņēmumos burtiski ir ļoti, ļoti svarīgi pakešproces. Kā redzat, viss šis notikuma uztveršanas, tā analīzes un darbības cikls patiesībā varētu ilgt nedēļas lielos uzņēmumos, un viņi visi mēģina to samazināt līdz minūtēm un dažreiz sekundēm un milisekundēm. Tātad jebkurš ātrāks par visiem šiem pakešprocesiem ir uzņēmējdarbības iegūšanas kandidāts, un tas ļoti labi nozīmē, ka datu vērtība dramatiski samazinās līdz ar tā vecumu, tāpēc jo lielāka vērtība sākotnējā daļā ir sekundēs, jo tas tikko notika. Ideālā gadījumā, ja jūs varētu paredzēt, kas notiks, tā ir visaugstākā vērtība. Tomēr tas ir atkarīgs no precizitātes. Nākamā augstākā vērtība ir tad, kad tas atrodas turpat, kad tas notiek, jūs varat to analizēt un atbildēt. Protams, pēc tam šī vērtība dramatiski samazinās - galvenais ierobežojošais BI, kurā mēs atrodamies.
Tas ir interesanti. Jūs varētu gaidīt dramatiski zinātnisku atbildi uz to, kāpēc straumēt analītiku. Daudzos gadījumos tas, ko mēs redzam, ir tāpēc, ka tas tagad ir iespējams un tāpēc, ka visi zina, ka partija ir veca, partija ir garlaicīga un partija nav forša. Tagad visiem ir pietiekami daudz izglītības, ka straumēšana ir iespējama, un visiem tagad ir Hadoop. Tagad Hadoop izplatījumos ir iestrādāta straumēšanas tehnoloģija neatkarīgi no tā, vai tā ir Storm vai Spark straumēšana un, protams, rindas, piemēram, Kafka utt.
Uzņēmumi, kurus mēs redzam, sāk tajā iesaistīties un sāk eksperimentēt ar šiem gadījumiem, un mēs redzam divas plašas kategorijas. Vienam ir kaut kas saistīts ar klientu analītiku un klientu pieredzi, un otrajam - operatīvajai informācijai. Nedaudz vēlāk es iedziļināšos dažās detaļās. Viss klientu apkalpošanas un klientu pieredzes leņķis, un mēs, Impetus StreamAnalytix, esam to paveikuši daudzos dažādos veidos, patiesībā ir viss patiesībā, patiesi tverot patērētāja daudzkanālu iesaisti reālā laikā un sniedzot viņam ļoti, ļoti jutīgu pieredzi kas mūsdienās nav izplatīti. Ja pārlūkojat tīmeklī, Bank of America vietnē un jūs pētījāt dažus produktus, un jūs vienkārši zvanāt uz zvanu centru. Vai viņi teiktu: “Hei Joe, es zinu, ka jūs pētāt dažus banku produktus, vai jūs vēlētos, lai es jūs aizpildītu?” Jūs to negaidāt šodien, taču šāda veida pieredze ir patiešām iespējama, izmantojot straumēšanas analītiku. Daudzos gadījumos tas rada milzīgas atšķirības, it īpaši, ja klients sāka meklēt veidus, kā atbrīvoties no līguma ar jums, meklējot pirmstermiņa pārtraukšanas noteikumus vai priekšlaicīgas pārtraukšanas noteikumus un nosacījumus jūsu vietnē un pēc tam piezvanot, un jūs varat neņemt vērā tieši konfrontējiet viņus ar to, bet tieši netieši iesniedziet piedāvājumu par kāda veida pirmo paaugstināšanu, jo sistēma zina, ka šī persona meklē pirmstermiņa izbeigšanu, un jūs tajā brīdī iesniedzat šo piedāvājumu, jūs ļoti labi varētu pasargāt šo krāpniecisko klientu un aizsargāt šo aktīvu .
Tas būtu viens piemērs, kā arī ļoti daudz klientu apkalpošanas ir ļoti labi piemēri. Mēs šodien to īstenojam, samazinot izmaksas zvanu centrā, kā arī nodrošinot dramatisku un apburošu klientu pieredzi. Dezs paveica lielisku darbu, apkopojot dažus lietošanas gadījumus. Jūs varat skatīties šajā diagrammā pāris minūtes. Es klasificēju to kā vertikāli, horizontāli un kombinētos apgabalus, IoT, mobilo lietotni un zvanu centru. Tie visi ir vertikāli un horizontāli. Tas ir atkarīgs no tā, kā jūs uz to skatāties. Grunts līnija: mēs redzam daudz horizontālu lietojumu, kas ir diezgan izplatīti dažādās nozares vertikālēs, un ir arī vertikāli specifiski lietošanas gadījumi, ieskaitot finanšu pakalpojumus, veselības aprūpi, telekomunikāciju, ražošanu utt. Ja jūs patiešām uzdodat sev jautājumu vai sakāt sev ka “ak, es nezinu, kādi ir lietošanas gadījumi. Es neesmu pārliecināts, vai mana uzņēmuma vai mūsu uzņēmuma straumēšanas analītikā tiešām ir kāda biznesa vērtība, ”padomājiet, padomājiet divreiz. Runājiet ar vairāk cilvēkiem, jo ir gadījumi, kas jūsu uzņēmumā ir aktuāli šodien. Es iedziļināšos biznesa vērtībā pēc tā, kā tieši tiek iegūta uzņēmuma vērtība.
Šeit esošās piramīdas apakšā ir paredzamā apkope, drošība, aizsardzība pret krāpšanos utt. Šādi lietošanas gadījumi ir ieņēmumu un aktīvu aizsardzība. Ja Target aizsargātu viņu drošības pārkāpumus, kas notika stundu un nedēļu laikā, CIO būtu varējis ietaupīt viņa darbu. Tas varētu ietaupīt desmitiem vai simtiem miljonu dolāru utt. Reāllaika straumēšanas analīze patiešām palīdz aizsargāt šos aktīvus un pasargāt zaudējumus. Tā ir tieša biznesa pievienotā vērtība tieši tur.
Nākamā kategorija kļūst rentablāka, samazinot izmaksas un gūstot lielākus ieņēmumus no pašreizējās darbības. Tā ir pašreizējā uzņēmuma efektivitāte. Tās ir visas lietošanas gadījumu kategorijas, kuras mēs saucam par reālā laika operatīvajām izlūkdatēm, kur jūs gūstat dziļu ieskatu par to, kā darbojas tīkls, kā darbojas jūsu klientu operācijas, kā darbojas jūsu biznesa process un kā jūs varat iekniebt. Tas viss notiek reālā laikā, jo jūs saņemat atsauksmes, jūs saņemat brīdinājumus. Jūs saņemat novirzes, atšķirības reālā laikā un varat ātri rīkoties un atdalīt procesu, kas pārsniedz robežas.
Jūs, iespējams, varētu ietaupīt daudz naudas arī dārgos kapitāla uzlabojumos un lietās, kuras, jūsuprāt, ir vajadzīgas, kuras var nebūt vajadzīgas, ja esat optimizējis tīkla pakalpojumu. Mēs dzirdējām par gadījumu, kad galvenais telco atlika sava tīkla infrastruktūras jaunināšanu par 40 miljoniem USD, jo viņi atklāja, ka viņiem ir pietiekami daudz kapacitātes, lai pārvaldītu pašreizējo trafiku, tas ir, optimizējot un labāk veicot viņu trafika un tamlīdzīgu lietu viedo maršrutēšanu. Tas viss ir iespējams tikai ar noteiktu reāllaika analīzi un darbības mehānismu, kas reaģē uz šīm atziņām reāllaikā.
Nākamais pievienotās vērtības līmenis ir augšuppārdošana, pārpārdošana, kur ir iespējas gūt lielākus ieņēmumus un peļņu no pašreizējiem piedāvājumiem. Šis ir klasisks piemērs, ko daudzi no mums zina par pieredzēto, kur jūs domājat savā dzīvē, kur jūs šodien esat gatavs iegādāties produktu, kas jums netiek piedāvāts. Daudzos, daudzos gadījumos tas faktiski notiek. Jūsu prātā ir lietas, kuras jums patīk pirkt, ka jūs zināt, ka vēlaties iegādāties, ka jums ir aktīvo darbu saraksts vai kaut kas tāds, ko jums teica jūsu sieva vai ja jums nav sievas, bet jūs patiešām vēlējāties iegādāties un jūs vai nu iepērkaties tīmekļa vietnē, vai arī jūs sadarbojaties mazumtirdzniecības veikalā, veikala priekšā vienkārši nav konta, nav intelekta, lai aprēķinātu to, kas jums varētu būt nepieciešams. Līdz ar to viņi nenodrošina savu biznesu. Ja straumēšanas analīzi varētu izmantot, lai patiešām veiktu precīzas prognozes, un kas patiešām ir iespējams, ņemot vērā to, kas visvairāk derētu šim konkrētajam kontam, šim klientam šajā laikā šajā vietā ir daudz augšuppārdošanas un savstarpējas pārdošanas darījumu, un tas atkal nāk no straumēšanas analītika - spēja pieņemt labvēlīgu lēmumu par to, ko šis klients, visticamāk, nopirks vai atbildēs uz to patiesības brīdī, kad būs tāda iespēja. Tāpēc man patīk tas attēls, kuru Dezs parādīja kopā ar lāci, tieši gatavojoties ēst šo zivi. Tas ir diezgan daudz.
Mēs arī domājam, ka ir liela kategorija dramatiskām, pārveidojošām izmaiņām uzņēmumā, kas piedāvā pilnīgi jaunus produktus un pakalpojumus, pamatojoties tikai uz klienta uzvedības novērošanu, un tas viss balstās uz cita uzņēmuma uzvedības novērošanu. Ja, teiksim, telekomunikāciju vai kabeļtelevīzijas uzņēmums patiešām novēro klientu lietošanas paradumus tajā tirgus segmentā, kuru viņš skata, kādā programmā, kurā laikā utt., Viņi faktiski rada produktus un pakalpojumus, kas gandrīz tiek uzdoti kaut kādā veidā. Tātad visa multi-screen uzvedības koncepcija šobrīd, kad mēs gandrīz uztveram pašsaprotamu, ka mēs varam redzēt TV vai kabeļa saturu savās mobilajās lietotnēs. Daži no šiem piemēriem nāk no tiem jaunajiem produktiem un pakalpojumiem, kas mums tiek piedāvāti.
Es iedziļināšos: “Kādi ir analītikas straumēšanas arhitektūras apsvērumi?” Tas galu galā ir tas, ko mēs cenšamies darīt. Šī ir Lambda arhitektūra, kurā jūs sajaucat vēsturiskos datus un reāllaika atziņas un redzat tos vienlaikus. To Sigma ļauj. Mums visiem šodien ir pakešu arhitektūra un uzņēmuma attēls. Mēs tiecamies pēc sava veida BI kaudzes un utilizācijas kaudzes, kā arī pievienotās Lambda arhitektūras. Tā kā ātruma pakāpe vai vajadzība un Lambda ir domāta šo divu atziņu apvienošanai un redzēšanai kombinētā veidā, bagātīgā veidā, kas apvieno abas atziņas.
Tiek piedāvāta vēl viena paradigma ar nosaukumu Kappa arhitektūra, kurā tiek uzskatīts, ka ātruma slānis ir vienīgais ievades mehānisms, kas turpinās pastāvēt ilgākā laika posmā. Viss notiks caur šo ātruma slāni. Tur pat nebūs bezsaistes ETL mehānisma. Viss ETL notiks. Notīrīšana, datu tīrīšana, kvalitatīva ETL - tas viss notiks pa vadiem, jo paturiet prātā, ka visi dati ir dzimuši reālā laikā. Kādā brīdī tas bija reāls laiks. Mēs esam pieraduši to pielietot ezeriem, upēm un okeāniem, pēc tam veicot statisko analīzi, un mēs aizmirsām, ka dati radās kādā brīdī reālā laikā.Visi dati patiesībā rodas kā reālā laika notikums, kas notika attiecīgajā laika posmā, un lielākā daļa datu, kas šodien atrodas ezerā, tikko tika ievietoti datu bāzē vēlākai analīzei, un mums tagad ir priekšrocības Lambda un Kappa arhitektūrā. to redzot, analizējot, iepriekš apstrādājot un reaģējot uz to, kad pienāk. Tieši to ļauj šīs tehnoloģijas. Raugoties uz to kā kopējo ainu, tas izskatās kaut kas līdzīgs šim, kur atrodas Hadoop, MPP un datu noliktavas, kas jums jau ir.
Mēs to uzdodam, jo ir svarīgi ne tikai runāt par jaunām tehnoloģijām salā. Viņiem ir jāintegrējas. Viņiem ir jābūt jēgai pašreizējā uzņēmuma situācijā, un kā risinājumu sniedzēji, kas apkalpo uzņēmumus, mēs pret to esam ļoti jutīgi. Mēs palīdzam uzņēmumiem visa veida integrācijā. Kreisajā pusē ir datu avoti, kas tiek ievadīti gan Hadoop, gan datu noliktavas slāņos, kā arī augšpusē esošajā reāllaika slānī, un katrs no šiem entītijiem ir krājumu datori, kā jūs varat redzēt, un datu patēriņa slānis atrodas labajā pusē. pusē. Pastāv nemitīgi centieni virzīt lielāko daļu atbilstības, pārvaldības, drošības, dzīves cikla pārvaldības utt., Kas šodien ir pieejami, un tie visi ir iemūžināti šajā jaunajā tehnoloģijā.
Viena no lietām, ko mēģina veikt straumēšanas analītika, ja šodien skatāties uz ainavu, straumēšanas tehnoloģiju vidē notiek ļoti daudz lietu, un no uzņēmuma klientu viedokļa ir tik daudz ko saprast. Tur ir tik daudz, lai neatpaliktu. Kreisajā pusē ir datu vākšanas mehānismi - NiFi, Logstash, Flume, Sqoop. Acīmredzot esmu izvirzījis atrunu, sakot, ka tā nav izsmeļoša. Ienāk rindās un pēc tam nonāk atvērtā koda straumēšanas motoros - Storm, Spark Streaming, Samza, Flink, Apex, Heron. Herons, iespējams, vēl nav atvērts avots. Es neesmu pārliecināts, vai tā ir, no plkst. Pēc tam šie straumējošie motori ievada vai atbalsta iestatīšanas analītiskās lietojumprogrammas komponentu, piemēram, sarežģītu notikumu apstrādi, mašīnu apguvi, jutīgo analītiku, trauksmes moduli, ETL straumēšanu, bagātināšanas statistisko operāciju filtrus. Tie ir visi, ko mēs tagad saucam par operatoriem. Šo operatoru kopums, sasaistot tos kopā, potenciāli varētu būt arī kāds pasūtījums, kas vajadzības gadījumā lielā mērā tiek noslēgts, un tas kļūst par straumēšanas lietojumprogrammu, kas darbojas ar straumēšanas motoru.
Šīs sastāvdaļu ķēdes ietvaros dati arī jāuzglabā un jāindeksē iecienītajā datu bāzē - iecienītajā indeksā. Jums, iespējams, vajadzēs izplatīt kešatmiņu un atkal to, kas datu vizualizācijas slānī augšējā labajā pusē atrodas komerciāliem vai atvērtā pirmkoda izstrādājumiem, taču galu galā jums ir nepieciešams kāds produkts, lai šos datus vizualizētu reāllaikā. Jums arī dažreiz ir jāizdomā citas lietojumprogrammas. Mēs visi esam redzējuši, ka vērtības, kas iegūtas tikai pēc jūsu ieskatiem veiktās darbības, šī darbība būs sprūda no analītiskās paketes citā lietojumprogrammu kaudzē, kas varbūt mainīja to, kas ir kaut kas IVR pusē, vai izsauc zvanu centru. izejošais zvans vai kaut kas tamlīdzīgs. Mums ir jābūt integrētām šīm sistēmām un savam straumēšanas klasterim savam mehānismam, lai aktivizētu citas datu pievienošanas lietojumprogrammas pakārtotajā versijā.
Tā ir kopējā kaudze no kreisās uz labo pusi. Tad jums ir pakalpojumu slāņi, vidējā uzraudzība, vispārīgais drošības slānis utt. Pieejamie produkti, kas atrodas uzņēmuma telpā un kurus klienti redz, piemēram, Hadoop izplatīšanas, kuriem visiem ir straume, kā es teicu, un ir komerciāls vai atsevišķs -vendor risinājumi, kas acīmredzami atrodas mūsu konkurentos. Ainavā ir arī daudz vairāk, ko mēs, iespējams, šeit nepieminējām.
Ko jūs redzat, to plaši redz uzņēmums, kuru redz lietotājs. Kā redzat, sarežģīta un strauji mainīga tehnoloģiju ainava straumes apstrādei. Mums bija jāvienkāršo izvēle un viņu lietotāju pieredze. Tas, kas, mūsuprāt, uzņēmumiem patiešām ir vajadzīgs, ir visa tā funkcionālā abstrakcija vienā pieturas aģentūrā, ērti lietojamā saskarnē, kas apvieno visas šīs tehnoloģijas, kas padara to patiešām vienkāršu lietošanu un nepakļauj visas kustīgās daļas un degradācijas problēmas, kā arī veiktspējas un dzīves cikla uzturēšanas jautājumi uzņēmumam.
Funkcionalitātes abstrakcija ir viena. Otrā daļa ir straumējoša dzinēja abstrakcija. Straumēšanas dzinēji un atvērtā koda domēni parādās reizi trīs, četros vai sešos mēnešos. Ilgu laiku tā bija Vētra. Samza nāca klajā, un tagad tā ir Spark Streaming. Flinks paceļ galvu, sāk pievērst uzmanību. Pat dzirksteļošanas straumēšanas ceļvedis rada iespēju potenciāli izmantot citu motoru tīrai notikumu apstrādei, jo viņi arī saprot, ka Spark tika izstrādāts paketei, un viņi veido ceļu savā arhitektūras redzējumā un ceļvedī, lai potenciāli varētu būt atšķirīgs dzinējs straumes apstrādei papildus pašreizējam mikrokomplektu modelim dzirksteļošanas straumē.
Tā ir realitāte, ar kuru jums nākas saskarties, ka notiks daudz evolūcijas. Jums patiešām ir jāaizsargā sevi no šīs tehnoloģijas plūsmas. Tā kā pēc noklusējuma jums tas būs jāizvēlas un pēc tam jādzīvo, kas nav optimāli. Ja skatāties uz to citā veidā, jūs cīnāties starp: “labi, man nācās iegādāties patentētu platformu, kur nav ieslēgšanas, nav atvērtā koda sviras, tas varētu būt ļoti dārgi un ierobežoti elastība salīdzinājumā ar visām šīm atvērtā pirmkoda pakotnēm, kur jums tas bija jādara pats. ”Atkal, tāpat kā es teicu, tas ir saistīts ar daudzām izmaksām un kavēšanos nokļūšanai tirgū. Tas, ko mēs sakām, ir StreamAnalytix ir viens no lieliskās platformas piemēriem, kas apvieno uzņēmumu klasi, uzticamu, vienu pārdevēju un profesionālu atbalstu - visu to, kas jums patiešām ir nepieciešams kā uzņēmumam, un atvērtā koda ekosistēmas elastības spēku. kur tos apvieno viena platforma - Ingest, CEP, analytics, vizualizācija un tas viss.
Tas arī padara ļoti, ļoti unikālu lietu, kas apvieno daudz dažādu tehnoloģiju dzinējus, izmantojot viena lietotāja pieredzi. Mēs patiešām domājam, ka nākotne ir saistīta ar iespēju izmantot vairākus straumēšanas motorus, jo dažādiem lietošanas gadījumiem patiešām ir nepieciešama atšķirīga straumēšanas arhitektūra. Kā teica Robins, ir viss latentu spektrs. Ja jūs patiešām runājat par milisekunžu latentuma līmeni, desmitiem vai pat simtiem milisekundēm, jums patiešām ir nepieciešams Storm šajā laikā, līdz ir kāds cits tikpat nobriedis produkts ar mazāku iecietību vai saudzējošu laika grafiku un latentumu varbūt dažās sekundēs, trīs, četras, piecas sekundes, šajā diapazonā, tad jūs varat izmantot dzirksteles straumēšanu. Potenciāli ir arī citi dzinēji, kas varētu veikt abus. Grunts līnija, lielā uzņēmumā būs izmantojami visa veida gadījumi. Jūs patiešām vēlaties, lai piekļuvei un vispārīgumam būtu vairāki dzinēji ar vienu lietotāja pieredzi, un to mēs cenšamies izveidot programmā StreamAnalytix.
Tikai ātrs arhitektūras apskats. Mēs to nedaudz pārveidosim, bet būtībā kreisajā pusē ir ienākuši vairāki datu avoti - Kafka, RabbitMQ, Kinesis, ActiveMQ, visi šie datu avoti un rindas nonāk straumes apstrādes platformā, kur jūs atrodaties. samontējiet lietotni, kurā varat vilkt un nomest no operatoriem, piemēram, ETL, visu lietu, par kuru mēs runājām. Zem tā ir vairāki dzinēji. Pašlaik mums ir straumēšanas un dzirksteļošanas straume kā vienīgā nozares un pirmā uzņēmuma klases straumēšanas platforma, kurai ir vairāku dzinēju atbalsts. Tas ir ļoti unikāls, elastīgums, ko mēs piedāvājam papildus visam citam elastīgumam, kam ir reāllaika informācijas paneļi. Iebūvēts CET dzinējs. Mums ir nevainojama integrācija ar Hadoop un NoSQL indeksiem, Solr un Apache indeksiem. Jūs varat nolaisties savā iecienītajā datu bāzē neatkarīgi no tā, kas tā ir, ļoti ātri izveidot lietojumprogrammas, ļoti ātri nokļūt tirgū un saglabāt pierādījumus nākotnē. Tā ir visa mūsu manta vietnē StreamAnalytix.
Ar to es domāju, ka es pabeigšu savas piezīmes. Lūdzu, nāciet pie mums, lai iegūtu vairāk jautājumu. Es vēlētos atstāt vārdu jautājumiem un atbildes un paneļdiskusijām.
Rebeka, tev pāri.
Rebeka Jozwiak: Lieliski, labi. Liels tev paldies. Dez un Robin, vai jums ir kādi jautājumi, pirms mēs to nodosim auditorijas jautājumiem un atbildēm?
Robins Bloors: Man ir jautājums. Es atkal ielikšu austiņas, lai jūs mani dzirdat. Viena no interesantām lietām, ja jūs man to laipni varētu pateikt, daudz kas no tā, ko esmu redzējis atvērtā koda telpā, izskatās tas, ko es teiktu, ka man nenobriedis. Savā ziņā jā, jūs varat darīt dažādas lietas. Bet izskatās, ka patiesībā mēs aplūkojam programmatūru tās pirmajā vai otrajā laidienā, un es tikai domāju par jūsu, kā organizācijas, pieredzi, cik daudz jūs redzat Hadoop vides nenobriedušu kā problemātisku vai arī tas ir kaut kas, kas t radīt pārāk daudz problēmu?
Anand Venugopal: Tā ir realitāte, Robin. Tev ir pilnĪga taisnība. Nenobriedums nebūt nav tikai funkcionālās stabilitātes un lietu jomā, bet varbūt arī dažos gadījumos. Bet nenobriešana vairāk saistīta ar lietošanas gatavību. Atklātā pirmkoda produkti, kad tie iznāk, un pat tad, ja tos piedāvā Hadoop izplatīšana, tie visi ir daudz dažādu spējīgu produktu, komponenti, kas vienkārši ir sajaukti. Tie nedarbojas nemanāmi un nav paredzēti vienmērīgai, netraucētai lietotāju pieredzei, kas tiek iegūta, piemēram, Bank of America vai Verizon vai AT&T, lai dažu nedēļu laikā varētu izvietot straumēšanas analītikas lietojumprogrammu. Tie noteikti nav paredzēti tam. Tas ir iemesls, kāpēc mēs ieejam. Mēs to apvienojam un padarām patiešām viegli saprotamu, izvietojamu utt.
Tā funkcionālā brieduma pakāpe, manuprāt, lielā mērā pastāv. Daudzi lieli uzņēmumi šodien izmanto, piemēram, Storm. Daudzi lieli uzņēmumi šodien spēlē ar Spark Streaming. Katram no šiem motoriem ir to ierobežojumi, ko viņi var darīt, tāpēc ir svarīgi zināt, ko jūs varat un ko nevarat darīt ar katru motoru, un nav jēgas lauzt galvu pret sienu un sacīt: “Es skatos izvēlējās Spark Streaming, un man tas nedarbojas šajā konkrētajā nozarē. ”Tas nedarbosies. Būs lietošanas gadījumi, kad dzirksteles straumēšana būs labākā izvēle, un būs gadījumi, kad dzirksteļošanas straume jums varētu nedarboties vispār. Tāpēc jums tiešām ir vajadzīgas vairākas iespējas.
Robins Bloors: Jums lielākoties ir jābūt ekspertu komandām. Es domāju, ka es pat nezinu, kur sākt ar šo. Saprātīga prasmīgu personu sadarbība. Mani interesē, kā jūs iesaistāties un kā tas notiek. Vai tas ir tāpēc, ka konkrēts uzņēmums darbojas pēc konkrētas programmas, vai arī jūs redzat sava veida stratēģiju, ko es dēvētu par stratēģisku pieņemšanu, ja viņi vēlas, lai visa platforma paveiktu daudzas lietas.
Anand Venugopal: Mēs redzam abu piemērus, Robin. Daži no desmit pazīstamākajiem zīmoliem, kurus visi zina, to izmanto ļoti stratēģiskā veidā. Viņi zina, ka viņiem būs dažādi lietošanas gadījumi, tāpēc viņi novērtē platformas, kas būs piemērotas šai vajadzībai, kas ir dažādi izmantošanas gadījumi daudzu īrnieku veidā, kurus paredzēts izvietot uzņēmumā. Ir arī vienreizēju gadījumu stāsti, kas arī sākas. Hipotēku uzņēmumā, pie kura mēs strādājam, ir īpašs uzņēmējdarbības aktivitātes uzraudzības veida izmantošanas gadījums, kuru jūs nemaz nevarētu iedomāties kā pirmo lietošanas gadījumu, bet tas ir biznesa risinājums vai lietošanas gadījums, ar kuru viņi nāca klajā, un pēc tam mēs savienojām punktus ar straumēšanu . Mēs teicām: “Jūs zināt, ko? Šis ir lielisks analītikas straumēšanas gadījums, un tas ir veids, kā mēs to varam ieviest. ”Tā tas sākās. Tad šajā procesā viņi iegūst izglītību un saka: “Oho, ja mēs to varam un ja tā ir vispārēja platforma, tad mēs varam atdalīt lietojumprogrammu, sadalīt tās platformā un uz tās izveidot daudz dažādu lietojumprogrammu. platforma. ”
Robins Bloors: Dez, vai jums ir kādi jautājumi?
Anand Venugopal: Dez, iespējams, ir izslēgts.
Dez Blanchfield: Atvainojiet, klusiniet. Man pašam vienkārši bija laba saruna. Tikai sekojot Robina sākotnējam novērojumam, jūs esat pilnīgi pareizs. Es domāju, ka tagad izaicinājums ir tāds, ka uzņēmumiem ir ekosistēma un kultūras un uzvedības vide, kurā bezmaksas un atvērtā pirmkoda programmatūra ir kaut kas viņiem pazīstams un viņi kā pārlūku spēj izmantot tādus rīkus kā Firefox, un tam ir bijusi pienācīga kalpošanas laiks, līdz tas kļūst stabils un drošs. Bet dažas no tām ļoti lielajām platformām, kuras viņi izmanto, ir uzņēmuma līmeņa patentētas platformas. Tāpēc tas, ko es uzskatu par atvērtā pirmkoda platformām, ne vienmēr ir kaut kas tāds, ar kuru viņiem ir viegli kulturāli vai emocionāli tikt galā. Es to esmu redzējis tikai pieņemot mazas programmas, kas bija vietējie projekti, lai vienkārši spēlētu ar lieliem datiem un analītiku kā pamatjēdzienu. Es domāju, ka viens no galvenajiem izaicinājumiem, esmu pārliecināts, ka esat tos redzējis jau visās organizācijās, ir viņu vēlme panākt iznākumu, bet tajā pašā laikā viena pēda ir iestrēdzis vecajā kannā, kur viņi to varētu vienkārši iegādāties no “Ievietojiet lielu zīmolu” Oracle, IBM un Microsoft. Šie jaunie un zināmie zīmoli nāk klajā ar Hadoop platformām un vēl vairāk. Tiek parādīti aizraujošāki zīmoli, kuriem ir tādas progresīvas tehnoloģijas kā straume.
Kāda veida sarunas jums ir bijušas, piemēram, tādas, lai iegūtu vai izjauktu? Es zinu, ka šorīt apmeklējam plašu apmeklējumu, un es esmu pārliecināts, ka visiem prātā ir “Kā es varu iziet cauri visai izaicinošajai kārtai no tāfeles līdz vadības līmenim, ak, vai tā ir pārāk atklāta avota un pārāk asiņojoša? "Kā norit sarunas ar klientiem un kā jūs varat nokļūt līdz tam brīdim, kad jūs mazināt šāda veida bailes, lai apsvērtu tādu iespēju kā StreamAnalytix izvēli?
Anand Venugopal: Mums patiesībā ir diezgan viegli pārdot savu vērtības piedāvājumu, jo klienti, protams, izvēlas atvērto avotu. Viņi ne tikai atsakās un saka: “Labi, es tagad dodos uz atvērto avotu.” Viņi patiesībā iziet ļoti apņēmīgu galvenā produkta novērtējumu, pieņemsim, ka tas ir IBM vai tipisks produkts, jo viņiem ir šīs pārdevēju attiecības. Viņi neizturas pret mums vai pret atvērtā koda motoru pret šo produktu. Viņiem būs jāveic sešas, astoņas līdz divpadsmit vērtēšanas nedēļas. Viņi pārliecinās sevi par to, ka šeit ir zināma veiktspēja un stabilitāte, ko es vēlos, un tad viņi domā, sakot: “Oho, jūs zināt, ko es tiešām to varu darīt”.
Piemēram, šodien, piemēram, mums ir galvenais pirmā līmeņa telefona kods, kura ražošanā tiek izmantota straumēšanas analīze, nevis tikai liela daļa kaudzes, un viņi to novērtē, salīdzinot ar citu ļoti, ļoti lielu, labi zināmu pārdevēju, un viņi to pārliecināja tikai pēc tam, kad esam pierādījuši visu veiktspēja, stabilitāte un visas šīs lietas. Viņi to neuzskata par pašsaprotamu. Viņi uzzināja, ka atklātais avots ir kompetents, izmantojot savus novērtējumus, un viņi saprot, ka sliktākajā gadījumā: “Varbūt ir tie divi lietošanas gadījumi, kurus es varbūt nevaru izdarīt, bet vairumam manu uzņēmumu šodien paātrinājuma lietošanas gadījumi ir ārkārtīgi iespējami ar atvērtā koda palīdzību. kaudze. ”Un mēs ļaujam to izmantot. Tā ir tieši šī lielā vieta. Viņi vēlējās atvērto avotu. Viņi patiešām vēlas izkļūt no pārdevēju bloķēšanas situācijas, pie kuras viņi ir pieraduši daudzus, daudzus gadus. Tad mēs šeit nonākam un sakām: “Jūs zināt, ko mēs padarīsim atvērto avotu daudz, daudz vieglāku un draudzīgāku jums.”
Dez Blanchfield: Es domāju, ka otrs izaicinājums, ko uzņēmumi atrod, ievedot tradicionālos vēsturiskos operatorus, bieži vien viņiem ir paaudze, kas atpaliek no aizraujošās lietas, par kuru mēs šeit runājam, aizmugures robežas, un es to nenozīmē kā negatīvu lietu. Tas nozīmē tikai to, ka viņiem ir paaudze un ceļš, lai izlaistu to, ko viņi uzskata par stabilām platformām, vecās skolas attīstības un UATN integrācijas cikliem un testiem un dokumentāciju, kā arī mārketingu un pārdošanu. Tā kā jūs darāt to, ko domāju, es domāju, ka tas, par kuru es domāju, ir tas, ka, apskatot dažus no jūsu pēdējiem izlaidumiem vakar vakarā, veicot kādu pētniecības darbu, jums tagad ir šī kolekcija, kur kompetence no sākotnējā konsultēšanas viedokļa un ieviešana, bet jūs arī saņēmāt kaudzīti, kuru varat iekustināt. Es domāju, ka šajā gadījumā vēsturiskie operatori kādu laiku cīnīsies. Mēs esam redzējuši daudzus no viņiem, tāpat kā es, tirgū. Viņi bieži atrodas tajos, kurus es saucu par aizķeršanās mezgliem, turpretī no tā, ko jūs sakāt mums, kad jūs sarunājaties un jūs to īstenojat.
Vai varat sniegt mums dažus piemērus par dažām robežu vertikāļiem, kuras esat redzējis pieņemšanā? Piemēram, patiešām ir tāda niša vide kā raķešu zinātne, satelītu ievietošana kosmosā un datu vākšana no Marsa. Uz planētas to dara tikai nedaudz cilvēku. Bet ir arī lielas vertikāles, piemēram, veselība, piemēram, aeronautikā, kuģniecībā un loģistikā, ražošanā un inženierzinātnēs, kas ir pāris piemēri no lielākām un plašākām nozares nozarēm, kurās esat bijis tik tālu, ka esat redzējis patiešām labu adopcija iekšā?
Anand Venugopal: Telco ir liels piemērs.
Es šeit vienkārši labošu savus slaidus. Vai jūs varat redzēt slaidu šeit, 4. gadījuma izpēte?
Tas ir gadījums, kad liels telefons patērē televizora pierīces datus un ar to veic vairākas lietas. Viņi skatās, ko klienti patiesībā dara reālajā laikā. Viņi skatās, kur televizora pierīcēs reālā laikā notiek kļūdas. Viņi cenšas informēt zvanu centru, ja šis klients tūlīt piezvana, koda saites informācija no šī klienta televizora pierīces, informācija par apkopes biļetēm ātri korelē, vai šī klienta televizora pierīcei ir problēma vai pat ne agrāk klients runā vārdu. To mēģina darīt katrs kabeļtelevīzijas uzņēmums, katrs lielākais telefons. Viņi uzņem televizora pierīces datus, veic reāllaika analīzi, veic kampaņu analīzi, lai varētu ievietot reklāmas. Ir ļoti daudz lietu.
Kā es teicu, pastāv šī hipotēku kompānija, kas atkal ir vispārējs modelis, kad datu apstrādē no. Tiek iesaistītas lielas sistēmas. Dati, kas plūst caur sistēmu A uz sistēmu B uz sistēmu C, un tie ir regulēti uzņēmumi, kam visam jābūt konsekventam.Bieži vien sistēmas savstarpēji nesaskaņojas, viena sistēma saka: “Es apstrādāju simts aizdevumus ar kopējo vērtību 10 miljoni USD.” Sistēma saka: “Nē, es apstrādāju 110 citu aizdevumus. atšķirīgs skaitlis. ”Viņiem tas ir jāatrisina ļoti ātri, jo viņi faktiski apstrādā tos pašus datus un veic atšķirīgas interpretācijas.
Neatkarīgi no tā, vai tā ir kredītkarte, aizdevuma noformēšana, biznesa process vai arī tas ir hipotēkas biznesa process vai kas cits, mēs viņiem palīdzam veikt korelāciju un saskaņošanu reālā laikā, lai nodrošinātu, ka šie biznesa procesi paliek sinhronizēti. Tas ir vēl viens interesants lietošanas gadījums. Ir kāds galvenais ASV valdības darbuzņēmējs, kurš meklē DNS trafiku, lai veiktu anomāliju atklāšanu. Ir viņu izveidots bezsaistes apmācības modelis, un viņi reāllaika trafiku vērtē, pamatojoties uz šo modeli. Daži no šiem interesantiem lietošanas gadījumiem. Kāda liela aviosabiedrība skatās uz drošības rindām, un viņi mēģina jums sniegt šādu informāciju: “Hei, tie ir jūsu lidmašīnas vārti jūsu lidojumam. TSA rinda šodien ir apmēram 45 minūtes salīdzinājumā ar divām stundām salīdzinājumā ar kaut ko citu. ”Šis atjauninājums jums tiek veikts jau sākotnēji. Viņi joprojām pie tā strādā. Interesants IoT lietošanas gadījums, bet lielisks analītikas straumēšanas virziena atspoguļojums klientu pieredzē.
Rebeka Jozwiak: Šī ir Rebeka. Kamēr jūs skatāties par lietošanas gadījumiem, auditorijas loceklis uzdod lielu jautājumu: “Vai šie ir gadījumu pētījumi, vai šīs iniciatīvas tiek virzītas no mājas informācijas sistēmu analītiskās puses, vai arī tās tiek virzīti no bizness, kuram ir kādi specifiski jautājumi vai vajadzības? ”
Anand Venugopal: Es domāju, ka mēs redzam apmēram 60 procentus vai apmēram, 50 procentus līdz 55 procentus, lielākoties ļoti aktīvas, aizrautīgas tehnoloģiju iniciatīvas, kuras zina, kuras ir diezgan lietpratīgas un izprot noteiktas biznesa prasības, un, iespējams, viņiem ir viens sponsors, kuru viņi identificēja, bet šie ir tehnoloģiju komandas, kas gatavojas uzbrukumiem biznesa lietošanas gadījumiem, kas notiek, un tad, kad viņi ir izveidojuši spējas, viņi zina, ka var to izdarīt, un tad viņi dodas uz biznesu un agresīvi to pārdod. 30–40 procentos gadījumu mēs redzam, ka biznesam jau ir noteikts lietošanas gadījums, kas prasa straumēšanas analīzes iespējas.
Rebeka Jozwiak: Tam ir jēga. Man ir vēl viens nedaudz tehniskāks jautājums no auditorijas locekļa. Viņam rodas jautājums, vai šīs sistēmas atbalsta gan strukturētas, gan nestrukturētas datu plūsmas, piemēram, straumju vai ziņu nogulumus reālā laikā, vai arī tas sākotnēji jāfiltrē?
Anand Venugopal: Produkti un tehnoloģijas, par kuriem mēs runājam, ļoti nenovēršami atbalsta gan strukturētus, gan nestrukturētus datus. Tos var konfigurēt. Visiem datiem ir sava veida struktūra neatkarīgi no tā, vai tie ir a, XML vai vispār. Pastāv zināma struktūra attiecībā uz laika zīmoga padevi. Varbūt ir vēl viens lāse, kuru nepieciešams parsēt, lai jūs varētu ievadīt straumē parses, lai parsētu datu struktūras. Ja tā ir strukturēta, mēs vienkārši sakām sistēmai: “Labi, ja ir vērtības, kas atdalītas ar komatu, un pirmā ir virkne, otrā ir datums.” Tātad mēs varam ievadīt šo parsēšanas intelektu augšējā ekrāna slāņos un viegli apstrādājiet gan strukturētus, gan nestrukturētus datus.
Rebeka Jozwiak: Man ir vēl viens jautājums no auditorijas. Es zinu, ka mēs esam mazliet paskrējuši stundas augšpusē. Šis dalībnieks vēlas uzzināt, ka, piemēram, reāllaika straumēšanas lietojumprogrammās varētu rasties gan vajadzība, gan iespēja integrēties atpakaļ darījumu sistēmās, piemēram, krāpšanas novēršanas sistēmās. Tādā gadījumā vai darījumu sistēmas ir jāpielāgo, lai tās būtu piemērotas?
Anand Venugopal: Tā ir apvienošanās, vai ne? Tas ir darījumu sistēmu apvienojums. Dažreiz tie kļūst par datu avotu, kur mēs analizējam darījumus reālajā laikā, un daudzos gadījumos, ja, teiksim, notiek lietojumprogrammu plūsma, un šeit es mēģinu parādīt statisku datu meklēšanas vietni un pēc tam - mūsu gadījumā - kaut kādu straumēšanu. un jūs meklējat statisku datu bāzi, piemēram, HBase vai RDBMS, lai bagātinātu straumēšanas datus un statiskos datus kopā, lai pieņemtu lēmumu vai analītisku ieskatu.
Pastāv vēl viena liela nozares tendence, ko mēs arī redzam - OLAP un OLTP saplūšana - un tāpēc jums ir tādas datu bāzes kā Kudu un atmiņas datu bāzes, kas vienlaikus atbalsta gan darījumus, gan analītisko apstrādi. Straumes apstrādes slānis būtu pilnībā atmiņā, un mēs apskatīsim dažas no šīm darījumu datu bāzēm vai tām izveidosim saskarni.
Rebeka Jozwiak: Es domāju, ka jaukta darba slodze ir bijusi viena no pēdējām šķēršļiem, kas varētu lēkt. Dez, Robin, vai jums diviem ir vēl kādi jautājumi?
Dez Blanchfield: Es iešu pie viena pēdējā jautājuma un apdomāšu to, ja jūs to neiebilstat. Pirmais izaicinājums, ar kuru organizācijas, ar kurām esmu saskāries pēdējās desmit gadu laikā, noved pie šī aizraujošā straumes analītikas izaicinājuma, pirmā lieta, ko viņi mēdz atkal likt uz galda, kad sākām sarunu par visu šo izaicinājumu, ir kur mēs iegūstam prasmju komplektu? Kā mēs pārkvalificējam prasmju kopumu un kā mēs šo spēju iegūstam iekšēji? Iestājoties impulsam un dodot roku, turiet mūs cauri ceļojumam un pēc tam to realizējiet kā lielisku pirmo soli, un to darīt ir daudz jēgas.
Bet vidējai un lielai organizācijai kādas ir lietas, kuras jūs šobrīd redzat, lai tam sagatavotos, lai izveidotu šo spēju iekšēji, lai iegūtu kaut ko no tikai pamata vārdnīcas ap to un ko viņi var darīt ar organizācija ap pāreju uz šāda veida ietvariem un viņu pašreizējo tehnisko darbinieku pārcelšanu no izpilddirektora IT, lai viņi paši varētu to vadīt, kad esat to izveidojis un ieviesis? Tikai ļoti īsi, kādi izaicinājumi un kā viņi tos risina, klienti, ar kuriem jūs saskaraties, kādi izaicinājumi ir viņu atrastie un kā viņi risina šo pārkvalifikāciju un atgūst pieredzi un zināšanas, lai tam sagatavotos un būtu spēj apiet operatīvi?
Anand Venugopal: Bieži vien nelielais cilvēku skaits, kuri mēģina iziet un iegādāties straumēšanas analītikas platformu, jau ir saprātīgi, jo viņi ir informēti par Hadoop, viņi jau ir ieguvuši savas Hadoop MapReduce prasmes un tāpēc, ka viņi cieši sadarbojas ar Hadoop izplatīšanas pārdevēju, viņi vai nu ir pazīstami. Visu iegūst, piemēram, Kafka. Viņi kaut ko dara ar to, un Storm vai Spark straumēšana ir viņu atvērtā koda domēnā. Noteikti, ka cilvēki to pazīst vai veido prasmes ap to. Bet tas sākas ar nelielu cilvēku kopu, kuri ir pietiekami kvalificēti un pietiekami gudri. Viņi apmeklē konferences. Viņi mācās un uzdod pārdevējiem saprātīgus jautājumus, un dažos gadījumos viņi mācās kopā ar pārdevējiem. Tā kā pārdevēji ierodas un uzstājas pirmajā sanāksmē, viņi, iespējams, nezina lietas, bet viņi līdzlasās un tad sāk spēlēt.
Šī mazā cilvēku grupa ir kodols, un tad tā sāk augt, un visi tagad saprot, ka pirmais biznesa lietošanas gadījums tiek ieviests. Sākas vilnis, un mēs pagājušajā nedēļā ieraudzījām dzirksteļošanas sanāksmi, kur liels uzņēmums, piemēram, Capital One, darbojās pilnīgi un pilnībā. Viņi izvēlējās dzirksteli. Viņi runāja par to. Viņi daudzus savus cilvēkus izglīto Spark, jo daudzos gadījumos viņi to veicina arī kā lietotāji. Mēs to redzam ar daudziem, daudziem lieliem uzņēmumiem. Tas sākas ar dažiem maziem ļoti gudru cilvēku kopumu, un tad tas sāk vispārējās izglītības vilni, un cilvēki zina, ka reiz vecākais viceprezidents vai reiz vecākais direktors ir pielīdzināmi un viņi vēlas derēt par šo lietu, un vārds kļūst apkārt un viņi visi sāk apgūt šīs prasmes.
Dez Blanchfield: Es esmu pārliecināts, ka jums ir fantastisks laiks arī šo čempionu celtniecībai.
Anand Venugopal: Jā. Mēs strādājam ar sākotnējiem čempioniem un mēs daudz mācāmies, kā arī rīkojam apmācības kursus un daudzus no tiem lielajiem klientiem, kuriem mēs esam atgriezušies, un mums bija apmācības viļņi un viļņi, lai daudz lietotāju nonāktu vispārējās lietošanas fāzē. vietnē Hadoop MapReduce. Mēs noskaidrojām, ka lielā kredītkaršu firmā, kas ir mūsu klients, mēs esam piegādājuši vismaz varbūt piecas līdz astoņas dažādas apmācības programmas. Mums ir arī bezmaksas visu šo produktu kopienas izdevumi, ieskaitot mūsējos, smilšu kastes, kuras cilvēki var arī lejupielādēt, pierast un izglītot.
Dez Blanchfield: Tas ir viss, kas man šorīt ir jums. Liels paldies. Man ir neticami interesanti redzēt modeļu veidus un lietošanas gadījumus, ko šodien ieguvāt mums. Paldies.
Anand Venugopal: Lieliski. Liels paldies ļaudīm.
Rebeka Jozwiak: Paldies visiem par pievienošanos mums šajā karsto tehnoloģiju tīmekļa apraidē. Tas ir aizraujoši dzirdēt no Deza Blanšfīlda, Dr. Robina Bloora un no Impetus Technologies, Ananda Venugopāla. Paldies vadītājiem. Paldies runātājiem un paldies auditorijai. Nākamajā mēnesī mums ir vēl viena karstā tehnoloģija, tāpēc meklējiet to. Mūsu saturu vienmēr varat atrast arhivēts vietnē Insideanalysis.com. Mēs arī ievietojām daudz satura pakalpojumā SlideShare un dažus interesantus fragmentus arī vietnē YouTube.
Tas ir visi ļaudis. Paldies vēlreiz un lai laba diena. Labdien!