Mantojuma un jauninājumu saistība: pagrieziena punkts datiem

Saturs

• Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi
• Uz leju biznesam
• Kā Kafka mainīs datu pārvaldību

Izņemšana:

Kafka informācijas sistēmām darīs to, ko LinkedIn dara biznesa cilvēkiem: uzturēs tos savienotus plašos diapazonos.

Kaislīgi ticot tam, kas joprojām nepastāv, mēs to veidojam. Neeksistē tas, ko mēs neesam pietiekami vēlējušies.

~ Fransuā Kafka

Nepieciešamība joprojām ir izgudrojuma māte. Kā reiz man teica kāds vērīgs konsultants: "Ja notiek kaut kas tāds, kas jānotiek organizācijā, tas notiek." Viņa teiktajam bija divējāds raksturs: 1) daži cilvēki vienmēr atradīs veidu, kā lietas paveikt; un 2) augstākā vadība vai pat vidējā līmeņa vadība var arī nezināt, kā tieši lietas notiek viņu pašu iestādēs.

Ja mēs attiecinām šo metaforu uz visu datu pārvaldības visumu, mēs redzam, ka šobrīd notiek transformācija. Neapstrādāts lielo datu spiediens apvienojumā ar datu straumēšanas asi rada tik lielu spiedienu, ka mantotās sistēmas brūk malās, ja ne sabrūk pavisam. Neskatoties uz to, šobrīd neskaitāmi speciālisti dodas uz darbu, un viņi gandrīz nemaz nezina par šo realitāti.

Uz datiem balstītiem, uz datiem balstītiem uzņēmumiem ir priekšējās rindas sēdeklis, un tie daudzējādā ziņā veicina šīs izmaiņas. Apsveriet, kā tādas spēkstacijas kā Yahoo! Un LinkedIn ir pagriezušas uzņēmumu programmatūras nozari ar saviem lieliskajiem ziedojumiem atvērtā koda avotiem: Hadoop, Cassandra un tagad Kafka, un tos visus ir vadījis Apache fonds, kas pats ir šīs metamorfozes centrālais spēlētājs. .

Kas ir visu šo izmaiņu rezultāts? Šodien liecinieki bija pašas datu pārvaldības kategoriskā pārklasificēšana un pārstrukturēšana. Tas nenozīmē, ka mantotās sistēmas tagad tiks izlaistas un nomainītas. Jebkurš nozares veterāns jums pateiks, ka mantoto sistēmu vairumtirdzniecības pārtraukšana notiek tikpat bieži, cik Čikāgas Cubs uzvar World Series. Tas ir rets notikums, maigi sakot.

Patiesībā notiek tas, ka visapkārt vecās pasaules sistēmām tiek veidota superkonstrukcija. Apsveriet starpvalstu automaģistrāļu, kas bieži paceļas virs apkalpotajām pilsētām, analoģiju, kas paredzēta cilvēku un kravas nogādāšanai šajos apdzīvotās vietas centros un izejas nodrošināšanai ikvienam un visam, kas atrodas tajos. Viņi neaizstāj esošos ceļus tik daudz, lai tos papildinātu ar ātrgaitas alternatīvām.

Tas ir tieši tas, ko dara Apache Kafka: tas nodrošina ātrgaitas maršrutus datu pārvietošanai starp informācijas sistēmām un starp tām. Lai ievērotu šosejas analoģiju, joprojām ir daudz uzņēmumu, kas izmanto lineārās rindas vai veco ETL (ekstrakts-pārveidot-slodze) standartu; taču šiem ceļiem ir zemi ātruma ierobežojumi, un ir daudz bedru; turklāt uzturēšanas izmaksas bieži ir pārmērīgas; zīmes ir sliktas.

Kafka piedāvā alternatīvu datu piegādes metodi, kas noteikti ir reāllaika, mērogojama un izturīga. Tas nozīmē, ka Kafka ir ne tikai datu pārvietošanās līdzeklis, bet arī datu kopētājs; un zināmā mērā izkliedētās datu bāzes tehnoloģija. Mums vajadzētu būt uzmanīgiem, ņemot pārāk tālu analogiju, jo ACID saderīgām datu bāzēm ir raksturīgas iezīmes, kuras Kafka pagaidām nesporto. Tomēr izmaiņas ir reālas.

Šīs ir lieliskas ziņas informācijas ainavai, jo šajā jautājumā dati tagad ir brīvi pārvietojami par valsti un pasauli. Tas, kas kādreiz bija sāpīgs ierobežojums, proti, trieciens pakešu logiem ETL procesiem, tagad izkliedējas, jo migla dod iespēju skaidrām debesīm zem karstas saules atspīduma. Kad datu pārvietošana no vienas sistēmas uz otru kļūst par nemanāmu robežu, sākas jaunu iespēju laikmets.

Bez kļūdām, bez stresa - jūsu soli pa solim, kā izveidot programmatūru, kas maina dzīvi, neiznīcinot savu dzīvi

Jūs nevarat uzlabot savas programmēšanas prasmes, ja nevienam nerūp programmatūras kvalitāte.

Cilvēki, iespējams, būs visvairāk berzes ceļā uz datu jaunu nākotni. Vecie ieradumi smagi mirst. Nary CIO kļūst pārāk satraukti par vairumtirdzniecības izmaiņu veikšanu uzņēmuma sistēmās. Viens izveicīgs lomas vecākais izpildītājs teica: "Gatavojieties būt vientuļš." Gada laikā no šī komentāra viņš bija konsultants. Tas nav viegls ceļš, mēģinot pārvaldīt ārkārtīgi smago uzņēmuma datu pasauli.

Labās ziņas ir tādas, ka Kafka nodrošina turpmāko uzbrauktuvi. Tā kā tas kalpo kā lieljaudas, daudzšķautņains autobuss, tas veido tiltus starp mantotajām sistēmām un to tālredzīgajiem kolēģiem. Tādējādi organizācijas, kas šo jauno iespēju izmanto ar atvērtu prātu un pietiekamu budžetu, varēs iekļūt jaunajā pasaulē, neatstājot aiz vecās. Tas ir ļoti liels darījums.

Uz leju biznesam

Kaut arī Apache Kafka ir atvērtā pirmkoda tehnoloģija, kuru ikvienam var lejupielādēt un lietot bez maksas, ļaudis, kas šo programmatūru izveidoja LinkedIn, ir izveidojuši atsevišķu entītiju ar nosaukumu Confluent, kas koncentrējas uz piedāvājuma sacietēšanu uzņēmumiem. Līdzīgi kā Cloudera, Hortonworks un MapR ir izveidojuši savus uzņēmumus ap Apache Hadoop atvērtā koda projektu, tāpēc Confluent cenšas gūt peļņu no Kafka.

Nesenā InsideAnalysis intervijā Confluent izpilddirektors un līdzdibinātājs Džejs Kreps paskaidroja tā izcelsmi LinkedIn:

"Mēs tur mēģinājām atrisināt pāris dažādas problēmas. Viena bija tāda, ka mums bija visas šīs dažādās datu sistēmas ar dažāda veida datiem. Mums bija datu bāzes un mums bija žurnālu faili, kā arī mums bija serveru metrika un lietotāji noklikšķināja uz lietām. Visu šo datu iegūšana - tā kā tas kļuva liels - bija patiešām sarežģīta. Datu jauda bija tikai tad, ja tos varēja iegūt lietojumprogrammām vai apstrādei, vai sistēmām, kurām tas bija nepieciešams. Tā bija liela problēma.

"Otra problēma, kas mums bija, bija tā, ka mēs bijām pieņēmuši Hadoop, un tas bija kaut kas, kurā es iesaistījos. Mums bija šī fantastiskā bezsaistes apstrādes platforma, kuru mēs varējām mērogot, un mēs varētu ievietot visus savus datus. LinkedIn visi mūsu dati notika reāli. Dati tika nepārtraukti ģenerēti. Vienmēr bija šī neatbilstība, jo mēs centāmies faktiski izveidot svarīgākos uzņēmējdarbības aspektus, nevis datus, starp kaut ko tādu, kas notika vienu reizi dienā, varbūt naktī, un ko nākamajai dienai radīja rezultāti, un šāda veida nepārtraukti dati - īsi mijiedarbības laiki -, ar kuriem jums bija jāsasniedz. Mēs gribējām, lai varētu kaut ko darīt, kas kādu laiku bija akadēmiskajā vidē, bet tas tiešām nebija vispārpieņemta lieta, kas ir spēja pieskarieties un apstrādājiet datu straumes, kad tās tika ģenerētas, nevis kā tās sēdēja. "

Nu labi. Tas ir tieši tas, ko Confluent tagad cenšas darīt ar visu formu un izmēru uzņēmuma datiem. Iespēja spēlēt? Grīnfīlda. Atklāti sakot, visā uzņēmuma programmatūras vēsturē var apgalvot, ka šīs tehnoloģijas adresējamais tirgus absolūti prasa torti. Neviena liela organizācija vai pat neliels mazo uzņēmumu uzņēmums, kas nevar gūt lielu labumu no šīs tehnoloģijas.

Tas jo īpaši attiecas uz šīs tehnoloģijas neiroloģisko aspektu; ne tikai iesaistītie prāti, bet arī tas, ko Kafka dara informācijas sistēmām. Tā kā Kafka var izmantot, lai pārvaldītu datu kustību visā organizācijā, to var uzskatīt par vairāk nekā tikai satiksmes policistu, bet gan pašas operācijas smadzenēm. Šīs vīzijas bija agrīnā stadijā, bet esiet droši, ka tā bija īsta.

Kā Kafka mainīs datu pārvaldību

Lai saprastu, kā Kafka mainīs datu pārvaldības raksturu, padomājiet tikai par veidiem, kā LinkedIn ir mainījis tīkla veidošanu. Kolēģu atrašana ir kļuvusi daudz vienkāršāka; uzturēt kontaktus ar cilvēkiem tagad ir īslaicīgs brīdis. Kafka informācijas sistēmām darīs to, ko LinkedIn dara biznesa cilvēkiem: uzturēs tos savienotus visplašākajos šīs zemes diapazonos.

Confluent radīšana ir līdzīga tam, ko mēs varētu dēvēt par jauno inovāciju - kustību, kuras virzītājspēks ir programmatūras izstrādes un slēgtā pirmkoda mentalitātes atdalīšana, kuru vada atvērtā pirmkoda tehnoloģiju veidotāji un kuru veicina liels riska kapitāla daudzums, kuru monetizē bezpeļņas uzņēmumiem, kas vēlas revolucionizēt to, kā organizācijas un cilvēki veido, vāc, analizē un izmanto datus.

Citējot Franzu Kafku: "Sākot no noteikta brīža, vairs nav nekādas pagrieziena atpakaļ. Tas ir punkts, kas ir jāsasniedz."

Mēs esam izturējuši Rubikonu. Tagad vairs neatgriežas.