Sa pamamagitan ng Techopedia Staff, Pebrero 24, 2016
Takeaway: Tinatalakay ng Host Rebecca Jozwiak ang streaming analytics sa mga nangungunang eksperto sa industriya.
Kasalukuyan kang hindi naka-log in. Mangyaring mag-log in o mag-sign up upang makita ang video.
Rebecca Jozwiak: Mga kababaihan at mga ginoo, kumusta at maligayang pagdating sa Hot Technologies ng 2016! Ang pamagat ngayon ay "Harnessing the Firehose: Pagkuha ng Halaga sa Negosyo mula sa Streaming Analytics." Ito ang Rebecca Jozwiak. Ako ang pangalawa sa utos para sa host ng webcast tuwing ang aming mahal na si Eric Kavanagh ay hindi maaaring narito, kaya't masarap na makita ang napakaraming sa labas mo ngayon.
Ang episode na ito ay medyo naiiba sa iba. Kami ay uri ng pinag-uusapan tungkol sa kung ano ang mainit at syempre sa taong ito ay mainit. Ang huling mga ilang taon ay naging mainit. Laging may mga bagong bagay na lumalabas. Ngayon, pinag-uusapan namin ang tungkol sa streaming analytics. Ang pag-stream ng analytics ay uri ng bago. Siyempre streaming, data ng sentro, data ng RFID, hindi kinakailangang bago ang mga iyon. Ngunit sa konteksto ng mga arkitektura ng data, sobrang nakatuon kami sa data nang pahinga sa loob ng mga dekada. Mga database, mga file system, mga repositori ng data - lahat para sa layunin ng karamihan sa pagproseso ng batch. Ngunit ngayon sa paglilipat upang lumikha ng halaga mula sa data ng streaming, emosyon ng data, ang ilan ay tumatawag na buhay na mga sapa, talagang nangangailangan sila ng isang arkitekturang nakabatay sa stream, hindi ang data sa mga arkitektura na pahinga na nakasanayan natin at kailangan itong maging may kakayahang paghawak ng mabilis na ingestion, real-time o malapit sa pagproseso ng real-time. Kailangang makapag-cater ng hindi lamang para sa Internet ng mga Bagay kundi sa Internet ng Lahat.
Siyempre, sa isip, mas mabuti na ang dalawang arkitektura na nakatira sa magkatabi, ang isang kamay ay naghuhugas ng iba pa, upang magsalita. Habang ang data ng mga pang-araw, data ng mga linggong gulang, datos na taon pa rin ng kurso ay may halaga, makasaysayang analytics, pag-aaral ng takbo, ito ang live na data na humihimok sa live na intelihensiya sa mga araw na ito at kung bakit naging mahalaga ang streaming analytics.
Marami akong pinag-uusapan ngayon. Mayroon kaming data scientist, si Dez Blanchfield, na tumatawag mula sa Australia. Maaga pa sa umaga para sa kanya ngayon. Mayroon kaming aming punong analista, Dr Robin Bloor. Kami ay sumali sa pamamagitan ng Anand Venugopal, pinuno ng produkto para sa StreamAnalytix sa Impetus Technologies. Talagang nakatutok sila sa streaming na aspeto ng streaming ng puwang na ito.
Gamit nito, itutuloy ko at ipasa ito kay Dez.
Dez Blanchfield: Salamat. Kailangan kong kunin ang control ng screen dito at mag-pop forward.
Rebecca Jozwiak: Dito ka pupunta.
Dez Blanchfield: Habang hinahawakan namin ang mga slide, hayaan mo lamang akong takpan ang pangunahing paksa.
Pupunta ako upang mapanatili itong medyo mataas na antas at panatilihin ko ito sa halos 10 minuto. Ito ay isang napakalaking paksa. Nakilahok ako sa isang kaganapan kung saan ginugol namin ang dalawa hanggang tatlong araw na pagsisid sa mga detalye ng kung ano ang pagproseso ng stream at ang kasalukuyang mga balangkas na bubuo namin at kung ano ang ibig sabihin ng paggawa ng mga analytics sa mga high-volume na sapa.
Kami ay linawin lamang kung ano ang ibig sabihin namin sa pamamagitan ng streaming analytics at pagkatapos ay alamin kung ang halaga ng negosyo ay maaaring makuha dahil iyon talaga ang hinahanap ng mga negosyo. Naghahanap sila na ipaliwanag sa kanila ang mga tao nang napakabilis at matagumpay, kung saan makakakuha ako ng halaga sa pamamagitan ng paglalapat ng ilang anyo ng analytics sa aming data ng stream?
Ano ang streaming analytics?
Ang pag-stream ng mga analytics ay nagbibigay sa mga organisasyon ng isang paraan upang kunin ang halaga mula sa mataas na dami at mataas na tulin ng data na dumarating sa pamamagitan ng negosyo sa iba't ibang mga form sa paggalaw. Ang makabuluhang pagkakaiba dito ay mayroon kaming mahabang kasaysayan ng pagbuo ng analytics at lens at pananaw ng data na pinoproseso namin nang pahinga sa loob ng ilang dekada mula noong naimbento ang mainframe. Ang napakalaking paradigma shift na nakita namin sa huling tatlo hanggang limang taon sa tinatawag nating "web scale" ay ang pag-tap sa mga daloy ng data na papasok sa amin sa totoong oras o malapit sa totoong oras at hindi lamang pagproseso at naghahanap ng ugnayan ng kaganapan o ang mga nag-trigger ng kaganapan ngunit gumaganap talagang detalyado, malalim na analytics sa mga daloy na ito. Ito ay isang makabuluhang paglilipat sa kung ano ang nagawa namin bago alinman sa pagkolekta ng data, na inilalagay ito sa ilang uri ng imbakan, tradisyonal na malaking database ngayon, malaking malaking frameworks ng data tulad ng platform ng Hadoop at pagsasagawa ng pagproseso ng batch-mode sa at pagkuha ilang uri ng pananaw.
Napakagaling naming gawin iyon nang napakabilis at sinusubukan ang maraming mabibigat na bakal sa mga bagay-bagay, ngunit nakakakuha pa rin kami ng pagkuha ng data, pag-iimbak at pagkatapos ay tinitingnan ito at nakakakuha ng ilang uri ng mga pananaw o analytics dito. Ang paglipat sa pagsasagawa ng mga analytics na iyon habang ang data ay streaming sa naging isang bago at kapana-panabik na lugar ng paglago para sa mga uri ng mga bagay na nangyayari sa paligid ng malaking data. Ito ay nangangailangan ng isang ganap na magkakaibang diskarte upang makunan, mag-imbak at magproseso at magsagawa ng analytics.
Ang isa sa mga pangunahing driver para sa paglilipat at nakatuon sa pagsasagawa ng analytics sa stream ay maaari kang makakuha ng makabuluhang halaga ng negosyo mula sa pagkuha ng mga pananaw na mas mabilis at mas madaling makuha ang data sa iyo, dahil ang impormasyon ay ginagawang magagamit sa negosyo. Ang ideya ng paggawa ng pagproseso ng pagtatapos ng araw na ngayon ay hindi na nauugnay sa ilang mga industriya. Nais naming magawa ang analytics nang mabilis. Sa pagtatapos ng araw, alam na natin kung ano ang nangyari sa nangyari sa halip na sa pagtatapos ng araw at paggawa ng 24 na oras na batch na trabaho at pagkuha ng mga pananaw na iyon.
Ang streaming analytics ay tungkol sa pag-tap sa kanang stream habang ang mga daloy ng data ay karaniwang maramihang mga daloy ng napakataas na dami ng data at data na lumapit sa amin sa paggalaw, napakabilis at nakakakuha ng mga pananaw o analytics sa mga daloy na ito ay dumating sa amin bilang kabaligtaran upang payagan na lumabas sa pahinga at gumaganap ng mga analytics sa kanila.
Tulad ng nabanggit ko, mayroon kaming mga dekada at dekada ng pagsasagawa ng tinatawag kong batch analytics. Naglagay ako ng isang talagang cool na larawan dito. Ito ay isang larawan ng isang ginoo na nakatayo sa harap ng isang computer na nakabiro na nilikha ng RAND Corporation ng isang buhay na nakaraan at ito ang tiningnan nila ng isang computer sa isang bahay na magmukha. Ang nakakainteres ay kahit na noon, mayroon silang konsepto ng lahat ng mga maliit na dayal na ito at ang mga dial na ito ay kumakatawan sa impormasyon na papasok mula sa bahay at naproseso sa totoong oras at sinasabi sa iyo kung ano ang nangyayari. Ang isang simpleng halimbawa ay isang hanay ng barometric pressure at temperatura na makikita natin kung saan nakikita natin ang nangyayari sa real time. Ngunit iniisip ko na kahit na pabalik pagkatapos ng RAND Corporation na isama ang maliit na pangungutya na magkasama, sila ay talagang nag-iisip na tungkol sa pagproseso ng data at pagsasagawa ng mga analytics dito habang papasok ito sa stream format. Hindi ako sigurado kung bakit naglalagay sila ng manibela sa computer, ngunit medyo cool ito.
Dahil ang pag-imbento ng printer, mayroon kaming view ng pagkuha ng data at gumaganap ng mga analyst ng batch dito. Tulad ng nasabi ko sa malaking shift ngayon at nakita namin ito mula sa mga kagustuhan ng mga manlalaro ng web scale na alam nating lahat, silang lahat ay mga tatak ng sambahayan tulad ng Twitter, Facebook at LinkedIn, na ang interactive na pag-uugali na mayroon tayo sa mga panlipunan ang mga platform ay nangangailangan ng hindi lamang makunan, mag-imbak at pagkatapos ay magproseso sa mode ng batch ngunit sila ay talagang makunan at humimok ng mga analytics sa fly mula sa mga daloy ng data na dumadaan. Kapag nag-Tweet ako ng isang bagay, hindi lamang ang kailangan nila upang makunan at mag-imbak at gumawa ng isang bagay sa ibang pagkakataon, ngunit kailangan din nila upang maibalik ito agad sa aking stream at ibahagi ito sa ibang mga tao na sumusunod sa akin. Iyon ay isang modelo ng pagproseso ng batch.
Bakit kami pupunta sa ruta na ito? Bakit ang mga organisasyon ay namuhunan ng oras, pagsisikap at pera kahit na isinasaalang-alang ang hamon ng pagsusumikap sa landas ng stream analytics? Ang mga samahan ay mayroong napakalaking pagnanais na makakuha ng isang pakinabang sa pagganap sa kanilang mga katunggali sa mga industriya na kanilang naroroon at ang pagganap ng pagganap ay maaaring mabilis na maipatupad sa pamamagitan ng simpleng stream analytics at maaari itong magsimula sa isang simpleng pagsubaybay lamang ng real-time na data na mayroon na kami pamilyar sa. Nakakuha ako ng isang maliit na screenshot doon ng Google Analytics. Ito ay marahil isa sa mga unang beses na talagang nakuha namin ang hands-on na mga analyt na grade-consumer. Kaya habang ang mga tao ay bumibisita sa iyong website at nakakakuha ka ng mga hit count, na may isang maliit na piraso ng JavaScript sa ilalim ng iyong webpage sa HTML na naka-embed sa iyong website, ang mga maliit na code ay ginagawa sa totoong oras pabalik sa Google at sila ay gumaganap ng analytics sa mga daloy ng data na nagmumula sa bawat pahina sa iyong website, ang bawat bagay sa iyong website sa real time at ibabalik nila ito sa iyo sa talagang cute na maliit na webpage sa isang dashboard ng real-time na grap, cute na maliit na histograms at linya ng graph na nagpapakita sa iyo ng X bilang ng mga tao na sumalpok sa iyong pahina nang makasaysayan, ngunit narito ang ilan sa ngayon.
Tulad ng nakikita mo sa screenshot na iyon, sinabi nito sa 25 ngayon. Iyon ay 25 katao ngayon sa oras ng screenshot na iyon ay nasa pahinang iyon. Iyon ang unang tunay na pagkakataon na naglaro kami sa tool ng analytics na grade ng consumer. Sa palagay ko maraming tao talaga ang nakakuha nito. Naintindihan lamang nila ang kapangyarihan ng pag-alam kung ano ang nangyayari at kung paano sila tutugon dito. Kung iisipin natin ang laki ng mga avionics, mga sasakyang panghimpapawid na lumilipad sa paligid, mayroong 18, 700 domestic flight sa isang araw sa USA lamang. Nabasa ko ang isang papel ilang oras na ang nakakaraan - ito ay tungkol sa anim o pitong taon na ang nakakaraan - na ang dami ng data na ginawa ng mga sasakyang panghimpapawid na iyon ay halos 200 hanggang 300 megabytes sa dating modelo ng engineering. Sa mga disenyo ng sasakyang panghimpapawid ngayon, ang mga sasakyang panghimpapawid na ito ay gumagawa ng halos 500 gigabytes ng data o halos kalahati ng isang terabyte ng data bawat flight.
Kapag ginawa mo ang matematika nang napakabilis sa tuktok ng iyong ulo, na 18, 700 ng mga domestic flight tuwing 24 na oras sa airspace ng US lamang, kung ang lahat ng mga modernong sasakyang panghimpapawid ay gumagawa ng halos kalahating terabyte, iyon ang 43 hanggang 44 na mga petabytes ng data na dumarating at nangyayari ito habang nasa eroplano ang mga eroplano. Nangyayari ito nang sila ay mapunta at gumawa sila ng mga data dumps. Iyon ay kapag pumunta sila sa shop at may isang buong data dump mula sa mga koponan sa engineering upang tingnan ang nangyayari sa mga bearings, gulong, at sa loob ng mga makina. Ang ilan sa data na iyon ay kailangang maiproseso sa totoong oras upang makapagpasya sila kung may totoong isyu habang ang eroplano ay nasa himpapawid o habang nasa lupa. Hindi mo lang magagawa iyon sa mode ng batch. Sa iba pang mga industriya na nakikita natin sa paligid ng pananalapi, kalusugan, pagmamanupaktura, at engineering, tinitingnan din nila kung paano sila makukuha sa bagong pananaw sa kung ano ang nangyayari sa totoong oras kumpara sa kung ano lamang ang nakaimbak sa mga database sa isang term.
Nariyan din ang konsepto na ito ng pagharap sa data tulad ng tinatawag ko na isang mabubuting kabutihan o isang namamatay na kalakal - na maraming data ang nawawalan ng halaga sa paglipas ng panahon. Ito ay higit pa at higit pa sa kaso sa mga kadaliang kumilos at mga tool sa social media dahil kung ano ang sinasabi ng mga tao at kung ano ang trending ngayon ay kung ano ang nais mong tumugon. Kung iisipin mo ang tungkol sa iba pang mga bahagi ng aming buhay na may logistik at pagkain sa paligid, naiintindihan namin ang konsepto ng mapahamak na kalakal sa kahulugan na iyon. Ngunit isipin ang tungkol sa data na nangyayari sa iyong samahan at ang halaga nito. Kung ang isang tao ay gumagawa ng ilang negosyo sa iyo ngayon at maaari kang makipag-ugnay sa kanila ng totoong oras, hindi mo nais na maghintay ng isang oras upang ang data ay maaaring makuha at ilagay sa isang sistema tulad ng Hadoop at pagkatapos ay pindutin ang pindutan na ito, ikaw ay hindi magagawang harapin ito ngayon at nais mong magawa ito sa kahilingan ng kliyente. Mayroong isang term na makikita mong pop up ng maraming ngayon kung saan pinag-uusapan ng mga tao ang pagkakaroon ng stream ng real-time na data na maaaring magbigay sa iyo ng pag-personalize, at ang pag-personalize na ito sa system na ginagamit mo sa iyong indibidwal na karanasan. Kaya kapag na-hit mo ang isang tool tulad ng tool sa Paghahanap ng Google halimbawa, kung gumawa ako ng isang query at ginagawa mo ang parehong query, palagi, hindi kami nakakakuha ng eksaktong parehong data. Nakakuha kami ng mahalagang tinutukoy ko bilang isang karanasan sa tanyag na tao. Ako ay ginagamot sa isang one-off. Nakukuha ko ang aking sariling personal na bersyon ng kung ano ang nangyayari sa mga sistemang ito batay sa mga profile at data na kanilang nakolekta sa akin at nagawa kong gumawa ng analytics sa totoong oras sa stream.
Ang ideyang ito ng data ng pagiging isang mapahamak na kalakal ay isang tunay na bagay para sa ngayon at ang halaga ng data na nabawasan sa paglipas ng panahon ay isang bagay na dapat nating harapin ngayon. Hindi ito kahapon. Gustung-gusto ko ang larawang ito ng isang oso na kumukuha ng salmon na tumatalon sa labas ng ilog dahil talagang ipininta nito mismo ang nakikita kong streaming analytics. Ito ang napakalaking ilog ng data na darating sa amin, isang firehose kung gagawin mo, at ang oso ay nakaupo sa gitna ng sapa. Ito ay magsasagawa ng real-time na analytics sa kung ano ang nangyayari sa paligid nito na maaari itong talagang inhinyero ang kakayahan nitong makuha ang isda sa hangin. Hindi ito tulad ng paglulubog lamang sa sapa at pag-agaw ng isa. Ang bagay na ito ay tumatalon sa himpapawid at kinakailangang nasa tamang lugar sa tamang oras upang mahuli ang isda. Kung hindi, hindi siya nakakain ng agahan o tanghalian.
Nais ng isang samahan na gawin ang parehong bagay sa kanilang data. Nais nilang kunin ang halaga mula sa ngayon ay napakalaking dami ng data sa paggalaw. Nais nilang magsagawa ng analytics sa data na iyon at mataas na bilis ng data kaya hindi lamang ito ang dami ng data na darating sa amin ngunit ito ang bilis kung saan ito nanggagaling. Sa seguridad, halimbawa, lahat ng iyong mga router, switch, server, firewall at lahat ng mga kaganapan na nagmumula sa mga iyon at sampu-sampung libo kung hindi daan-daang libong mga aparato, sa ilang mga kaso na maaaring masira ng data. Kung iniisip natin ang tungkol sa Internet ng mga Bagay at ang pang-industriya na Internet, pinag-uusapan natin ang milyon-milyong kung hindi bilyun-bilyong mga sensor sa kalaunan, at habang ang data ay dumarating na kung saan ay gumaganap ng analytics, tinitingnan namin ngayon ang paggawa ng mga kumplikadong pagproseso ng mga kaganapan sa mga order ng kadakilaan at bilis na hindi pa namin nakita bago at kinakailangang harapin natin ito ngayon. Kailangan nating magtayo ng mga tool at system sa paligid na iyon. Ito ay isang tunay na hamon para sa mga organisasyon dahil sa isang banda, nakuha namin ang napakalaking mga tatak na gumagawa ng DIY, lutuin ito mismo, kapag nakuha nila ang kapasidad na gawin iyon at set ng kasanayan at ang engineering. Ngunit para sa average na samahan, hindi iyon ang kaso. Wala silang mga set ng kasanayan. Wala silang kakayahan o oras o kahit na ang pera upang mamuhunan sa pag-uunawa nito. Lahat sila ay naglalayong patungo sa konseptong ito ng malapit-real-time na paggawa ng desisyon.
Gumamit ng mga kaso na napagtagumpayan ko, at sila ay nasa kabuuan ng bawat malawak na spectrum ng bawat sektor na maaari mong isipin, ang mga tao ay nakaupo at nagbigay pansin at nagsasabi, paano namin mailalapat ang ilang mga analytics sa aming data ng stream? Pinag-uusapan namin ang tungkol sa mga serbisyo sa online na scale. Mayroong tradisyonal na mga platform ng social media at online na e-tailing at tingi - mga halimbawa halimbawa. Lahat sila ay sinusubukan na ibigay sa amin ang real-time na karanasan sa tanyag na tao. Ngunit kapag bumaba kami sa higit pa sa mga serbisyo ng stack ng teknolohiya, serbisyo sa telepono, boses at video, nakikita ko ang mga tao na naglalakad sa paggawa ng FaceTime sa mga telepono. Sumasabog lang ito. Nakalimutan ko ang aking isipan na ang mga tao ay hawakan ang telepono sa harap nila at nakikipag-usap sa isang video stream ng isang kaibigan kumpara sa hawakan pa nito sa kanilang tainga. Ngunit alam nila na magagawa nila ito at umangkop sila at nagustuhan nila ang karanasan na iyon. Ang pag-unlad ng mga application na ito at ang mga platform na naghahatid ng mga ito ay kinakailangang magsagawa ng real-time na analytics sa trapiko na iyon at sa mga profile ng trapiko upang magawa nilang gawin ang mga simpleng bagay tulad ng pag-ruta ng video na iyon nang perpekto upang ang kalidad ng boses sa Ang video na nakukuha mo ay sapat upang makakuha ng isang mahusay na karanasan. Hindi mo maaaring maproseso ang proseso ng uri ng data. Hindi ito gagawing stream ng real-time na video stream.
Mayroong hamon sa pamamahala sa mga transaksyon sa pananalapi. Hindi okay na makarating sa pagtatapos ng araw at malaman na sinira mo ang batas na gumalaw ng pribadong data sa lugar. Sa Australia, mayroon kaming isang napaka-kagiliw-giliw na hamon kung saan ang paglipat ng data na may kaugnayan sa labas ng data ay isang walang-no. Hindi mo maaaring kunin ang aking PID, ang aking pribadong personal na data ng pagkakakilanlan, sa labas ng pampang. Mayroong mga batas sa Australia upang matigil na mangyari ito. Ang mga tagapagbigay ng serbisyo sa pananalapi partikular na tiyak, mga serbisyo at pamahalaan ng gobyerno, kailangan nilang gawin real-time na analytics sa kanilang mga stream ng data at mga tagubilin sa akin upang matiyak na ang kanilang ibinibigay sa akin ay hindi nag-iiwan sa mga baybayin. Ang lahat ng mga bagay-bagay ay dapat manatili sa lokal. Kailangang gawin nila ito ng totoong oras. Hindi nila masisira ang batas at humingi ng kapatawaran sa ibang pagkakataon. Pagdiskubre ng pandaraya - ito ay isang medyo halata na naririnig natin tungkol sa mga transaksyon sa credit card. Ngunit habang ang mga uri ng mga transaksyon na ginagawa namin sa mga serbisyo sa pananalapi ay nagbabago, napakabilis, may mga uri ng mga bagay na ginagawa muna ng PayPal ngayon sa pag-alis ng pandaraya sa totoong oras kung saan ang pera ay hindi gumagalaw mula sa isang bagay patungo sa iba ngunit ito ay isang transaksyon sa pananalapi sa pagitan ng mga system. Ang mga platform sa pag-bid sa eBay, ang pagtuklas ng pandaraya ay dapat gawin nang real-time sa isang streaming office.
Mayroong isang kalakaran na gumagalaw ngayon sa pagsasagawa ng pagkuha at pagbago ng aktibidad ng pag-load sa mga agos upang hindi namin nais na makuha ang anumang bagay na pupunta sa stream. Hindi natin ito magagawa. Natutunan ng mga tao na ang data ay nagustuhan na masira talagang mabilis kung makuha namin ang lahat. Ang nanlilinlang ngayon ay upang magsagawa ng analytics sa mga daloy at gawin ang ETL dito at makuha lamang ang kailangan mo, potensyal na metadata, at pagkatapos ay magmaneho ng mahuhusay na analytics kung saan maaari naming pagkatapos ay sabihin kung ano ang mangyayari nang kaunti pa sa ibaba ang mga landas sa kung ano ang gusto namin nakita lang natin sa stream batay sa analytics na isinagawa namin sa na.
Ang mga nagbibigay ng enerhiya at mga utility ay nakakaranas ng napakalaking pagnanais na ito mula sa mga mamimili upang magkaroon ng presyo sa demand. Maaari kong magpasya na nais kong bumili ng berdeng kapangyarihan sa isang partikular na oras ng araw dahil nag-iisa lang ako sa bahay at hindi ako gumagamit ng maraming aparato. Ngunit kung mayroon akong isang partido sa hapunan, baka gusto kong magkaroon ng lahat ng aking mga aparato at ayaw kong bumili ng murang kapangyarihan at hintayin itong maihatid ngunit handang magbayad ng mas maraming gastos upang makuha ang kapangyarihang iyon. Ang kahilingan sa paghiling na ito partikular sa mga kagamitan at puwang ng enerhiya ay nangyari na. Ang Uber halimbawa ay isang klasikong halimbawa ng mga bagay na maaari mong gawin araw-araw at lahat ito ay hinihimok ng pagpepresyo ng demand. Mayroong ilang mga klasikong halimbawa ng mga tao sa Australia na nakakakuha ng $ 10, 000 pamasahe dahil sa napakalaking demand sa Bisperas ng Bagong Taon. Sigurado akong napagkasunduan nila ang isyu na iyon ngunit ang stream analytics ay isinasagawa sa real time habang sa kotse na nagsasabi sa iyo kung magkano ang dapat kong bayaran.
Internet ng mga bagay at mga stream ng sensor - nasusukat lamang namin ang ibabaw dito at talagang nagkaroon kami ng pangunahing pag-uusap na nangyayari sa ito ngunit makakakita kami ng isang kagiliw-giliw na pagbabago sa kung paano nakikitungo ang teknolohiya dahil kapag nagsasalita ka hindi halos mga libu-libo o sampu-sampung libo ngunit daan-daang libo at potensyal na bilyun-bilyong mga aparato na dumadaloy sa iyo, halos wala sa mga stacks ng teknolohiya na nakuha namin ngayon ay ininhinyero upang makayanan iyon.
Mayroong ilang mga talagang mainit na paksa na makikita natin sa paligid ng lugar tulad ng seguridad at peligro sa cyber. Ang mga ito ay tunay na mga hamon para sa amin. Mayroong isang talagang malinis na tool na tinatawag na North sa web kung saan maaari kang umupo at manood sa isang webpage ng iba't ibang mga cyberattacks na nangyayari sa real time. Kung titingnan mo ito, sa palagay mo "oh ito ay isang magandang cute na maliit na webpage, " ngunit pagkatapos ng mga limang minuto doon, napagtanto mo ang dami ng data na ginagawa ng system ang analytics sa lahat ng iba't ibang mga daloy ng lahat ng iba't ibang mga aparato sa buong mundo na pinapakain sa kanila. Nagsisimula itong mabalewala ang isipan kung paano nila isinasagawa iyon sa gilid ng tala na iyon ng mahalagang at nagbibigay sa iyo ng simpleng maliit na screen na nagsasabi sa iyo kung ano ang sa o ibang bagay na umaatake sa tunay na oras at kung anong mga uri ng pag-atake. Ngunit ito ay talagang masinop na maliit na paraan upang makakuha lamang ng isang mahusay na panlasa ng kung ano ang maaaring magawa ng stream analytics para sa iyo sa totoong oras sa pamamagitan lamang ng panonood ng pahinang ito at nakakakuha ng isang kahulugan ng dami at hamon ng pagkuha ng mga sapa, pagproseso ng mga query sa analytics sa ang mga ito at kinakatawan nito sa totoong oras.
Sa palagay ko ang pag-uusap na mayroon ako para sa natitirang sesyon ay upang matugunan ang lahat ng mga uri ng mga bagay na may isang kawili-wiling pagtingin, mula sa aking pananaw, at iyon ang hamon ng DIY, lutuin mo ito mismo, nababagay sa ilan sa mga klasikong unicorn na may kakayahang magtayo ng mga uri ng mga bagay. Nakuha nila ang bilyun-bilyong dolyar upang itayo ang mga pangkat ng inhinyero at upang maitayo ang kanilang mga sentro ng data. Ngunit para sa 99.9% ng mga samahan sa labas doon na nais na magmaneho ng halaga sa kanilang negosyo ng stream analytics, kailangan nilang makakuha ng serbisyo sa labas. Kailangan nilang bumili ng isang produkto sa labas ng kahon at sa pangkalahatan ay kailangan nila ng serbisyo sa pagkonsulta at propesyonal na serbisyo upang matulungan silang maipatupad ito at makuha nila ang halagang iyon pabalik sa negosyo at ibalik ito sa negosyo bilang isang gumaganang solusyon.
Kasama nito, ibabalik ko sa iyo, Rebecca, dahil naniniwala ako na iyon ang sasalubungin namin nang detalyado ngayon.
Rebecca Jozwiak: Magaling. Maraming salamat, Dez. Iyon ay isang mahusay na pagtatanghal.
Ngayon, ipapasa ko ang bola kay Robin. Kunin mo na.
Robin Bloor: Okay. Sapagkat si Dez ay napunta sa hindi nakakatawa na pagproseso ng mga batis, tila hindi ako makatuwiran upang masakop ito muli. Kaya pupunta lang ako sa isang ganap na estratehikong pananaw. Naghahanap ng halos mula sa isang napakataas na antas sa kung ano ang nangyayari sa impiyerno at ipoposisyon ito dahil sa palagay ko ay maaaring makatulong ito sa mga tao, lalo na sa amin ang mga tao na hindi nagkamping sa pagproseso ng mga sapa sa malaking lalim bago.
Ang pagproseso ng mga stream ay nasa loob ng mahabang panahon. Dati naming tinawag itong CEP. Nagkaroon ng mga real-time system bago iyon. Ang orihinal na mga sistema ng control control ay talagang pagproseso ng mga daluyan ng impormasyon - syempre walang nangyayari sa ngayon. Ang graphic na nakikita mo sa slide dito; itinuturo nito ang maraming mga bagay na talagang, ngunit itinuturo ito sa itaas at higit sa anupaman - ang katotohanan na mayroong isang spectrum ng mga latitude na lumilitaw sa iba't ibang kulay dito. Ang tunay na nangyari mula sa pag-imbento ng computing o komersyal na kompyuter na dumating mismo sa paligid ng 1960 ay ang lahat ay mabilis at mabilis. Nauna kaming nakasalalay sa paraang ito ay talagang lalabas kung gusto mo ng mga alon, dahil iyon ang hitsura nito. Ito ay talagang nakasalalay dito. Dahil lahat ito ay hinihimok ng batas ng Moore at ang batas ng Moore ay magbibigay sa amin ng isang kadahilanan na halos sampung beses na bilis sa loob ng isang panahon ng halos anim na taon. Pagkatapos sa sandaling nakuha talaga namin ang tungkol sa 2013, lahat ito ay sumira, at bigla kaming nagsimula upang mapabilis sa isang rate na hindi namin kailanman, na hindi gaanong nagawa. Kami ay nakakakuha ng isang kadahilanan ng tungkol sa sampung sa mga tuntunin ng pagtaas ng bilis at samakatuwid ay isang pagbawas sa latency tungkol sa bawat anim na taon. Sa anim na taon mula noong tungkol sa 2010, nakakuha kami ng maramihang hindi bababa sa isang libo. Tatlong mga order ng magnitude kaysa sa isa.
Iyon ang nangyayari at iyon ang dahilan kung bakit ang industriya sa isang paraan o iba pa ay lumilitaw na gumagalaw sa kamangha-manghang bilis - sapagkat ito ay. Ang pagpunta lamang sa kahulugan ng partikular na graphic na ito, ang mga oras ng pagtugon ay talagang sa pamamagitan ng paraan ay nasa scale ng algorithm pababa sa vertical axis. Ang totoong oras ay ang bilis ng computer, mas mabilis kaysa sa mga tao. Mga interactive na oras ay orange. Ito ay kapag nakikipag-ugnay ka sa computer na kung saan mo talagang nais ng isang ikasampu hanggang sa isang segundo ng latency. Sa itaas, mayroong transactional kung saan aktwal nating iniisip kung ano ang ginagawa mo sa computer ngunit kung lalabas ito sa halos labinlimang segundo ay hindi ito mawawala. Ang mga tao ay talagang hindi na maghihintay para sa computer. Lahat ay ginawa sa batch. Ang isang pulutong ng mga bagay na nagawa sa batch na ngayon ay bumababa mismo sa transactional space, papunta sa interactive space o maging sa real-time space. Sapagkat dati, isang kulot na may napakaliit na dami ng data na magagawa natin dito, magagawa natin ngayon sa napakalaking halaga ng data gamit ang mahigpit na naalis na kapaligiran.
Kaya talaga, lahat ng sinasabi nito ay talagang transaksyon at interactive na oras ng pagtugon ng tao. Ang isang kakila-kilabot na kung ano ang ginagawa sa mga sapa ngayon ay upang ipaalam sa tao ang tungkol sa mga bagay. Ang ilan sa mga ito ay mas mabilis kaysa sa na at ito ay nagpapaalam ng mga bagay-bagay nang maayos kaya ito ay tunay na oras. Pagkatapos kumuha kami ng isang lisensya upang i-drop tulad ng isang bato, paggawa ng instant na analytics na magagawa at nagkataon ay lubos na abot-kayang. Ito ay hindi lamang ang bilis ay bumaba at ang tuktok ay gumuho rin. Marahil ang pinakamalaking epekto sa lahat ng mga ito sa gitna ng lahat ng iba't ibang mga aplikasyon, magagawa mo ang lahat ng mga mahuhulaan na analytics na ito. Sasabihin ko sa iyo kung bakit sa isang minuto.
Ito lang ang hardware store. Nakakuha ka ng kahanay na software. Pinag-uusapan namin ang tungkol sa 2004. Arkitektura ng scale-out, multicore chips, pagtaas ng memorya, maaaring i-configure ang CPU. Ang mga SSD ay napunta nang mas mabilis kaysa sa pag-ikot ng disk. Maaari kang magkano ang paikot na pag-ikot ng alon paalam. Ang mga SSD ay nasa maraming mga cores din, kaya muli nang mas mabilis at mas mabilis. Malapit na lumitaw, nakuha namin ang memristor mula sa HP. Nakuha namin ang 3D XPoint mula sa Intel at Micron. Ang pangako ng mga iyon ay gagawin nitong lahat ng mas mabilis at mas mabilis pa rin. Kung talagang nag-iisip ka ng dalawang bagong teknolohiya sa memorya, na kapwa gagawa ng kabuuan ng pangunahing maliit na piraso, mas mabilis ang paglalakbay ng indibidwal na circuit board, hindi pa namin nakita ang katapusan nito.
Ang teknolohiya ng mga stream, na kung saan ay ang susunod na mensahe talaga, ay narito upang manatili. Mayroong kailangang maging isang bagong arkitektura. Ibig kong sabihin ay ang uri ni Dez ay binanggit ito sa maraming mga punto sa kanyang pagtatanghal. Sa loob ng mga dekada ay tiningnan namin ang arkitektura bilang isang kumbinasyon ng mga tambak ng data at mga tubo ng data. Kami ay may posibilidad na iproseso ang mga tambak at kami ay may posibilidad na i-pipe ang data sa pagitan ng mga tambak. Kami ay gumagalaw na panimula patungo sa tinatawag naming arkitektura ng data ng Lambda na pinagsasama ang pagproseso ng mga daloy ng data na may mga tambak ng data. Kung talagang nagpoproseso ka ng isang stream ng mga kaganapan na pumapasok laban sa makasaysayang data bilang isang daloy ng data o isang tambak ng data, iyon ang ibig kong sabihin ng arkitektura ng Lambda. Ito ay sa kanyang pagkabata. Ito ay isang bahagi lamang ng larawan. Kung isaalang-alang mo ang isang bagay na kumplikado tulad ng Internet ng Lahat na nabanggit din ni Dez, talagang makikilala mo na mayroong lahat ng mga uri ng mga isyu sa lokasyon ng data - mga pagpapasya kung ano ang dapat mong iproseso sa stream.
Ang bagay na talagang sinasabi ko dito ay kapag kami ay nagproseso sa batch, talagang pinoproseso namin ang mga sapa. Hindi namin ito magawa nang paisa-isa. Naghihintay lang kami hanggang sa may isang malaking tambak ng mga gamit at pagkatapos ay iproseso namin ito nang sabay-sabay. Lumilipat kami sa isang sitwasyon kung saan maaari naming talagang magproseso ng mga bagay-bagay sa stream. Kung maaari nating iproseso ang mga bagay-bagay sa stream, kung gayon ang mga data na nag-iimpok na ating hawak ay magiging static data na kailangan nating isangguni upang maiproseso ang data sa stream.
Dadalhin tayo nito sa partikular na bagay na ito. Nabanggit ko ito bago sa ilang pagtatanghal na may biological pagkakatulad. Ang paraang nais kong isipin ay sa sandaling tayo ay mga tao. Mayroon kaming tatlong natatanging mga network para sa pagproseso ng tunay na oras. Tinatawag silang somatic, autonomic at enteric. Ang enteric ay ang iyong tiyan. Ang sistemang autonomic nerbiyos ay nag-aalaga ng labanan at flight. Talagang inaalagaan nito ang mabilis na reaksyon sa kapaligiran. Ang somatic na nangangalaga sa paglipat ng katawan. Iyon ay mga sistema ng real-time. Ang kagiliw-giliw na bagay tungkol dito - o sa palagay ko ay uri ng kawili-wili - ay marami sa mga ito ay mas mahuhulaan kaysa sa nais mong isipin. Para bang talagang tinitingnan mo ang isang screen sa paligid ng mga 18 pulgada mula sa iyong mukha. Ang lahat ng nakikita mo nang malinaw, lahat na ang iyong katawan ay may kakayahang makita nang malinaw ay sa aktwal na katotohanan tungkol sa isang 8 × 10 na parihaba. Ang lahat ng nasa labas nito ay talagang malabo hanggang sa nababahala ang iyong katawan ngunit ang iyong isip ay talagang pinupunan ang mga gaps at ginagawa itong hindi malabo. Hindi ka nakakakita ng isang blur. Malinaw mong nakikita ito. Ang iyong isip ay talagang gumagawa ng mahuhula na paraan ng stream ng data upang makita mo ang kaliwanagan. Iyan ang uri ng isang nakaka-usisa na bagay ngunit maaari mong aktwal na tingnan ang paraan ng pagpapatakbo ng sistema ng nerbiyos at ang paraan na pinamamahalaan namin upang lumibot at kumilos nang makatuwiran - hindi bababa sa ilan sa amin - makatuwiran na may katahimikan at hindi nakakagulat sa mga bagay sa lahat ng oras.
Tapos na ang lahat sa pamamagitan ng isang serye ng neural analytics scale sa loob dito. Ang mangyayari ay ang mga samahan ay magkakaroon ng parehong uri ng bagay at gagawa ng parehong uri ng bagay at ito ay magiging pagpoproseso ng mga agos kasama na ang panloob na daluyan ng samahan - ang mga bagay na nangyayari sa loob ito, ang mga bagay na nangyayari sa labas nito, ang mga agarang tugon na dapat gawin ay siyempre ang pagpapakain sa tao upang makagawa ng mga pagpapasya, upang maganap ang lahat ng ito. Kung saan tayo pupunta, hanggang sa nakikita ko.
Ang isa sa mga bagay na bunga ng iyon ay ang antas ng aplikasyon ng streaming ay maayos. Magkakaroon ng isang kakila-kilabot na higit pa kaysa sa nakikita natin ngayon. Sa ngayon, pinipili namin ang mababang-nakabitin na prutas sa paggawa ng mga bagay na halata.
Kaya't anuman ang pagtatapos dito. Ang pag-stream ng analytics ay isang beses na angkop na lugar ngunit nagiging mainstream ito at malapit na itong maampon sa pangkalahatan.
Gamit nito, ibabalik ko ito sa Rebecca.
Rebecca Jozwiak: Maraming salamat, Robin. Mahusay na pagtatanghal tulad ng dati.
Anand, susunod ka na. Ang sahig ay iyo.
Anand Venugopal: Napakaganda. Salamat.
Ang pangalan ko ay Anand Venugopal at ako ang Ulo ng Produkto para sa StreamAnalytix. Ito ay isang produkto na inaalok ng Impetus Technologies, sa labas ng Los Gatos, California.
Si Impetus ay talagang may isang mahusay na kasaysayan sa pagiging isang malaking provider ng solusyon sa data para sa malalaking negosyo. Kaya talagang nagawa namin ang isang bilang ng mga pagpapatupad ng streaming analytics bilang isang kumpanya ng serbisyo at marami kaming natutunan. Nagsagawa rin kami ng isang paglipat upang maging isang kumpanya ng produkto at kumpanya na hinihimok ng solusyon sa huling ilang taon at ang stream analytics ay pinangangasiwaan ang pagsingil sa Impetus sa isang kalakhang kumpanya na hinihimok ng produkto. Mayroong ilang mga kritikal, napaka, napakahalagang mga pag-aari na tinanggal ni Impetus sa aming pagkakalantad sa mga negosyo at ang StreamAnalytix ay isa sa kanila.
Kami ay 20 taon sa negosyo at mayroong isang mahusay na halo ng produkto at serbisyo na nagbibigay sa amin ng malaking kalamangan. At ang StreamAnalytix ay isinilang sa lahat ng mga aralin na natutunan mula sa aming unang lima o anim na pagpapatupad ng streaming.
Makikipag-ugnay ako sa ilang mga bagay, ngunit ang mga analyst na sina Dez at Robin, ay nakagawa ng isang kamangha-manghang trabaho sa pagsakop sa puwang sa pangkalahatan upang laktawan ko ang maraming nilalaman na overlay. Mabilis akong pumunta. Nakikita namin bukod sa totoong mga kaso ng streaming na gumagamit ng maraming lamang sa pagpabilis ng batch kung saan mayroong literal, napakahalagang proseso ng batch sa mga negosyo. Tulad ng nakikita mo, ang buong siklo ng sensing ng isang kaganapan at pagsusuri at kumikilos dito ay maaaring tumagal ng ilang linggo sa mga malalaking negosyo at lahat sila ay nagsisikap na pag-urong ito hanggang sa ilang minuto at kung minsan ay mga segundo at millisecond. Kaya ang anumang mas mabilis kaysa sa lahat ng mga prosesong ito sa batch ay mga kandidato para sa pagkuha ng negosyo at napakahusay na inilalagay na ang halaga ng data na kapansin-pansing nababawasan sa edad nito, kaya ang higit na halaga ay nasa paunang bahagi sa mga segundo na nangyari lamang ito. Sa isip, kung maaari mong mahulaan kung ano ang mangyayari, iyon ang pinakamataas na halaga.May nakasalalay sa kawastuhan. Ang susunod na pinakamataas na halaga ay kapag ito ay naroroon kapag nangyayari ito maaari mong pag-aralan ito at tumugon. Siyempre, ang halaga ng kapansin-pansing binabawasan pagkatapos nito, ang pangunahing paghihigpit na BI na nasa atin.
Ito ay kagiliw-giliw. Maaari mong asahan ang ilang mga pang-agham na sagot sa kung bakit ang streaming analytics. Sa maraming mga kaso, ang nakikita natin ay dahil ito ay posible na at dahil alam ng lahat na ang batch ay matanda, ang batch ay mainip at ang batch ay hindi cool. Mayroong sapat na edukasyon na mayroon ang lahat ngayon sa katotohanan na mayroong streaming posible at lahat ay may Hadoop ngayon. Ngayon ang mga pamamahagi ng Hadoop ay may isang teknolohiya ng streaming na naka-embed sa loob nito, kung Storm man o Spark streaming at ng mga kurso ng mensahe ng kurso, tulad ng Kafka, atbp.
Ang mga negosyo na nakikita natin ay tumatalon dito at nagsimulang mag-eksperimento sa mga kasong ito at nakakakita tayo ng dalawang malawak na kategorya. Ang isa ay may kinalaman sa analytics ng customer at karanasan sa customer at ang pangalawang katalinuhan sa pagpapatakbo. Kukunin ko sa ilang mga detalye sa na sa ibang sandali. Ang buong serbisyo sa kostumer at anggulo ng karanasan sa customer at kami sa Impetus StreamAnalytix ay nagawa ito sa maraming iba't ibang mga paraan ay talagang lahat tungkol sa tunay, tunay na nakakakuha ng pakikipag-ugnayan ng multi-channel ng consumer sa totoong oras at bigyan sila ng napaka, napaka-sensitibong karanasan sa konteksto na hindi pangkaraniwan ngayon. Kung nagba-browse ka sa web, sa website ng Bank of America, at nagsasaliksik ka ng ilang mga produkto at tinawag mo lamang ang call center. Sasabihin ba nila, "Hoy Joe, alam kong nagsasaliksik ka ng ilang mga produktong banking, nais mo bang punan kita?" Hindi mo inaasahan na ngayon, ngunit iyon ang uri ng karanasan na tunay na posible sa streaming analytics. Sa maraming mga kaso, gumagawa ito ng isang malaking pagkakaiba-iba, lalo na kung ang customer ay nagsimulang magsaliksik ng mga paraan upang makalabas sa kanilang kontrata sa iyo sa pamamagitan ng pagtingin sa mga sugnay na mga sugnay na pagwawakas o mga tuntunin at kundisyon ng maagang pagwawakas sa iyong website at pagkatapos ay tumawag sa at magagawa mong direktang harapin ang mga ito tungkol sa mga ito ngunit hindi direktang gumawa ng isang alok tungkol sa ilang uri ng unang promosyon dahil alam ng system na ang taong ito ay tumitingin sa maagang pagwawakas at ginagawa mo ang alok na iyon sa puntong iyon, maaari mong naprotektahan nang maayos ang churning na customer at protektahan ang asset .
Iyon ay magiging isang halimbawa, kasama ang maraming mga serbisyo sa customer ay lahat ng napakahusay na halimbawa. Nagpapatupad kami ngayon ay ibinababa ang gastos sa call center pati na rin ang nagbibigay ng dramatikong kasiya-siyang karanasan sa customer. Malaki ang ginawa ni Dez sa pagbubuod ng ilan sa mga kaso ng paggamit. Maaari kang tumitig sa tsart na ito ng ilang minuto. Inuri ko ito bilang mga vertical, horizontals, at combo area, IoT, mobile app at call center. Lahat sila ay mga vertical at horizontals. Ito ay nakasalalay sa kung paano mo ito tinitingnan. Sa ilalim ng linya, nakikita namin ang isang mahusay na pakikitungo ng mga pahalang na paggamit na medyo pangkaraniwan sa mga vertical ng industriya at mayroong isang patayong partikular na mga kaso ng paggamit kasama ang mga serbisyo sa pananalapi, pangangalaga ng kalusugan, telecom, pagmamanupaktura, atbp Kung talagang tatanungin mo ang iyong sarili sa tanong o sinasabi sa iyong sarili na, "oh, hindi ko alam kung anong mga kaso ang mayroong. Hindi ako sigurado kung mayroon talagang anumang halaga ng negosyo sa streaming analytics para sa aking kumpanya o para sa aming negosyo, "isiping mabuti, isipin nang dalawang beses. Makipag-usap sa mas maraming tao dahil may mga kaso ng paggamit na may kaugnayan sa iyong kumpanya ngayon. Papasok ako sa halaga ng negosyo sa kung paano eksaktong nakuha ang halaga ng negosyo.
Sa ilalim ng pyramid dito, mayroon kang mahuhulaan na pagpapanatili, seguridad, proteksyon sa churn, atbp. Ang mga uri ng mga kaso ng paggamit ay bumubuo ng proteksyon ng mga kita at mga pag-aari. Kung pinoprotektahan ng Target ang kanilang paglabag sa seguridad na nangyari nang maraming oras at linggo, maaaring mai-save ng CIO ang kanyang trabaho. Maaari itong makatipid ng sampu o daan-daang milyong dolyar, atbp. Ang real-time na streaming analytics ay makakatulong sa pagprotekta sa mga assets at pagprotekta sa mga pagkalugi. Iyon ang direktang halaga ng negosyo na idinagdag doon mismo.
Ang susunod na kategorya ay nagiging mas kumikita, binabaan ang iyong gastos at nakakuha ng mas maraming kita mula sa kasalukuyang operasyon. Na ang kahusayan ng kasalukuyang negosyo. Iyon ang lahat ng kategorya ng mga kaso ng paggamit na tinatawag naming real-time na pagpapatakbo ng katalinuhan kung saan nakakakuha ka ng malalim na pananaw sa kung paano kumikilos ang network, kung paano kumikilos ang iyong operasyon sa customer, kung paano kumikilos ang proseso ng iyong negosyo, at magagawa mong mag-tweak lahat yan sa totoong oras dahil nakakuha ka ng feedback, makakakuha ka ng mga alerto. Nakakakuha ka ng mga pagsamba, mga pagkakaiba-iba sa totoong oras at maaari mong mabilis na kumilos at ihiwalay ang proseso na lumabas sa mga hangganan.
Maaari mo ring mai-save ang maraming pera sa mga mamahaling pag-upgrade ng kapital at mga bagay na sa palagay mo ay kinakailangan na maaaring hindi kinakailangan kung na-optimize mo ang serbisyo sa network. Narinig namin ang isang kaso kung saan ipinagpaliban ng isang pangunahing telco ang isang $ 40 milyong pag-upgrade sa kanilang imprastraktura ng network dahil nalaman nila na mayroon silang sapat na kakayahan upang pamahalaan ang kanilang kasalukuyang trapiko, na kung saan ay sa pamamagitan ng pag-optimize at mas mahusay na gawin ang matalinong pag-ruta ng kanilang trapiko at mga bagay na katulad nito. Ang lahat ay posible lamang sa ilang mga real-time na analytics at pagkilos na gumagana sa mga pananaw na iyon sa real time.
Ang susunod na antas ng pagdaragdag ng halaga ay up-sell, cross-sell kung saan may mga pagkakataon na makagawa ng mas maraming kita at kita mula sa kasalukuyang mga handog. Ito ay isang klasikong halimbawa na alam ng marami sa atin tungkol sa naranasan nila kung saan, iniisip mo sa iyong buhay kung saan handa kang talagang bumili ng isang produkto ngayon na hindi inaalok sa iyo. Sa maraming, maraming mga kaso, talagang nangyayari. Mayroon kang mga bagay sa iyong isip na gusto mong bilhin na alam mong gusto mong bilhin, na mayroon kang listahan ng dapat gawin o isang bagay, sinabi sa iyo ng iyong asawa o kung wala kang asawa ngunit gusto mo talagang bilhin at pumunta ka sa alinman sa pamimili sa isang website o nakikipag-ugnay ka sa isang tindahan ng tingi, ang storefront ay wala lamang ang konteksto, ay walang katalinuhan upang makalkula kung ano ang maaaring kailanganin mo. Kaya, hindi nila nai-secure ang kanilang negosyo. Kung ang streaming analytics ay maaaring ma-deploy upang gumawa ng tumpak na mga hula at kung saan ay talagang posible sa kung ano ang pinaka-angkop sa partikular na konteksto na ito, ang customer na ito sa oras na ito, maraming mga nabenta at cross-nagbebenta at muling nagmula sa streaming analytics - na makagawa ng desisyon ng propensidad ng kung ano ang malamang na bilhin o tumugon sa customer na ito sa sandaling iyon ng katotohanan kapag mayroong isang pagkakataon. Iyon ang dahilan kung bakit gustung-gusto ko ang larawang iyon na ipinakita ni Dez kasama ang oso na halos makakain ng isdang iyon. Iyan na iyun.
Sa tingin din namin mayroong isang malaking kategorya sa labas ng mga dramatikong, pagbabago ng pagbabago sa isang negosyo na nag-aalok ng ganap na mga bagong produkto at serbisyo lamang batay sa pagmamasid sa pag-uugali ng customer, lahat batay sa pagmamasid ng pag-uugali ng isa pang negosyo. Kung, sabihin natin, ang isang telco o isang kumpanya ng cable ay tunay na nagmamasid sa mga pattern ng paggamit ng mga customer sa kung anong segment ng merkado ang tinitingnan niya, kung anong programa sa anong oras, atbp, talagang nagtatapos sila ng paglikha ng mga produkto at serbisyo na halos nagmamakaawa. para sa ilang mga paraan. Kaya't ang buong konsepto ng pag-uugali ng multi-screen ngayon kung saan halos ngayon ay pinapansin natin na maaari nating makita ang nilalaman ng TV o cable sa aming mga mobile app. Ang ilan sa mga halimbawa ay nagmumula sa mga bagong produkto at serbisyo na inaalok sa amin.
Papasok ako, "Ano ang mga pagsasaalang-alang ng arkitektura ng streaming analytics?" Sa huli ito ang sinusubukan nating gawin. Ito ang arkitektura ng Lambda kung saan mo pinaghalo ang makasaysayang data at ang mga real-time na pananaw at nakikita ito nang sabay. Iyon ang pinapayagan ni Sigma. Lahat tayo ay mayroong arkitektura ng batch at larawan ng negosyo ngayon. Naghahabol kami ng ilang uri ng isang BI stack at paggamit stack at idinagdag ang arkitektura ng Lambda. Bilang ang bilis ng layer o ang pangangailangan at ang Lambda ay tungkol sa pagsasama ng dalawang pananaw na iyon at nakikita na sa isang pinagsamang paraan, sa isang mayamang paraan na pinagsasama ang parehong mga pananaw.
Mayroong isa pang paradigma na tinatawag na arkitektura ng Kappa na iminungkahi kung saan ang haka-haka ay ang bilis ng layer ay ang tanging mekanismo ng pag-input na magpapatuloy sa mas matagal na termino. Ang lahat ay darating sa pamamagitan ng bilis na layer na ito. Mayroong kahit na hindi pagpunta sa isang offline na mekanismo ng ETL. Mangyayari ang lahat ng ETL. Linisin, paglilinis ng data, kalidad ng ETL - lahat ng ito ay mangyayari sa kawad, sapagkat tandaan na ang lahat ng data ay ipinanganak ng totoong oras. Sa ilang mga punto, ito ay tunay na oras. Nasanay na namin ito sa paglalagay nito sa mga lawa, sa mga ilog at karagatan, pagkatapos ay ginagawa ito sa static na pagsusuri na nakalimutan namin na ang data ay ipinanganak sa isang punto sa real time. Ang lahat ng data ay talagang ipinanganak bilang isang real-time na kaganapan na nangyari sa punto ng oras at karamihan sa mga data ngayon sa lawa ay inilagay lamang sa database para sa isang pag-analisa sa ibang pagkakataon at mayroon na tayong kalamangan sa arkitektura ng Lambda at Kappa ng aktwal nakikita ito, sinusuri ito, paunang pagproseso at pag-reaksyon dito pagdating. Iyon ang pinapagana ng mga teknolohiyang ito. Kapag tiningnan mo ito bilang isang pangkalahatang larawan, mukhang tulad nito kung saan mayroong Hadoop sa loob, mayroong mga MPP, at mga bodega ng data na mayroon ka.
Itinataguyod namin ito dahil mahalaga na hindi lamang pag-usapan ang mga bagong teknolohiya sa isang isla. Kailangan nilang pagsamahin. Kailangan nilang magkaroon ng kahulugan sa kasalukuyang konteksto ng negosyo, at bilang mga nagbibigay ng solusyon na naghahatid ng mga negosyo, napaka-sensitibo namin sa ito. Tumutulong kami sa mga uri ng negosyo na isama ang buong bagay. Mayroong mga mapagkukunan ng data sa kaliwang bahagi na nagpapakain sa parehong mga layer ng Hadoop at data ng bodega pati na rin sa real-time layer sa itaas at ang bawat isa sa mga nilalang ay mga stock computer na nakikita mo at ang layer ng pagkonsumo ng data ay nasa kanan panig. Mayroong patuloy na pagsisikap upang ilipat ang karamihan ng pagsunod, pamamahala, seguridad, pamamahala ng ikot ng buhay, atbp, na magagamit ngayon lahat ay napasukan sa bagong teknolohiyang ito.
Ang isa sa mga bagay na sinusubukan na gawin ng stream analytics, kung titingnan mo ang tanawin ngayon, maraming mga bagay na nangyayari sa stream ng teknolohiya ng streaming at mula sa isang punto ng kostumer ng negosyo ng negosyo, napakaraming maunawaan. Napakaraming dapat tandaan. Mayroong mga mekanismo ng pangangalap ng data sa kaliwang bahagi - NiFi, Logstash, Flume, Sqoop. Malinaw na, naitaguyod ko ang isang disclaimer na nagsasabing hindi ito kumpleto. Ang pagpasok sa mensahe ay pumila at pagkatapos ay papasok sa open-source streaming engine - Bagyo, Spark Streaming, Samza, Flink, Apex, Heron. Marahil ay hindi pa bukas si Heron. Hindi ako sigurado kung ito ay, mula sa Twitter. Ang mga streaming engine pagkatapos ay humantong sa o suportahan ang isang bahagi ng pagsusuri ng application na application tulad ng kumplikadong pagproseso ng kaganapan, pag-aaral ng makina, mahuhulaan na analytics, alerto sa module, streaming ETL, pagpapayaman statistical operasyon filter. Iyon ang lahat na tinatawag nating mga operator ngayon. Ang hanay ng mga operator na iyon ay magkasama ay may potensyal na din ang ilang mga pasadyang higit sa lahat ay natapos kung kinakailangan ay magiging isang application ng streaming na tumatakbo sa isang streaming engine.
Bilang bahagi ng kadena ng mga sangkap, kailangan mo ring mag-imbak at mai-index ang data sa iyong paboritong database, ang iyong paboritong index. Maaari mo ring ipamahagi ang cache at muli na humahantong sa layer ng visualization ng data sa kanang bahagi sa tuktok na bahagi sa mga komersyal na produkto o bukas na mga produkto ng mapagkukunan, ngunit sa huli kailangan mo ng ilang uri ng isang produkto upang mailarawan ang data sa real time. Gayundin, kailangan mong paminsan-minsan na malaman ang iba pang mga application. Nakita nating lahat na ang mga halagang nagmula lamang sa aksyon na iyong nakuha sa pananaw, ang pagkilos na iyon ay magiging isang pag-trigger mula sa isang analytical stack sa isa pang stack na application na marahil ay nagbago iyon sa isang bahagi ng IVR o nag-trigger ng isang call center outbound call o kung anu-ano. Kailangan namin na maisama ang mga system at ilang mekanismo para sa iyong streaming cluster upang ma-trigger ang iba pang mga aplikasyon ng pagpapadala ng data sa ibaba ng agos.
Iyon ang pangkalahatang salansan mula sa pagpunta mula sa kaliwa patungo sa kanan. Pagkatapos ay mayroon kang mga layer ng serbisyo, sa gitna ng pagmamanman, pangkalahatang serbisyo ng seguridad, atbp Pagdating sa kung anong mga produkto na nakalabas doon sa puwang ng enterprise na nakikita ng mga customer tulad ng mga pamamahagi ng Hadoop na lahat ay may streaming tulad ng sinabi ko at mayroong komersyal o solong -vendor solution na malinaw naman sa aming mga kakumpitensya. Marami pa rin sa tanawin na maaaring hindi natin nabanggit dito.
Ang nakikita mo doon ay malawak na nakikita ng gumagamit ng negosyo. Isang kumplikado at mabilis na umuusbong na teknolohiya ng teknolohiya para sa pagproseso ng stream, tulad ng nakikita mo. Mayroon kaming upang gawing simple ang pagpipilian at ang kanilang karanasan sa gumagamit. Ang inaakala nating kailangan ng mga negosyo ay ang pagpapaandar ng lahat ng iyon sa one-stop-shop, madaling gamiting interface na pinagsasama-sama ang lahat ng mga teknolohiyang iyon na ginagawang talagang simpleng gamitin at hindi mailantad ang lahat ng mga gumagalaw na bahagi at ang mga isyu ng marawal na kalagayan at ang mga isyu sa pagganap at ang mga isyu sa pagpapanatili ng ikot ng buhay sa negosyo.
Ang pag-andar ng abstraction ay isa. Ang pangalawang bahagi ay ang streaming engine abstraction. Ang mga streaming engine at bukas na mapagkukunan ng domain ay darating nang isang beses bawat tatlo, apat o anim na buwan ngayon. Ito ay Storm sa mahabang panahon. Dumating si Samza at ngayon ay Spark Streaming na ito. Itinaas ng flink ang ulo nito, nagsisimula upang makakuha ng pansin. Kahit na ang landas ng Spark Streaming, gumagawa sila ng isang paraan para sa potensyal na paggamit ng isang iba't ibang makina para sa dalisay na pagpoproseso ng kaganapan dahil napagtanto din nila na Spark ay dinisenyo para sa batch at gumagawa sila ng paraan sa kanilang arkitektura ng arkitektura at ang kanilang roadmap para sa potensyal na pagkakaroon ng ibang engine para sa pagproseso ng stream bilang karagdagan sa kasalukuyang pattern ng microbatch sa Spark Streaming.
Ito ay isang katotohanan na kailangan mong makipaglaban sa na mayroong maraming ebolusyon. Kailangan mo talagang protektahan ang iyong sarili mula sa pagkilos ng teknolohiya na iyon. Dahil sa default, kakailanganin mong pumili ng isa at pagkatapos ay mabuhay kasama ito, na hindi optimal. Kung tinitingnan mo ito sa ibang paraan, nakikipaglaban ka sa pagitan ng, "okay, kailangan kong bumili ng isang proprietary platform kung saan walang lock-in, walang pag-agaw ng bukas na mapagkukunan, maaaring maging napakataas na gastos at limitado kakayahang umangkop laban sa lahat ng mga bukas na mapagkukunang stack na kung saan kailangan mong gawin ito sa iyong sarili. "Muli, tulad ng sinabi ko, maraming gastos at pagkaantala sa pagpasok sa merkado. Ang sinasabi namin ay ang StreamAnalytix ay isang halimbawa ng isang mahusay na platform na pinagsasama-sama ang klase ng enterprise, maaasahan, nag-iisang nagbebenta, suportado ng propesyonal na serbisyo - lahat ng iyong talagang kailangan bilang isang enterprise at ang lakas ng kakayahang umangkop ng open source ecosystem kung saan pinagsasama-sama ang isang platform - Ingest, CEP, analytics, visualization at lahat ng iyon.
Gumagawa din ito ng isang napaka, napaka natatanging bagay, na pinagsasama-sama ang maraming iba't ibang mga makina ng teknolohiya sa ilalim ng isang karanasan sa gumagamit. Sa palagay namin ay ang hinaharap ay tungkol sa kakayahang gumamit ng maraming mga streaming engine dahil ang iba't ibang mga kaso ng paggamit ay talagang hinihingi ang iba't ibang mga arkitektura ng streaming. Tulad ng sinabi ni Robin, mayroong isang buong spectrum ng mga latencies. Kung talagang pinag-uusapan mo ang tungkol sa millisecond latency level, sampu-sampung o kahit na daan-daang millisecond, talagang kailangan mo ng Storm sa oras na ito hanggang sa mayroon ding isa pang pantay na mature na produkto para sa mas kaunting kahinahunan o nakababatang oras at laten ng marahil sa loob ng ilang segundo, tatlo, apat, limang segundo, saklaw na iyon, pagkatapos ay maaari mong gamitin ang Spark Streaming. Posibleng, may iba pang mga makina na maaaring gawin pareho. Sa ilalim ng linya, sa isang malaking negosyo, may mga kaso ng paggamit ng lahat ng mga uri. Nais mo talaga ang pag-access at ang pangkalahatang pangkaraniwan na magkaroon ng maramihang mga makina na may isang karanasan sa gumagamit at iyon ang sinusubukan naming bumuo sa StreamAnalytix.
Isang mabilis na pagtingin lamang sa arkitektura. Kami ay pagpunta sa rework ito ng kaunti, ngunit mahalagang, mayroong maraming mga mapagkukunan ng data na pumapasok sa kaliwang bahagi - Kafka, RabbitMQ, Kinesis, ActiveMQ, lahat ng mga mapagkukunan ng data at mga pila sa mga mensahe na papasok sa stream processing platform kung saan makakakuha ka upang mag-ipon ng isang app, kung saan makakakuha ka ng pag-drag at pag-drop mula sa mga operator tulad ng mga ETL, lahat ng mga bagay na napag-usapan namin. Sa ilalim, mayroong maraming mga makina. Sa ngayon, mayroon kaming Storm at Spark Streaming bilang mga industriya lamang at unang platform ng streaming ng industriya na mayroong maraming suporta sa engine. Iyon ay isang napaka natatanging, kakayahang umangkop na inaalok namin bukod sa lahat ng iba pang kakayahang umangkop ng pagkakaroon ng mga real-time na mga dashboard. Naka-embed ang CET engine. Mayroon kaming walang tahi na pagsasama sa Hadoop at NoSQL index, Solr at Apache index. Maaari kang makarating sa iyong paboritong database kahit anuman ito at makabuo ng mga application talagang mabilis at makapunta sa merkado nang mabilis at manatili sa hinaharap na patunay. Iyon ang aming buong mantra sa StreamAnalytix.
Gamit iyon, sa palagay ko tatapusin ko ang aking mga komento. Huwag mag-atubiling lumapit sa amin para sa higit pang mga katanungan. Gusto kong panatilihing bukas ang sahig para sa Q&A at talakayan ng panel.
Rebecca, sa iyo.
Rebecca Jozwiak: Mahusay, okay. Maraming salamat. Dez at Robin, mayroon ka bang ilang mga katanungan bago natin ibigay ito sa madla na Q&A?
Robin Bloor: May tanong ako. Ibabalik ko ang aking mga headphone upang maririnig mo ako. Isa sa mga kagiliw-giliw na bagay, kung mabait mong sabihin ito sa akin, ang marami sa aking nakita sa open-source space ay kung ano ang sasabihin ko na hindi pa sa akin. Sa isang kahulugan, oo makakagawa ka ng iba't ibang mga bagay. Ngunit mukhang tinitingnan namin ang software sa una o pangalawang paglabas nito sa katotohanan at nagtataka lang ako sa iyong karanasan bilang isang samahan, gaano mo nakikita ang kawalang-hanggan ng kapaligiran ng Hadoop bilang may problema o ito ba ay isang bagay na hindi ' gumawa ng masyadong maraming mga problema?
Anand Venugopal: Ito ay isang katotohanan, Robin. Tamang tama ka. Ang immaturity ay hindi kinakailangan sa lugar lamang ng katatagan ng pagganap at mga bagay, ngunit marahil ang ilang mga kaso din. Ngunit ang immaturity ay higit pa sa pagiging handa ng paggamit. Ang mga bukas na mapagkukunan nang lumabas at kahit na inaalok sila ng pamamahagi ng Hadoop, lahat sila ay maraming iba't ibang mga may kakayahang mga produkto, ang mga sangkap ay sinampal lamang. Hindi sila gumana nang walang putol at hindi dinisenyo para sa isang makinis na karanasan ng gumagamit ng walang kinalaman na makukuha namin tulad ng Bank of America o Verizon o AT&T, upang mag-deploy ng isang streaming analytics application sa loob ng ilang linggo. Hindi ito idinisenyo para sa sigurado. Iyon ang dahilan kung bakit kami pumapasok. Pinagsasama natin ito at pinadali nating maunawaan, upang mag-deploy, atbp.
Ang functional na kapanahunan nito, sa palagay ko sa isang malaking lawak, ay nariyan. Maraming mga malalaking negosyo ang ginagamit halimbawa ng Bagyo ngayon. Maraming mga malalaking negosyo ang naglalaro sa Spark Streaming ngayon. Ang bawat isa sa mga makina na ito ay may mga limitasyon sa kung ano ang magagawa nila na dahilan kung bakit mahalagang malaman kung ano ang magagawa mo at kung ano ang hindi mo magagawa sa bawat makina at walang punto sa pagbagsak ng iyong ulo laban sa dingding at nagsasabing, "Narito ako pinili ang Spark Streaming at hindi ito gumana para sa akin sa partikular na industriya na ito. "Hindi ito gagana. May mga gagamiting mga kaso kung saan ang Spark Streaming ay magiging pinakamagandang opsyon at may mga magagandang kaso kung saan maaaring hindi gumana ang Spark Streaming. Iyon ang dahilan kung bakit kailangan mo ng maraming mga pagpipilian.
Robin Bloor: Well kailangan mong magkaroon ng mga dalubhasang koponan na nakasakay para sa karamihan nito. Ibig kong sabihin ay hindi ko rin alam kung saan magsisimula dito. Isang makatwirang co-aksyon ng mga bihasang indibidwal. Interesado ako sa kung paano nakikipag-ugnayan ang iyong pakikipag-ugnayan at kung paano ito nangyari. Dahil ba sa isang partikular na kumpanya pagkatapos ng isang tukoy na aplikasyon o nakakakita ka ng uri ng kung ano ang tatawagin kong estratehikong pag-aampon kung saan nais nila ang isang buong platform na gumawa ng maraming mga bagay.
Anand Venugopal: Nakikita namin ang mga halimbawa ng pareho, Robin. Ang ilan sa mga nangungunang sampung mga tatak na alam ng lahat ay tungkol dito sa isang madiskarteng paraan. Alam nila na magkakaroon sila ng iba't ibang mga kaso ng paggamit kaya sinusuri nila ang mga platform na angkop sa pangangailangan, na kung saan ay isang iba't ibang mga kaso ng paggamit sa isang multi-nangungupahan na paraan upang ma-deploy sa isang kumpanya. Mayroong mga kwentong case case na nagsisimula din. Mayroong isang partikular na kaso ng pagmamanman ng uri ng pagmamanman ng uri ng negosyo sa isang kumpanya ng pautang na pinagtatrabahuhan namin na hindi mo isipin bilang kaso ng unang paggamit ngunit iyon ang solusyon sa negosyo o paggamit ng kaso na sila ay dumating at pagkatapos ay ikinonekta namin ang mga tuldok sa streaming . Sinabi namin, "Alam mo kung ano? Ito ay isang mahusay na kaso para sa streaming analytics at ito ay kung paano namin maipapatupad ito. "Iyon ay kung paano ito nagsisimula. Pagkatapos, sa prosesong iyon, sila ay nagturo at nagsabi, "Oh wow, kung magagawa natin ito at kung ito ay isang pangkaraniwang platform, pagkatapos ay maaari nating paghiwalayin ang aplikasyon, i-layer ang mga ito sa platform, at bumuo ng maraming iba't ibang mga aplikasyon sa ito platform."
Robin Bloor: Dez, mayroon ka bang mga katanungan?
Anand Venugopal: Marahil ay walang imik si Dez.
Dez Blanchfield: Pasensya, pipi. Isang magandang pag-uusap ko lang ang aking sarili. Ang pagsunod lamang sa orihinal na pagmamasid ng Robin, talagang tama ka. Sa palagay ko, ang hamon ngayon ay ang mga negosyo ay may isang ekosistema at isang kapaligiran sa kultura at pag-uugali kung saan libre at bukas na mapagkukunan ng software ang isang bagay na nalalaman sa kanila at nagagawa nilang gumamit ng mga tool tulad ng Firefox bilang isang browser at mayroon itong disenteng panghabambuhay hanggang sa maging matatag at secure. Ngunit ang ilan sa mga napakalaking platform na ginagamit nila ay mga platform ng pagmamay-ari ng negosyo. Kaya ang pag-aampon ng kung ano ang itinuturing kong bukas na mapagkukunan na platform ay hindi palaging isang bagay na madaling para sa kanila na mapang-akit sa kultura o emosyonal. Nakita ko ito sa kabuuan lamang ng pag-ampon ng mga maliliit na programa na mga lokal na proyekto upang maglaro lamang sa malaking data at analytics bilang isang pangunahing konsepto. Sa palagay ko ang isa sa mga mahahalagang hamon, sigurado ako na nakita mo na sila ngayon sa mga samahan, ay ang kanilang pagnanais na makamit ang kinalabasan ngunit sa parehong oras na nahuli ang kanilang isang paa sa matandang maaari kung saan maaari nilang bilhin ito mula sa "Magsingit ng isang malaking tatak" Oracle, IBM at Microsoft. Ang mga bago at kilalang mga tatak na ito ay dumarating sa mga platform ng Hadoop at higit pa. Higit pang mga kapana-panabik na mga tatak ang darating sa kung saan may nangungunang teknolohiya tulad ng stream.
Ano ang mga uri ng mga pag-uusap na mayroon ka ng ganoong uri ng pagkuha o pagbawas sa na? Alam ko na mayroon kaming isang napakalaking pagdalo ngayong umaga at isang bagay na sigurado ako na nasa isipan ng bawat isa ay "Paano ko pinuputol ang buong mapaghamong layer mula sa board hanggang sa antas ng pamamahala, oh ito ay masyadong bukas na mapagkukunan at masyadong pagdurugo? "Paano nakikipag-usap ang mga pakikipag-usap sa mga kliyente at paano mo pinupuntahan ang puntong iyon kung saan ka maikakaila ang mga uri ng takot na isaalang-alang ang pag-ampon sa mga kagustuhan ng StreamAnalytix?
Anand Venugopal: Talagang hinahanap namin ito na medyo madaling ibenta ang aming panukalang halaga dahil ang mga customer ay natural na lumipat patungo sa bukas na mapagkukunan bilang isang ginustong pagpipilian. Hindi nila madaling isuko at sinasabing, "O sige, pupunta ako bukas na mapagkukunan." Tunay na napupunta nila ang isang napaka nakatuon na pagsusuri ng isang pangunahing produkto, sabihin natin na ito ay isang IBM o isang pangkaraniwang produkto, sapagkat mayroon sila mga relasyon ng nagbebenta. Hindi nila kami pakikitunguhan o ang open-source engine laban sa produktong iyon. Dadaan sila ng anim hanggang walong hanggang labindalawang linggo ng pagsusuri. Kumbinsihin nila ang kanilang sarili na mayroong isang antas ng pagganap at katatagan dito na gusto ko at pagkatapos ay binubuo nila ang kanilang mga isip na nagsasabing, "Wow, alam mo kung ano, kaya kong gawin ito."
Ngayon halimbawa, mayroon kaming isang pangunahing tier ng isang telco na may stream analytics na tumatakbo sa produksyon sa tuktok ng maraming salansan at sinusuri nila na laban sa isa pa, napakalawak na kilalang nagbebenta at sila ay kumbinsido lamang matapos naming mapatunayan ang lahat ang pagganap, katatagan at lahat ng mga bagay na iyon. Hindi nila ito pinapansin. Napag-alaman nila ang bukas na mapagkukunan ay may kakayahan sa pamamagitan ng kanilang mga pagsusuri at napagtanto nila na, ang pinakamasama kaso, "Siguro mayroong dalawang mga kaso na ginagamit ko na hindi ko magagawa ngunit ang karamihan sa aking mga kaso sa pagbilis ng negosyo ay posible sa open-source stack. "At pinagana namin ang paggamit nito. Kaya iyon ang malaking matamis na lugar doon. Gusto nila ang bukas na mapagkukunan. Talagang naghahanap sila upang makawala sa lock-in na sitwasyon na ginagamit nila sa loob ng maraming taon. Pagkatapos dito darating tayo at sasabihin, "Alam mo kung ano, gagawa kami ng bukas na mapagkukunan, mas madali at magiliw na gagamitin para sa iyo."
Dez Blanchfield: Sa palagay ko ang iba pang hamon na nahanap ng mga negosyo ay kapag nagdala sila ng tradisyonal na incumbent sila ay madalas na isang henerasyon sa likod ng ilang pagdurugo sa kapana-panabik na bagay na pinag-uusapan natin dito at hindi ko ibig sabihin na bilang isang negatibong bahagyang. Ito ay lamang na ang katotohanan ay nakakuha sila ng isang henerasyon at paglalakbay upang dumaan upang palabasin kung ano ang itinuturing nilang matatag na mga platform na dumadaan, pag-unlad ng old-school at mga siklo ng pagsasama ng UATN at pagsubok at dokumentasyon, at pagmemerkado at pagbebenta. Samantalang sa uri na ginagawa mo, sa palagay ko ang bagay na interesado akong isipin ay ang pagtingin sa ilan sa iyong pinakabagong mga paglabas kagabi na gumagawa ng ilang uri ng gawaing pananaliksik, nakuha mo na ang halo na ito kung saan nakuha mo ang kakayanan mula sa isang nangungunang consultancy point of view at isang pagpapatupad ngunit nakakuha ka rin ng isang stack na maaari mong i-roll. Sa palagay ko ito ay kung saan ang mga incumbents ay magpupumilit para sa ilang oras. Nakita namin ang marami sa kanila tulad ng ginawa ko sa merkado. Madalas ang mga ito sa tinatawag kong mga catch-up node samantalang mula sa iyong sinasabi sa amin kapag nasa labas ka na gumagawa ng mga pag-uusap na iyon at ikaw ay nasa labas na nagpapatupad.
Maaari mo bang bigyan kami ng ilang mga halimbawa ng ilan sa mga border border na nakita mo ang pag-aampon? Halimbawa, mayroong talagang angkop na lugar tulad ng agham ng rocket at paglalagay ng mga satellite sa espasyo at pagkolekta ng data mula sa Mars. Mayroong isang maliit na bilang ng mga tao na gumagawa na sa planeta. Ngunit may mga malalaking patayo tulad ng kalusugan halimbawa, sa aeronautics, sa pagpapadala at logistik, sa pagmamanupaktura at engineering, ano ang ilang mga halimbawa ng mas malaki at mas malawak na sektor ng industriya na napakarami mong nakita na talagang maganda pag-ampon sa?
Anand Venugopal: Ang telco ay isang malaking halimbawa.
Mabilis ko lang ayusin ang aking mga slide dito. Nakikita mo ba ang slide dito, case study 4?
Ito ay isang kaso ng isang malaking telco ingesting set-top na data ng kahon at paggawa ng maraming mga bagay dito. Tinitingnan nila kung ano talaga ang ginagawa ng mga customer sa totoong oras. Tinitingnan nila kung saan nangyayari ang mga error sa totoong oras sa mga set-top box. Sinusubukan nilang ipagbigay-alam ang call center sa, kung ang customer na ito ay tumawag ngayon, ang link ng impormasyon ng code mula sa set-top box ng customer na ito, ang impormasyon ng pagpapanatili ng ticket ay mabilis na maiugnay kung ang partikular na kahon ng set-top na customer na ito ay may problema o hindi man bago nagsasalita ang isang customer. Ang bawat kumpanya ng cable, ang bawat pangunahing telco ay sinusubukan na gawin ito. Sinusulyapan nila ang data ng set-top box, gumawa ng real-time na analytics, ginagawa ang mga analytics ng kampanya upang mailagay nila ang kanilang mga ad. Mayroong isang malaking kaso ng paggamit.
Tulad ng sinabi ko, mayroong kumpanya ng mortgage na muli na isang pangkaraniwang pattern kung saan ang mga malalaking sistema ay kasangkot sa pagproseso ng data. Ang data na dumadaloy sa system A hanggang system B sa system C at ito ang mga regulated na negosyo na kailangang maging pare-pareho ang lahat. Kadalasan, ang mga sistema ay wala sa pag-sync sa bawat isa, sinasabi ng isang system, "Pinoproseso ko ang isang daang pautang na may kabuuang halaga na $ 10 milyon." Sinasabi ng system, "Hindi, pinoproseso ko ang 110 na pautang ng ilang iba pang magkakaibang numero. ”Kailangang malutas nila na talagang mabilis dahil sa katunayan ay pinoproseso nila ang parehong data at gumawa ng iba't ibang mga interpretasyon.
Kung ito ay isang credit card, pagproseso ng pautang, proseso ng negosyo, o kung ito ay isang proseso ng negosyo sa mortgage o iba pa, tinutulungan namin sila na gumawa ng ugnayan at pagkakasundo sa totoong oras upang matiyak na ang mga proseso ng negosyo ay manatili sa pag-sync. Iyon ay isa pang kawili-wiling kaso ng paggamit. Mayroong isang pangunahing kontratista ng gobyerno ng Estados Unidos na tumitingin sa trapiko ng DNS upang gumawa ng anomalya na pagtuklas. Mayroong isang modelo ng offline na pagsasanay na kanilang itinayo at ginagawa nila ang pagmamarka batay sa modelo na iyon sa trapiko ng real-time. Ang ilan sa mga kagiliw-giliw na mga kaso sa paggamit. Mayroong isang pangunahing eroplano na tumitingin sa mga pumila sa seguridad at sinusubukan nilang ibigay sa iyo ang impormasyong iyon, "Hoy, ito ang iyong gate para sa iyong eroplano para sa iyong paglipad. Ang pila ng TSA ngayon ay tungkol sa 45 minuto kumpara sa dalawang oras kumpara sa iba pa. ”Nakakuha ka ng update na iyon. Nagtatrabaho pa sila. Kagiliw-giliw na IoT gamitin ang kaso ngunit mahusay na kaso ng streaming analytics na heading sa karanasan ng customer.
Rebecca Jozwiak: Ito si Rebecca. Habang nasa paksa ka ng mga kaso ng paggamit, mayroong isang mahusay na katanungan mula sa isang miyembro ng madla na nagtataka, "Ang mga pag-aaral ba sa kaso na ito, ang mga inisyatibo ba ay pinalayas mula sa mga sistema ng impormasyon na analytic na bahagi ng bahay o mas pinalayas sila mula sa ang negosyo na may mga tiyak na katanungan o pangangailangan sa isip? "
Anand Venugopal: Sa palagay ko nakikita natin ang tungkol sa 60 porsiyento o higit pa, 50 porsiyento hanggang 55 porsyento, higit sa lahat napaka-aktibo, masigasig na mga inisyatibo sa teknolohiya na alam, na nangyayari na medyo savvy at naiintindihan ang ilang mga kinakailangan sa negosyo at marahil ay mayroon silang isang sponsor na sila kinilala ngunit ang mga ito ay mga pangkat ng teknolohiya na naghahanda para sa pagsalakay ng mga kaso sa paggamit ng negosyo na dumarating at pagkatapos na kapag binuo nila ang kakayahan, alam nila na magagawa nila ito at pagkatapos ay pupunta sila sa negosyo at agresibo na ibenta ito. Sa 30 porsyento hanggang 40 porsyento ng mga kaso, nakikita namin ang negosyo ay may isang partikular na kaso ng paggamit na kung saan ay nagmamakaawa para sa isang kakayahang streaming analytics.
Rebecca Jozwiak: Ibig sabihin. Nakakuha ako ng isa pang bahagyang mas teknikal na tanong mula sa isang miyembro ng madla. Nagtataka siya kung sinusuportahan ng mga sistemang ito ang parehong nakabalangkas at hindi nakabalangkas na mga daloy ng data, tulad ng mga sediment ng mga stream ng Twitter o mga post sa Facebook sa totoong oras, o kailangan bang paunang mag-filter?
Anand Venugopal: Ang mga produkto at teknolohiya na pinag-uusapan natin ay lubos na sinusuportahan ang parehong nakabalangkas at hindi nakabalangkas na data. Maaari silang mai-configure. Ang lahat ng data ay may ilang uri ng istraktura kung ito ay isang teksto o isang XML o anumang bagay. Mayroong ilang mga istraktura sa mga tuntunin ng mayroong isang feed ng stamp ng oras. Marahil ay may isa pang blob na kailangang ma-parse upang maaari kang mag-iniksyon ng mga magulang sa stream upang maipaliwanag ang mga istruktura ng data. Kung nakabalangkas ito, sasabihin lang natin sa system, "O sige, kung mayroong mga halaga ng hiwalay sa kuwit at ang una ay isang string, pangalawa ay isang petsa." Kaya maaari nating i-inject na ang pag-parse ng intelihente sa mga up-screen na layer at proseso madali sa parehong nakabalangkas at hindi nakaayos na data.
Rebecca Jozwiak: Mayroon akong ibang katanungan mula sa madla. Alam kong nagpatakbo kami ng kaunting nakaraan sa tuktok ng oras. Nais malaman ng dadalo na ito, parang ang mga application ng streaming ng real-time ay maaaring umuunlad sa parehong pangangailangan at isang pagkakataon para sa pagsasama muli sa mga sistema ng transaksyon, mga sistema ng pag-iwas sa pandaraya na kanilang dinadala. Sa kasong iyon, kailangan bang ma-tweak ang mga sistema ng transaksyon sa uri nito?
Anand Venugopal: Ito ay isang pagsamahin, di ba? Ito ay isang pagsasanib ng mga sistema ng transaksyon. Minsan sila ay pinagmulan ng data kung saan sinusuri namin ang mga transaksyon sa totoong oras at sa maraming mga kaso kung saan sabihin nating mayroong daloy ng aplikasyon at narito sinusubukan kong ipakita ang isang static na site lookup site at pagkatapos ay sa aming kaso kung saan ang ilang uri ng streaming sa at naghahanap ka ng isang static na database tulad ng isang HBase o isang RDBMS upang pagyamanin ang streaming data at ang static na data nang magkasama upang makagawa ng isang desisyon o isang analytical na pananaw.
Mayroong isa pang malaking kalakaran sa industriya na nakikita rin natin - ang tagpo ng OLAP at OLTP - at na ang dahilan kung bakit mayroon kang mga database tulad ng Dapat at nasa memorya na mga database na sumusuporta sa parehong mga transaksyon at pag-proseso ng analytical sa parehong oras. Ang layer ng pagproseso ng stream ay magiging ganap sa memorya at titingnan namin o makikipag-ugnay sa ilan sa mga database ng transactional na ito.
Rebecca Jozwiak: Ang pinaghalong karga sa trabaho ay isa sa mga huling hadlang na tumalon, sa palagay ko. Dez, Robin, may dalawa pa bang katanungan?
Dez Blanchfield: Pupunta ako sa isang huling katanungan at balutin iyon kung hindi mo iniisip. Ang unang hamon na ang mga samahan na napagkasunduan ko para sa huling dekada o kaya humahantong sa kapana-panabik na hamon ng stream analytics, unang bagay na may posibilidad na ibalik sa mesa kapag sinimulan namin ang pag-uusap sa buong buong hamon na ito kung saan gawin nakukuha namin ang set ng kasanayan? Paano natin maiiwasan ang kasanayang itinakda at paano natin makukuha ang kakayahan sa loob? Ang pagkakaroon ng Impetus na papasok at kamay ay humawak sa amin sa paglalakbay at pagkatapos ay ipatupad bilang isang mahusay na unang hakbang at ito ay gumagawa ng maraming pakiramdam na gawin iyon.
Ngunit para sa daluyan hanggang sa malaking samahan, ano ang mga uri ng mga bagay na nakikita mo sa sandaling ito upang maghanda para sa ito, upang maitaguyod ang kakayahang iyon sa loob, upang makakuha ng anuman mula sa isang pangunahing bokabularyo sa paligid nito at kung anong uri ng mensahe ang magagawa nila sa ang samahan sa paligid ng paglipat sa ganitong uri ng balangkas at retooling ang kanilang umiiral na mga kawani ng teknikal mula sa IT mula sa CEO upang maaari nilang patakbuhin ang kanilang mga sarili sa sandaling binuo mo at ipatupad ito? Napakadali lamang, kung anong uri ng mga hamon at kung paano nila malulutas ang mga ito, ang mga kustomer na iyong kinakaharap, ang mga uri ng mga hamon na natagpuan at kung paano sila dumaan sa paglutas ng pag-retraining at muling pagbangon ng karanasan at kaalaman upang maghanda para dito at maging magagawang maglibot sa operasyon?
Anand Venugopal: Kadalasan, ang maliit na hanay ng mga tao na nagsisikap na lumabas at bumili ng isang streaming analytics platform ay makatuwiran na matalino na alam nila ang Hadoop, nakakuha na nila ang kanilang mga kasanayan sa Hadoop MapReduce, at dahil nagtatrabaho sila nang malapit sa Hadoop pamamahagi ng nagbebenta, pamilyar ang mga ito. Ang lahat ay nakakakuha ng Kafka, halimbawa. Gumagawa sila ng isang bagay dito at alinman sa Storm o Spark streaming ay nasa kanilang open-source domain. Tiyak, ang mga tao ay pamilyar dito o mga kasanayan sa pagbuo nito. Ngunit nagsisimula ito sa isang maliit na hanay ng mga taong sapat na may kasanayan at sapat na matalino. Nag-aaral sila sa mga kumperensya. Natuto silang at nagtanong sila ng mga matalinong katanungan sa mga nagtitinda at sa ilang mga kaso natututo sila sa mga nagtitinda. Habang ang mga nagtitinda ay darating at nagtatanghal sa unang pulong, maaaring hindi nila alam ang mga bagay-bagay ngunit co-read up nila at pagkatapos ay nagsisimula silang maglaro dito.
Ang maliit na grupo ng mga tao ay ang nucleus at pagkatapos ay nagsisimula itong lumaki at natatanto ngayon ng lahat na ang unang kaso ng paggamit ng negosyo ay napatakbo. Nagsisimula ang isang alon at nakita namin sa Spark summit noong nakaraang linggo kung saan ang isang malaking negosyo tulad ng Capital One ay lumabas doon at buong lakas. Pinili nila ang Spark. Pinag-uusapan nila ito. Marami silang nagtuturo sa kanilang mga tao sa Spark dahil nag-aambag sila dito din sa maraming kaso bilang isang gumagamit. Nakikita namin ang parehong sa maraming, maraming malalaking negosyo. Nagsisimula ito sa ilang maliit na hanay ng mga napaka matalinong tao at pagkatapos ay nagsisimula ito ng isang alon ng pangkalahatang edukasyon at alam ng mga tao na sa sandaling ang isang senior VP o isang beses na isang senior director ay nakahanay at nais nilang tumaya sa bagay na ito at ang salita ay nakakakuha sa paligid at lahat sila ay nagsisimula sa pagpili ng mga kasanayang ito.
Dez Blanchfield: Sigurado akong mayroon kang kamangha-manghang oras sa pagbuo din ng mga kampeon.
Anand Venugopal: Oo. Marami kaming edukasyon habang nakikipagtulungan kami sa paunang mga kampeon at nagtataglay kami ng mga kurso sa pagsasanay at marami, marami para sa aming mga malalaking customer na kami ay bumalik at nagkaroon ng mga alon at alon ng pagsasanay upang magdala ng maraming mga gumagamit sa pangunahing bahagi ng paggamit ng pangunahing sa site ng Hadoop MapReduce. Natagpuan namin na sa isang malaking kumpanya ng credit card na isang customer ng amin, naghatid kami ng hindi bababa sa lima hanggang walong magkakaibang programa ng pagsasanay. Mayroon din kaming mga libreng edisyon ng komunidad ng lahat ng mga produktong ito kasama ang atin, mga sandbox na ma-download ng mga tao, masanay at turuan ang kanilang mga sarili sa gayong paraan.
Dez Blanchfield: Iyon lang ang mayroon ako ngayong umaga para sa iyo. Maraming salamat. Nakahahanap ako na hindi kapani-paniwalang kawili-wiling makita ang mga uri ng mga modelo at gumamit ng mga kaso na nakuha mo para sa amin ngayon. Salamat.
Anand Venugopal: Mahusay. Maraming salamat sa mga tao.
Rebecca Jozwiak: Salamat sa lahat sa pagsali sa amin sa mga webcast na Hot Technologies. Nakatutuwang marinig mula kay Dez Blanchfield, Dr Robin Bloor at mula sa Impetus Technologies, Anand Venugopal. Salamat mga presenter. Salamat sa mga nagsasalita at salamat sa tagapakinig. Mayroon kaming isa pang Hot Technologies sa susunod na buwan, kaya hanapin mo iyon. Maaari mong laging mahanap ang aming nilalaman na nai-archive sa Insideanalysis.com. Naglagay din kami ng maraming nilalaman sa SlideShare at ilang mga kagiliw-giliw na bits din sa YouTube.
Iyon lang mga kaibigan. Salamat muli at magkaroon ng isang magandang araw. Paalam.
