Ano ang eksaktong pag-hadoop? teorya ng isang cynic

Ang anumang bagay na mukhang napakabuti upang maging totoo ay karaniwang. Ang nasabing maaaring mangyari sa Apache Hadoop, ang napakaraming proyekto na bukas na mapagkukunan na patuloy na pinag-uusapan ng lahat. Kaya ano, eksakto, ang bagay na ito? Magandang tanong!

Dalubhasa ang mga Eksperto

Ang analista na si Mark Madsen ng Ikatlong Kalikasan ay ipinako ito sa dingding habang bumalik sa isang piraso ng pithy sa InsideAnalysis.com: "Ano ang Hadoop. Ano ang Hadoop Hindi." Bilang isang taong nakakaalam kung paano magdisenyo ng mga solusyon sa totoong-mundo, pagkatapos ay talagang i-deploy ang mga ito, ang kanyang payo ay hindi dapat balewalain.

Ngunit mayroong isang mas malalim na kasalukuyang dumadaloy dito, at malapit na ang oras upang maipakita ang mga ugat ng kamangha-manghang flora na ito, upang makita kung hindi tayo makakakuha ng ilang pananaw sa kung ano ang nangyayari nang higit pa sa isang antas ng macro. Pagkatapos ng lahat, ang mga vendor ay patuloy na nagsasabing ito ay isang malaking deal, at maraming mga kalahok.

Trabaho ang Mga Komite! (?)

Tatlong kumpanya na kasalukuyang nagmamay-ari ng karamihan sa nasabing merkado ng Hadoop: Cloudera, Hortonworks at MapR. Sa isang kamakailan-lamang, medyo hindi nag-aalalang pagsasalita sa pamamagitan ng Boulder BI Brain Trust (#BBBT), ginawa ni Jim Walker ng Hortonworks ang komentong puna:

"Hindi mo maaaring isulong ang tech kung hindi mo pinagtatrabahuhan ang mga komite!"

Halika ulit?

Hindi ba ito tulad ng isang bagay na maaaring sabihin ni Senador Palpatine sa isang pelikulang Star Wars?

Sen. Palpatine: "Trabaho ang mga komite!"

Malapit na Minion: "Ngunit, ngunit, Sir! Mag-isip ng mga bata!"

Para sa mga layko sa labas doon ay sinisikap lamang na magawa ang mga bagay, ang mga komite ay mga taong nakatuon sa isang partikular na open-source na proyekto. Ang Apache Foundation ay may mahigpit na mga protocol na kung saan ang kanilang mga proyekto ay sumulong, na kadalasang isang magandang bagay.

Iyon ang sinabi, ang tala ng komento sa Warrants examination. Ang isang itinuro na katanungan (sa peligro ng pagbubuo ng mga araw ng palaruan) ay: Ito ba ay isang pangako o banta? Sinasabi ba niya na baka kunin lamang ng Hortonworks ang kanilang bola at umuwi?

Kooperasyon o Kumpetisyon?

Ang kawili-wili kung ang paradoxical na anggulo dito ay naiulat na, ang karamihan sa mga komite sa koponan ng Hadoop (mga 30 o higit pa sa lahat) ay mula sa Hortonworks at Cloudera - na mga katunggali. Ito ay isang napaka-mausisa kaso ng kumpetisyon.

Kaya, ano ang pakikitungo? Narito ang isang edukasyong hula: Ang Hadoop ay higit sa lahat ay may utang sa isang matalinong plano na isinilang ng isang pangkat ng mga kapitalista ng Silicon Valley na mga kapitalista at mga inhinyero na mahalagang sinusubukan upang matiyak ang kanilang mga taya laban sa Oracle.

Ang pangkalahatang ideya ay upang maihatid ang merkado sa isang pundasyon ng code na maaaring mapahusay at palakasin ng isang fleet tag na tag ng mga developer na may perpektong, sa paglipas ng panahon, lumikha ng lahat ng paraan ng mga tool sa pamamahala ng data, kabilang ang mga produkto ng database. Ang mga VC ay maaaring mamuhunan at cash out sa isang araw. Ngunit may ilang mga seryosong hamon sa paglalaro.

Tulad ng lahat ng mga monolitikong negosyo, madalas na mahahanap ng Oracle ang sarili sa mga crosshair ng maraming mas maliit na player. At sino ang hindi nais lamang ng isang hiwa ng kanilang kita sa pag-iisip? Sa huling quarter lamang, nag-book ng Oracle ~ $ 9 bilyon. Ngunit ang hamon sa Big Red at matalo ang mga ito ay dalawang magkakaibang mga katotohanan.

Libreng Webcast: Ano ang Hadoop at Saan Ito Pupunta? Sumali kay Eric Kavanagh, Robin Bloor at Techopedia para sa isang talakayan tungkol sa kung paano naiiba ang Hadoop mula sa Linux o SOA, at kung bakit ang hinaharap nito ay nananatiling hindi nakasulat.

Mga problema sa Packaging

Ang bagay tungkol sa Hadoop, per se, ay hindi ito isang nakabalot na solusyon sa anumang paraan. Sa halip, ito ay isang kumplikadong koleksyon ng mga module na nagbibigay-daan sa mga may mataas na kalidad na mga programmer upang magamit ang napakalaking kahilera na pagproseso ng mga algorithm upang gumawa ng mga tiyak na bagay. Ngunit walang magarbong interface ng gumagamit, at ang mga manual ay brutal.

Idagdag sa hamon na ito ang kritikal na bugtong na ito: kailangan mo rin ang mga taong negosyante na mayroong hindi bababa sa isang pangkalahatang pag-unawa sa kung ano ang magagawa nito. Ang mga taong iyon ay dapat magawa ng mga ideya kung paano ito magagamit, pagkatapos ay makipag-usap sa mga nag-develop, na dapat pagkatapos ay gumawa, subukan, ipatupad at suportahan ang mga application.

Ang pagbuo ng sayaw na ito ay kung paano kumita ang pera ng Cloudera at Hortonworks. Ang problema ay, ang karamihan sa mga solusyon na nilikha sa pamamagitan ng pamamaraang ito ay natatangi, at karaniwang nakatuon sa mga operating system kumpara sa mga analitikal. Pagsasalin? Bagay na tulad nito ay hindi talagang ipahiram ang sarili sa nakabalot na mga produkto ng software.

Kakayahan ng Packaging!

Alin ang nagbalik sa amin sa Oracle. Larry Ellison at ang mga lalaki gumawa ng kanilang hay na nagbebenta ng database tech, hardware, serbisyo at (hintayin ito …) nakabalot na software. Tila naisip ito ni Cloudera, kaya't ang kanilang pagtuon sa Impala. Ngunit ang Hortonworks?

Ang kanilang modelo ay lilitaw na mas malapit na gayahin ng RedHat, ang mga taong nagtayo ng isang bilyong dolyar na negosyo sa tuktok ng operating system ng Linux. Si Nary isang pangunahing nagbebenta sa industriya ng software ng negosyo ay hindi sumulat para sa Linux, ang OS kung saan pinamumunuan ng IBM ang Microsoft sa pass. Ngunit ang Hadoop ay walang Linux, hindi sa isang mahabang pagbaril.

Geoffrey Malafsky, isang dating nanotechnologist para sa US Navy, na ngayon ay isang scientist ng data na may Phasic Systems at ang PSIKORS Institute, pinapawi ang proporsyon ng halaga ng Hadoop na tulad nito:

"Ang Hadoop ay mahusay para sa paghahanap, napakalaking pagtatasa ng kalakaran para sa mga stokastikong mga resulta, at malamang ang ilang murang matalinong kahanay na pagkakatulad ng pagproseso ng mga bagay tulad ng dati kong asawa na gawin: kabuuan ng mekanikal na alon pagkalkula ng pag-andar ng solidong estado at kemikal na reaksyon. sa mga supercomputer at lumipat ng medyo sa pagkakatulad na pagproseso, ngunit ito ay isang mahirap na pagbabago ng diskarte sa programming.Mga bata, matalino, masigasig na mga mag-aaral na nagtapos ang magaganap na ito.Pagpalagay ko na ang mga gawad ng pananaliksik ay nagsisimula sa pagpunta sa direksyon na ito para sa ilang mga high-powered computational mga aplikasyon. "

Mapapansin mo na walang tunog tulad ng warehousing ng data, intelligence intelligence ng negosyo, pagsasama ng data o kahit na malaking data. Parang supercomputing. At sa ilang mga kagiliw-giliw na kadahilanan, ang mga mundo ng mataas na pagganap ng computing at katalinuhan sa negosyo ay hindi kailanman talagang nagbangga o nagkakasabay sa anumang makabuluhang paraan.

Long Road Ahead para sa Hortonworks at Cloudera

At narito ang talagang masamang balita para sa Hortonworks at posibleng Cloudera. Ang mga malalaking nagtitinda tulad ng IBM at SAP at Oracle at Teradata - upang ilagay ito nang banayad, at sipiin ang Dire Straits: "Hindi sila mga pipi!" Tatlo at higit pang mga taon na ang nakalilipas, lahat ng mga ito ay gumulong ng mga malubhang diskarte sa Hadoop.

Sentral sa mga plano na ito ay ang mga uri ng mga bagay na inaasahan ng mga gumagamit: mga graphical na interface ng gumagamit, pag-andar ng drag-and-drop, mga tool sa pagmomolde at pagtuklas, daloy ng trabaho, pamamahala, seguridad; sa madaling salita, ang lahat ng mga piraso at piraso na gumawa ng software ng enterprise. At syempre, ang mga malalaking tindera ay may napakalaking pag-install ng mga base.

Siguraduhin, pareho silang may landing ng negosyo sa Cloudera at Hortonworks, ngunit isang maliit na maliit lamang na bahagi ng nakukuha ng mga pangunahing manlalaro bawat taon. Gawin ang matematika kung magkano ang singilin ng mga nagdududa sa kanilang mga kostumer, kumpara sa kung gaano kalaki ang kanilang overhead, at ang larawan ay hindi masyadong rosy. Ipinagkaloob, iyon ay para sa kurso na may mga alalahanin sa maagang yugto ng software, ngunit pa rin …

Ang Hinaharap ng Hadoop?

Kaya, maaari ba nating makita ang klasikong alon ng mga pagkuha, tulad ng bumalik kami sa mga aughts, nang bumili ang IBM ng Cognos, nakuha ni Oracle ang Hyperion at SAP na nakakuha ng BusinessObjects? Marahil, ngunit ang mga bagong bata sa block na ito ay hindi nagmamay-ari ng Hadoop; pinapahiram lang nila ito. At tulad ng pangako tulad ng YARN at Tez, ang mga siklo ng paglabas ay tila nahuhuli sa kung ano ang nakagawa ng mga mabibigat na hitters.

Noong araw pa lang, nagkomento ang isang tagaloob ng industriya na ang pulitika sa Apache ay maaaring maging isang malubhang bottleneck. Hindi ito kataka-taka na nakakagulat, lalo na kung isinasaalang-alang mo ang mga dolyar na kasangkot - mayroong malaking pagganyak para sa mga nagbabago na hampasin ito ng mayaman. At may nakapansin kung paano tila nalampasan ng Chrome ang Firefox sa pag-andar at kakayahang magamit sa kani-kanina lamang? Sarado-pinagmulan, kahit sino?

Ang isang bagay ay sigurado: ang larong ito ay maglaro sa ilang mga kagiliw-giliw na paraan. Oo, ang mga mammal (basahin: mga maliliit na nagtitinda) ay madalas na lumampas sa mga dinosaur; ngunit mayroon pa ring mga alligator at buwaya sa buong mundo; at kung natitisod ka sa isang hindi sinasadya, maaari mo lamang tuklasin kung gaano katindi ang mga ngipin na iyon. Ang ilang mga crocs magkasama ay maaaring kahit na ibagsak ang isang elepante o dalawa.