Ang ebolusyon ng malaking data

Noong unang bahagi ng 2000, malinaw na mayroong malaking pangangailangan para sa pagbabago tungkol sa data. Limitasyon sa kung ano ang maaaring gawin ng mga kumpanya sa kanilang mga data bigo executive at nabawasan ang kahusayan nang napakalaking. Maraming mga kumpanya ang nag-imbak ng napakalaking halaga ng impormasyon, ngunit hindi madaling pamahalaan, pag-aralan o manipulahin ito sa kanilang kalamangan. Ito ang lumalagong presyon na nagbigay daan sa malaking hangganan ng data.

Noong 2003, nilikha ng Google ang MapReduce, isang application ng data na nagpapahintulot sa firm na iproseso at pag-aralan ang impormasyon tungkol sa mga query sa paghahanap nito sa libu-libong mga server sa isang maikling panahon. Parehong nasusukat at madaling iakma, pinahihintulutan ng programa ang Google na magsagawa ng libu-libong mga gawain ng data sa mga minuto lamang, na pinabuting produktibo at muling tukuyin ang pinaghihinalaang mga hangganan tungkol sa kung ano ang maaaring gawin sa data. Halos 10 taon na ang lumipas, ang malaking data ay naging isang gitnang pamagat ng teknolohiya ng impormasyon. Ang malayong saklaw at kakayahan nito ay panimula na nagbago ng pamamahala ng data sa lugar ng trabaho. Ngunit ano ang nag-udyok sa ebolusyon na ito at kung paano eksaktong makakaapekto ang malaking data sa hinaharap? Akala namin hindi ka na magtanong. (Para sa ilang pagbabasa ng background sa malaking data, tingnan ang Malalaking Data: Paano Ito Nakakuha, Nakuha at Ginamit upang Gumawa ng Mga Desisyon sa Negosyo.)

Naghahanap ng Mga Sagot sa Mga Malalaking Data na Katanungan

Ang kagandahan ng MapReduce ay ang paraan na pinasimple nito ang lubos na kumplikadong mga gawain. Maaaring mapamamahalaan ang komunikasyon sa mga makina, ang mga pagkabigo sa system ay maaaring matugunan at awtomatikong maisaayos ang data ng input, isang proseso na maaaring masubaybayan ng mga indibidwal na hindi na nangangailangan ng lubos na kasanayan sa teknikal. Sa pamamagitan ng paggawa ng data hindi lamang posible ngunit madaling lapitan, inspirasyon ng Google ang isang paglilipat ng kultura sa pamamahala ng data. Hindi nagtagal bago ang libu-libong mga pangunahing kumpanya ay gumagamit ng MapReduce para sa kanilang data.

Ngunit mayroong isang problema: Ang MapReduce ay simpleng modelo ng programming. Habang pinadali nito ang mga pangunahing kaalaman sa pagproseso ng data, hindi ito mismo ang sagot sa mga umiiral na pagkukulang ng data; ito ay lamang ng isang kinakailangang hakbang sa tamang direksyon. Ang mga korporasyon ay nangangailangan pa rin ng isang sistema na maaaring matugunan ang kanilang natatanging mga pangangailangan ng data at lalampas sa mga mahahalagang gamit ng pamamahala ng data. Sa madaling salita, ang teknolohiya na kinakailangan upang umunlad.

Ipasok ang Hadoop

Ipasok ang Hadoop, isang bukas na mapagkukunan ng software na balangkas na nilikha ng maraming mga programmer, kabilang ang Doug Cutting. Kung saan ang MapReduce ay pangunahing at malawak, ang Hadoop ay nagbigay ng nakakapreskong detalye. Ang mga kumpanya ay maaaring magdisenyo ng kanilang sariling mga angkop na application na tumugon sa mga pangangailangan ng data sa mga paraan na walang ibang software, at karaniwang katugma ito sa iba pang mga system system. Ang isang firm na may mga talento programmer ay maaaring magdisenyo ng isang file system na makamit ang natatanging mga gawain sa data na tila hindi maabot. Posibleng ang pinakamahusay na bahagi tungkol dito ay ang mga developer ay magbabahagi ng mga aplikasyon at programa sa bawat isa na maaaring maipaliwanag at mapuno.

Sa pamamagitan ng democratizing tulad ng isang mahalagang mapagkukunan, ang Hadoop ay naging isang kalakaran. Pagkatapos ng lahat, ang maraming malalaking korporasyon, lalo na ang mga search engine firms, ay naramdaman na kailangan nila ito ng mga dekada! Hindi nagtagal bago mag-anunsyo ng mga higanteng search engine tulad ng Yahoo ang pagpapatupad ng malalaking aplikasyon ng Hadoop na nakabuo ng data na ginamit sa mga query sa paghahanap sa Web. Sa tila isang alon, maraming mga kilalang kumpanya ang inihayag ang pag-ampon ng teknolohiyang ito para sa kanilang napakalaking database, kabilang ang Facebook, Amazon, Fox, Apple, eBay at FourSquare. Itinakda ng Hadoop ang bagong pamantayan para sa pagproseso ng data.

Malaking Data, Malalaking Suliranin

Habang ang mga pagsulong sa teknolohiya ng data ay muling nagbago sa paraan ng pakikitungo ng mga kumpanya ng data, maraming mga executive pa rin ang nakakakita sa kanila na hindi pantay para sa buong saklaw ng mga kinakailangang gawain. Noong Hulyo 2012, pinakawalan ni Oracle ang isang survey ng higit sa 300 C-level executive, na nagsiwalat na habang ang 36 porsyento ng mga kumpanya ay umaasa sa IT upang pamahalaan at pag-aralan ang data, 29 porsiyento ng mga ito ang pakiramdam na ang kanilang mga system ay walang sapat na kakayahan upang matugunan ang kanilang mga kumpanya ' mga pangangailangan. Posibleng ang pinaka-kapansin-pansin na paghahanap ng pag-aaral ay na 93 porsyento ng mga sumasagot ang naniniwala na ang kanilang kompanya ay nawalan ng hanggang sa 14 porsyento ng kita nito sa pamamagitan ng hindi magagawang gumamit ng nakalap na data. Iyon ang kita na maaaring gastusin sa paggawa ng mas mahusay na mga produkto at pagkuha ng mas maraming mga manggagawa. Sa isang oras kung saan ang mga kumpanya ay nagpupumilit upang manatiling kumikita, ang pagpapabuti ng data upang ang mga kumpanya ay maaaring maging mas kapaki-pakinabang ay isang pangangailangan. Ang survey ay nagpapahiwatig na sa kabila ng mga naniniwala na ang impluwensya ng malaking data sa commerce ay lumipas na, ang mga pagkakataon para sa paglaki at pagsulong na hawak nito ay hindi pa ganap na natanto.

Ano ang Hinaharap ng Hinaharap para sa Malalaking Data

Ang mabuting balita ay ang Hadoop at MapReduce ay naging inspirasyon ng maraming iba pang mga tool sa pamamahala ng data. Maraming mga bagong kumpanya ang lumilikha ng malawak na mga platform ng data na tumatakbo sa Hadoop, ngunit nag-aalok ng isang malawak na hanay ng mga pag-andar ng analitiko at mas madaling pagsasama ng system. Tila na ang mga korporasyon ay namuhunan ng maraming mapagkukunan upang matugunan ang mga alalahanin ng data at ang tagumpay sa pananalapi ng mga kumpanya ng data ay naging patunay nito. Noong 2010, ang mga data firms ay gumawa ng tinatayang $ 3.2 bilyon sa mga benta ng tingi. Maraming mga eksperto ang tinantya na ang bilang na ito ay lalago sa isang humihinang $ 17 bilyon sa taong 2015 lamang. Ito ay isang katotohanan na hindi nawala sa ilan sa mga pinakamalaking kumpanya ng teknolohiya. Parehong IBM at Oracle ay gumastos ng bilyun-bilyon sa nakalipas na ilang buwan upang makakuha ng mga data firms. Maraming iba pang mga kumpanya ang gagawa ng mga katulad na galaw sa mga darating na taon habang patuloy silang naninindigan para sa isang mapagkumpitensya na bahagi ng merkado.

Ang Big Data Frontier

Ang dami ng data na nakolekta ay patuloy na lumalaki nang malaki, na may ilang nag-aalala at ang iba ay nasasabik. Ang baligtad ay ang mga tao ay magpapatuloy na maging mas produktibo at agpang habang natututo tayo ng mga bagong bagay tungkol sa ating mundo sa pamamagitan ng pagsusuri ng data. Ang downside ay mayroong isang napakaraming data na natatakot ng marami na hindi namin magagawang maayos ang pag-iimbak ng lahat, hindi gaanong maayos ang pamamahala nito upang magamit ito ng lahat ng nangangailangan nito.

Iyon ay sinabi, ang mga pagsulong sa malaking data ay maaaring magbigay ng mga walang uliran na pagkakataon para sa mga solusyon sa mga kagyat na isyu tungkol sa data. Halimbawa, iminungkahi ng mga eksperto na kung ang malaking data ay naipatupad nang maayos na may diin sa kahusayan at kalidad, magkakaroon ito ng potensyal na makatipid ng halos $ 300 bilyon bawat taon sa mga paggasta sa pangangalaga sa kalusugan lamang; magagawang mapagbuti ng mga nagtitingi ang kanilang mga operating margin, ang pampublikong sektor ay maaaring magbigay ng mas mahusay na serbisyo at ang malalaking negosyo ay makatipid ng bilyun-bilyon. At sa gayon, tila ang paglutas ng aming mga isyu sa data ay hindi lamang kinakailangan sa mga silid-tulugan ng kumpanya, ngunit sa lahat ng dako. Na nagsasabing magagandang bagay tungkol sa hinaharap ng malaking data - at marahil sa atin din.