Bahay Audio Paano ko matutong gumamit ng hadoop upang pag-aralan ang malaking data?

Paano ko matutong gumamit ng hadoop upang pag-aralan ang malaking data?

Anonim

T:

Paano ko matutong gamitin ang Hadoop upang pag-aralan ang malaking data?

A:

Ang set ng Apache software na kilala bilang Hadoop ay nagiging isang tanyag na mapagkukunan para sa pagharap sa mga malalaking set ng data. Ang ganitong uri ng data sa paghawak ng software na balangkas ay itinayo upang matulungan ang pinagsama-samang data sa mga tiyak na paraan, batay sa mga disenyo na maaaring gawing mas mahusay ang ilang mga uri ng mga proyekto ng data. Iyon ay sinabi, ang Hadoop ay isa lamang sa maraming mga tool para sa paghawak ng malalaking set ng data.

Ang isa sa una at pinaka pangunahing pamamaraan upang malaman ang tungkol sa malaking data analysis kasama ang Hadoop ay upang maunawaan ang ilan sa mga nangungunang antas ng Hadoop at kung ano ang ginagawa nito. Kasama dito ang isang Hadoop YARN "mapagkukunan ng pamamahala ng mapagkukunan" na maaaring mailapat sa ilang mga uri ng mga pag-setup ng network, pati na rin ang isang Hadoop MapReduce set ng mga pag-andar na nalalapat sa malaking hanay ng data. Mayroon ding isang Hadoop na ipinamamahagi ng file system (HDFS), na tumutulong upang mag-imbak ng data sa buong mga ipinamamahagi na mga sistema upang maaari itong mabilis at mahusay na mai-index o makuha.

Maliban dito, ang mga nais maging mas pamilyar sa Hadoop ay maaaring tumingin sa mga indibidwal na nai-publish na mga mapagkukunan para sa mga propesyonal na nagpapaliwanag ng software sa isang antas na maibabalik. Ang halimbawang ito mula kay Chris Stucchio sa isang personal na blog ay nagbibigay ng isang mahusay na hanay ng mga puntos tungkol sa Hadoop at scale ng data. Ang isa sa mga pangunahing takeaways ay ang Hadoop ay maaaring mas madalas na ginagamit kaysa sa kinakailangan, at maaaring hindi ang pinakamahusay na solusyon para sa isang indibidwal na proyekto. Ang pagsusuri sa mga ganitong uri ng mga mapagkukunan ay makakatulong sa mga propesyonal na maging mas pamilyar sa mga detalye ng paggamit ng Hadoop sa anumang senaryo. Nagbibigay din si Stucchio ng mga metapora para sa pag-uugnay ng mga pagpapaandar ng Hadoop sa mga tiyak na pisikal na gawain. Narito, ang halimbawa ay ang pagbibilang ng bilang ng mga libro sa isang silid-aklatan, samantalang ang isang function ng Hadoop ay maaaring masira ang silid-aklatan hanggang sa mga seksyon, na nagbibigay ng mga indibidwal na bilang na pinagsama sa isang pinagsama-samang resulta ng data.

Ang isang mas malalim na paraan na ang mga propesyonal ay maaaring matuto nang higit pa tungkol sa Hadoop at ang aplikasyon nito sa malaking data ay sa pamamagitan ng mga tukoy na mapagkukunan at programa ng pagsasanay. Halimbawa, ang online na kumpanya ng pag-aaral na Cloudera, isang kilalang tagabigay ng malalayong sesyon ng pagsasanay, ay may isang bilang ng mga kagiliw-giliw na mga pagpipilian sa paligid ng paggamit ng Hadoop at mga katulad na uri ng paghawak ng data.

Paano ko matutong gumamit ng hadoop upang pag-aralan ang malaking data?