ÎÒÃÇÖªµÀ´óÊý¾ÝµÄ»ð±¬£¬ÖªµÀ´óÊý¾ÝµÄ¾Íҵǰ¾°ºÃ¡£µ±ÏÂÒ½ÁÆÐÐÒµ¡¢ÄÜÔ´ÐÐÒµ¡¢Í¨ÐÅÐÐÒµ¡¢ÁãÊÛÒµ¡¢½ðÈÚÐÐÒµ¡¢ÌåÓýÐÐÒµµÈ¸÷ÐÐÒµ¶¼¿ÉÒÔ´ÓÆäÊý¾ÝµÄ²É¼¯¡¢´«Êä¡¢´æ´¢¡¢·ÖÎöµÈ¸÷¸ö»·½Ú²úÉú¾Þ´óµÄ¾¼Ã¼ÛÖµ£¬¶øÌṩ´óÊý¾Ý»ù´¡ÉèÊ©µÄÆóÒµ¡¢´óÊý¾ÝÈí¼þ¼¼Êõ·þÎñµÄÆóÒµ¡¢ÐÐÒµ´óÊý¾ÝÄÚÈÝ×Éѯ·þÎñµÄÆóÒµ¶¼½«´Ó´óÊý¾ÝµÄ¹ã·ºÓ¦ÓöøµÃµ½Ñ¸ËÙ·¢Õ¹¡£µ«Ñ§Ï°´óÊý¾ÝÄÜÕÒʲô¹¤×÷ÄØ£¿Õâ¸öÊǺܶàѧÉúµÄÀ§»ó¡£ÏÂÃæÀÖÓã²¥¿ÍС±à¾Í¸ø´ó¼Ò½éÉܽéÉÜ¡£
ѧϰ´óÊý¾Ý¿ÉÒÔ´Óʺܶ๤×÷£¬±ÈÈç˵£ºhadoop Ñз¢¹¤³Ìʦ¡¢´óÊý¾ÝÑз¢¹¤³Ìʦ¡¢´óÊý¾Ý·ÖÎö¹¤³Ìʦ¡¢Êý¾Ý¿â¹¤³Ìʦ¡¢hadoopÔËά¹¤³Ìʦ¡¢´óÊý¾ÝÔËά¹¤³Ìʦ¡¢java´óÊý¾Ý¹¤³Ìʦ¡¢spark¹¤³ÌʦµÈµÈ¶¼ÊÇÎÒÃÇ¿ÉÒÔ´ÓÊµĹ¤×÷¸Úλ£¡²»Í¬µÄ¸Ú룬Ëù¾ß±¸µÄ¼¼Êõ֪ʶҲÊDz»Ò»ÑùµÄ£¬ÐèÒª´Ó¸÷¸ö·½Ïòѧϰ£¬Öð¸ö»÷ÆÆ£¡
Hadoop¿ª·¢¹¤³Ìʦ
Äã¾ÍÐèÒª¾ß±¸ÒÔϼ¼Êõ£º
a. »ùÓÚhadoop¡¢hiveµÈ¹¹½¨Êý¾Ý·ÖÎöƽ̨£¬½øÐÐÊý¾Ýƽ̨¼Ü¹¹Éè¼Æ¡¢¿ª·¢·Ö²¼Ê½¼ÆËãÒµÎñ;
b. Ó¦ÓôóÊý¾Ý¡¢Êý¾ÝÍÚ¾ò¡¢·ÖÎö½¨Ä£µÈ¼¼Êõ£¬¶Ôº£Á¿Êý¾Ý½øÐÐÍÚ¾ò£¬·¢ÏÖÆäDZÔڵĹØÁª¹æÔò;
c. ¶Ôhadoop¡¢hive¡¢hbase¡¢Map/ReduceÏà¹Ø²úÆ·½øÐÐÔ¤ÑС¢¿ª·¢;
d. **HadoopÏà¹Ø¼¼Êõ½â¾öº£Á¿Êý¾Ý´¦ÀíÎÊÌâ¡¢´óÊý¾ÝÁ¿µÄ·ÖÎö¡£
e. HadoopÏà¹ØÒµÎñ½Å±¾µÄÐÔÄÜÓÅ»¯ÓëÌáÉý£¬²»¶ÏÌá¸ßϵͳÔËÐÐЧÂÊ;
Êý¾Ý¹¤³Ìʦ
Ö°Ôð£º
a. ·ÖÎö¸÷ÀàÓû§²»¶Ï±ä»¯µÄÐÐΪ;
b. Ô¤²â¸÷ÀàÓªÏú¶ÔÓû§µÄÓ°Ï죬¶¨Î»¾«×¼Êг¡Í¶·Å;
c. °ïÖúʵÏÖ×Ô¶¯»¯¼à¿ØÆ½Ì¨¡£
HadoopÔËά¹¤³Ìʦ
ÄãÐèÒª¾ß±¸ÒÔϼ¼Êõ֪ʶ£º
a. ƽ̨´óÊý¾Ý»·¾³µÄ²¿Êðά»¤ºÍ¼¼ÊõÖ§³Ö;
b. Ó¦ÓùÊÕϵĴ¦Àí¸ú×Ù¼°Í³¼Æ»ã×Ü·ÖÎö;
c. Ó¦Óð²È«£¬Êý¾ÝµÄÈÕ³£±¸·ÝºÍÓ¦¼±»Ö¸´;
Êý¾ÝÍÚ¾ò·ÖÎöʦ
ÄãÐèÒª¾ß±¸ÒÔϼ¼Êõ£º
a.¶ÔÓÅÏÈ¿¼ÂǵÄÕË»§½øÐÐͳ¼Æ·ÖÎö£¬´Ó¶ø¸ü´óÏ޶ȵijɹ¦»¯¡£
b.ÓëÖ÷¹Ü»ò¿Í»§¶Ë¹µÍ¨Ðж¯¼Æ»®£¬²¢ÕÒ³öÐèÒª¸Ä½øµÄµØ·½¡£
c.Ö´ÐÐÕ½ÂÔÊý¾Ý·ÖÎöºÍÑо¿£¬ÒÔÖ§³ÖÒµÎñÐèÇó¡£
d.ÕÒ×¼»ú»á´Ó¶øÓø´ÔÓµÄͳ¼Æ½¨Ä£Ìá¸ßÉú²úÂÊ¡£
e.ä¯ÀÀÊý¾ÝÀ´ÈÏ×¼»ú»á²¢Ìá¸ßÒµÎñ³ÉЧ¡£
f.Ö¸¶¨ÒµÎñÁ÷³Ì£¬Ä¿±êºÍÕ½ÂÔµÄÀí½â£¬ÒÔÌṩ·ÖÎöºÍ½âÊÍ¡£
g.Õë¶ÔÄÚ²¿ÌÖÂÛµÄÀí½â£¬ÔÚÊʵ±Çé¿öÏ»ñµÃÒµÎñÐèÇóºÍ±ØÒªµÄ·ÖÎö¡£
ÒÔÉϾÍÊÇ´óÊý¾ÝÏà¹ØµÄ¹¤×÷¡£Æäʵѧϰ´óÊý¾ÝÊÇÒ»¸ö·Ç³£²»´íµÄÑ¡Ôñ£¬µ±Ï¸÷ÐÐÒµ¶Ô´óÊý¾Ý¸ÚλÈËÔ±ÐèÇó·Ç³£´ó£¬¸÷¸öÓÃÈ˵¥Î»¸ø³öµÄн³êÒ²·Ç³£¿É¹Û¡£¸÷λ¶Ô´óÊý¾ÝÅàѵ¸ÐÐËȤµÄͬѧ£¬¾¡¿ì³¯×Å×Ô¼ºµÄÃÎÏë³ö·¢°É£¡