ÔÚÁ˽âÕâ¸öÎÊÌâ֮ǰ£¬ÎÒÃÇÏÈÀ´Á˽âһϴóÊý¾ÝÓëÔÆ¼ÆËãµÄ¹ØÏµ£¡È»ºóÔÙÀ´ÌÖÂÛÔÆ¼ÆËãÈ¥ÄǸöÅàѵ»ú¹¹ºÃ¡£
´óÊý¾ÝÔÆ¼ÆËãÊÇʲô?´óÊý¾ÝÓëÔÆ¼ÆËãµÄ¹ØÏµ?´óÊý¾ÝÊǶԴóÁ¿¡¢¶¯Ì¬¡¢ÄܳÖÐøµÄÊý¾Ý£¬Í¨¹ýÔËÓÃÐÂϵͳ¡¢Ð¹¤¾ß¡¢ÐÂÄ£Ð͵ÄÍÚ¾ò£¬´Ó¶ø»ñµÃ¾ßÓж´²ìÁ¦ºÍмÛÖµµÄ¶«Î÷;ÔÆ¼ÆËã·þÎñÆäʵ¾ÍÊÇÈüÆËã¡¢´æ´¢¡¢ÍøÂç¡¢Êý¾Ý¡¢Ëã·¨¡¢Ó¦ÓõÈÈíÓ²¼þ×ÊÔ´ÏñµçÒ»Ñù£¬ËæÊ±ËæµØ¡¢¼´²å¼´Óá£
Êý¾Ý(Big data)ͨ³£ÓÃÀ´ÐÎÈÝÒ»¸ö¹«Ë¾´´ÔìµÄ´óÁ¿·Ç½á¹¹»¯ºÍ°ë½á¹¹»¯Êý¾Ý£¬ÕâЩÊý¾ÝÔÚÏÂÔØµ½¹ØÏµÐÍÊý¾Ý¿âÓÃÓÚ·ÖÎöʱ»á»¨·Ñ¹ý¶àʱ¼äºÍ½ðÇ®¡£´óÊý¾Ý·ÖÎö³£ºÍÔÆ¼ÆËãÁªÏµµ½Ò»Æð£¬ÒòΪʵʱµÄ´óÐÍÊý¾Ý¼¯·ÖÎöÐèÒªÏñMapReduceÒ»ÑùµÄ¿ò¼ÜÀ´ÏòÊýÊ®¡¢Êý°Ù»òÉõÖÁÊýǧµÄµçÄÔ·ÖÅ乤×÷¡£
Ò»¡¢´óÊý¾ÝµÄÌØµã
Êý¾ÝÁ¿´ó¡¢Êý¾ÝÖÖÀà¶à¡¢ ÒªÇóʵʱÐÔÇ¿¡¢Êý¾ÝËùÔ̲صļÛÖµ´ó¡£ÔÚ¸÷Ðи÷Òµ¾ù´æÔÚ´óÊý¾Ý£¬µ«ÊÇÖÚ¶àµÄÐÅÏ¢ºÍ×ÉѯÊÇ·×·±¸´Ôӵģ¬ÐèÒªËÑË÷¡¢´¦Àí¡¢·ÖÎö¡¢¹éÄÉ¡¢×ܽáÆäÉî²ã´ÎµÄ¹æÂÉ¡£
´óÊý¾ÝµÄ4VÌØµã£ºVolume(´óÁ¿)¡¢Velocity(¸ßËÙ)¡¢Variety(¶àÑù)¡¢Value(¼ÛÖµ)¡£
¶þ¡¢´óÊý¾Ýʱ´úµÄÓ°Ïì
Ô½À´Ô½¶àµÄÕþ¸®¡¢ÆóÒµµÈ»ú¹¹¿ªÊ¼Òâʶµ½Êý¾ÝÕýÔÚ³ÉΪ×éÖ¯×îÖØÒªµÄ×ʲú£¬Êý¾Ý·ÖÎöÄÜÁ¦ÕýÔÚ³ÉΪ×éÖ¯µÄºËÐľºÕùÁ¦¡£Èç2012Äê3ÔÂ22ÈÕ£¬°Â°ÍÂíÕþ¸®Ðû²¼Í¶×Ê2ÒÚÃÀÔªÀ¶¯´óÊý¾ÝÏà¹Ø²úÒµ·¢Õ¹£¬½«“´óÊý¾ÝÕ½ÂÔ”ÉÏÉýΪ¹ú¼ÒÒâÖ¾¡£ÁªºÏ¹úÒ²ÔÚ2012Äê·¢²¼ÁË´óÊý¾ÝÕþÎñ°×ƤÊ飬ָ³ö´óÊý¾Ý¶ÔÓÚÁªºÏ¹úºÍ¸÷¹úÕþ¸®À´ËµÊÇÒ»¸öÀúÊ·ÐԵĻúÓö£¬ÈËÃÇÈç½ñ¿ÉÒÔʹÓü«Îª·á¸»µÄÊý¾Ý×ÊÔ´£¬À´¶ÔÉç»á¾¼Ã½øÐÐǰËùδÓеÄʵʱ·ÖÎö£¬°ïÖúÕþ¸®¸üºÃµØÏìÓ¦Éç»áºÍ¾¼ÃÔËÐС£
´Ó¼¼ÊõÉÏ¿´£¬´óÊý¾ÝÓëÔÆ¼ÆËãµÄ¹ØÏµ¾ÍÏñһöӲ±ÒµÄÕý·´ÃæÒ»ÑùÃܲ»¿É·Ö¡£´óÊý¾Ý±ØÈ»ÎÞ·¨Óõ¥Ì¨µÄ¼ÆËã»ú½øÐд¦Àí£¬±ØÐë²ÉÓ÷ֲ¼Ê½¼ÆËã¼Ü¹¹¡£ËüµÄÌØÉ«ÔÚÓÚ¶Ôº£Á¿Êý¾ÝµÄÍÚ¾ò£¬µ«Ëü±ØÐëÒÀÍÐÔÆ¼ÆËãµÄ·Ö²¼Ê½´¦Àí¡¢·Ö²¼Ê½Êý¾Ý¿â¡¢ÔÆ´æ´¢ºÍÐéÄ⻯¼¼Êõ¡£
´óÊý¾ÝÊǶԴóÁ¿¡¢¶¯Ì¬¡¢ÄܳÖÐøµÄÊý¾Ý£¬Í¨¹ýÔËÓÃÐÂϵͳ¡¢Ð¹¤¾ß¡¢ÐÂÄ£Ð͵ÄÍÚ¾ò£¬´Ó¶ø»ñµÃ¾ßÓж´²ìÁ¦ºÍмÛÖµµÄ¶«Î÷¡£ÒÔǰ£¬Ãæ¶ÔÅÓ´óµÄÊý¾Ý£¬ÎÒÃÇ¿ÉÄÜ»áÒ»Ò¶ÕÏÄ¿¡¢¿É¼ûÒ»°ß£¬Òò´Ë²»ÄÜÁ˽⵽ÊÂÎïµÄÕæÕý±¾ÖÊ£¬´Ó¶øÔÚ¿ÆÑ§¹¤×÷Öеõ½´íÎóµÄÍÆ¶Ï£¬¶ø´óÊý¾Ýʱ´úµÄÀ´ÁÙ£¬Ò»ÇÐÕæÏཫ»áÕ¹ÏÖÔÚ´ó¼ÒÃæÇ°¡£
Èý¡¢ÔƼÆËã¡¢´óÊý¾ÝÖ®¼äµÄÇø±ðÓëÁªÏµ
(1)´óÊý¾ÝºÍÔÆ¼ÆËãµÄ¸ÅÄîÇø±ð£º´óÊý¾Ý˵µÄÊÇÒ»ÖÖÒÆ¶¯»¥ÁªÍøºÍÎïÁªÍø±³¾°ÏµÄÓ¦Óó¡¾°£¬¸÷ÖÖÓ¦ÓòúÉúµÄ¾ÞÁ¿Êý¾Ý£¬ÐèÒª´¦ÀíºÍ·ÖÎö£¬ÍÚ¾òÓмÛÖµµÄÐÅÏ¢;ÔÆ¼ÆËã˵µÄÊÇÒ»ÖÖ¼¼Êõ½â¾ö·½°¸£¬¾ÍÊÇÀûÓÃÕâÖÖ¼¼Êõ¿ÉÒÔ½â¾ö¼ÆËã¡¢´æ´¢¡¢Êý¾Ý¿âµÈһϵÁÐIT»ù´¡ÉèÊ©µÄ°´Ðè¹¹½¨µÄÐèÇó£¬Á½Õß²¢²»ÊÇͬһ¸ö²ãÃæµÄ¶«Î÷¡£
(2)´óÊý¾ÝÓëÔÆ¼ÆËãµÄ¹ØÏµÄÇôÉÏÃæËµÁË´óÊý¾ÝºÍÔÆ¼ÆËãµÄÇø±ð£¬Á½ÕßÖ®¼äÓÖÓÐ×ŷdz£½ôÃܵÄÁªÏµ£¬´óÊý¾ÝÊÇÔÆ¼ÆËã·Ç³£ÖØÒªµÄÓ¦Óó¡¾°£¬¶øÔƼÆËãÔòΪ´óÊý¾ÝµÄ´¦ÀíºÍÊý¾ÝÍÚ¾ò¶¼ÌṩÁË×î¼ÑµÄ¼¼Êõ½â¾ö·½°¸¡£
´óÊý¾Ý·ÖÎö³£ºÍÔÆ¼ÆËãÁªÏµµ½Ò»Æð£¬ÒòΪʵʱµÄ´óÐÍÊý¾Ý¼¯·ÖÎöÐèÒªÏñMapReduceÒ»ÑùµÄ¿ò¼ÜÀ´ÏòÊýÊ®¡¢Êý°Ù»òÉõÖÁÊýǧµÄµçÄÔ·ÖÅ乤×÷£¬´óÊý¾ÝÐèÒªÌØÊâµÄ¼¼Êõ£¬ÒÔÓÐЧµØ´¦Àí´óÁ¿µÄÈÝÈ̾¹ýʱ¼äÄÚµÄÊý¾Ý¡£ÊÊÓÃÓÚ´óÊý¾ÝµÄ¼¼Êõ£¬°üÀ¨´ó¹æÄ£²¢Ðд¦Àí(MPP)Êý¾Ý¿â¡¢Êý¾ÝÍÚ¾òµçÍø¡¢·Ö²¼Ê½Îļþϵͳ¡¢·Ö²¼Ê½Êý¾Ý¿â¡¢ÔƼÆËãÆ½Ì¨¡¢»¥ÁªÍøºÍ¿ÉÀ©Õ¹µÄ´æ´¢ÏµÍ³£¬´óÊý¾ÝÖ¸µÄº£Á¿µÄÊý¾Ý Ò»°ãÈÕ´¦Àí PB¼¶±ðÒÔÉÏ£¬Ò»°ãÓÃÓÚÍÚ¾ò£¬·ÖÎö£¬×öһЩÖÇÄÜÉÌÒµ°å¿é¡£
´óÊý¾Ý±ØÈ»ÓëÔÆ¼ÆËãÏà¹Ø(´óÊý¾ÝºÍÔÆ¼ÆËãûÓбØÈ»ÁªÏµ£¬ÄãÒª×÷´óÊý¾Ý£¬¿ÉÒÔÓÃÔÆ¼ÆË㣬Ҳ¿ÉÒÔ²»ÓÃ)£¬Êý¾ÝÖÐÐÄÊÇÔÆ¼ÆËãµÄ»ù´¡£¬´Ó¼¼ÊõÉÏ¿´£¬´óÊý¾ÝÓëÔÆ¼ÆËãµÄ¹ØÏµ¾ÍÏñһöӲ±ÒµÄÕý·´ÃæÒ»ÑùÃܲ»¿É·Ö£¬´óÊý¾Ý±ØÈ»ÎÞ·¨Óõ¥Ì¨µÄ¼ÆËã»ú½øÐд¦Àí£¬±ØÐë²ÉÓ÷ֲ¼Ê½¼Ü¹¹¡£ËüµÄÌØÉ«ÔÚÓÚ¶Ôº£Á¿Êý¾Ý½øÐзֲ¼Ê½Êý¾ÝÍÚ¾ò£¬µ«Ëü±ØÐëÒÀÍÐÔÆ¼ÆËãµÄ·Ö²¼Ê½´¦Àí¡¢·Ö²¼Ê½Êý¾Ý¿âºÍÔÆ´æ´¢¡¢ÐéÄ⻯¼¼Êõ£¬Ëæ×ÅÔÆÊ±´úµÄÀ´ÁÙ£¬´óÊý¾Ý(Big data)Ò²ÎüÒýÁËÔ½À´Ô½¶àµÄ¹Ø×¢¡£
Êý¾ÝÖÐÐÄÊÇÔÆ¼ÆËãµÄ»ù´¡ÉèÊ©£¬ÎÒÃÇͨ³£½²µ½µÄ·þÎñÆ÷×ÊÔ´·ÖÅ䣬´ø¿í·ÖÅ䣬ҵÎñÖ§³ÅÄÜÁ¦£¬Á÷Á¿·À»¤ºÍÇåÏ´ÄÜÁ¦£¬¶¼ÊÇ»ùÓÚÊý¾ÝÖÐÐĵĴóС£¬ºÍÆä´ø¿íµÄÈÝÁ¿£¬Êý¾ÝÖÐÐÄ·Ö²¼ÔÚ²»Í¬µÄºËÐijÇÊУ¬·øÉäµ½Öܱ߳ÇÊУ¬Ìṩ»ù´¡Ö§³Å£¬ÆäÒ»°ã¶¼·ûºÏ¹ú¼Ò»ú·¿Ò»¼¶±ê×¼£¬¾ß±¸¼«Ç¿µÄÈÝÔÖÄÜÁ¦£¬¶àÊý³§ÉÌ»áÑ¡ÔñÁ½µØÈýÖÐÐĵȷ½Ê½À´¼ÜÉè»ú·¿£¬ÔƼÆËãÊÇÔÚÊý¾ÝÖÐÐĵĻù´¡ÉÏÌṩµÄ´Ó»ù´¡·þÎñµ½ÔöÖµ·þÎñµÄÒ»ÖÖÏÐÖÃ×ÊÔ´ÀûÓá£
µ«ÓÐÒ»µã²»±äµÄÊÇ£¬²»¹ÜÔÆ¼ÆËãÔõÑùÈ¥±ä»¯£¬±ØÈ»ÐèÒªÒÀÍÐÊý¾ÝÖÐÐÄʵÏÖÂ䵨¡£¿ÉÒÔ˵£¬Êý¾ÝÖÐÐÄÊÇÔÆ¼ÆËãµÄ¸ù£¬ÔƼÆËãÊÇÊý¾ÝÖÐÐēҶ×Ó”£¬ÔƼÆËãͨ¹ý“¹âºÏ×÷ÓÔ´Ù½øÊý¾ÝÖÐÐĵķ¢Õ¹£¬¶øÊý¾ÝÖÐÐĵÃ׳´óÓÖÎªÔÆ¼ÆËã·¢Õ¹ÌṩÁ˼áʵµÄ»ù´¡£¬ÕâÈýÕ߯ðµ½Ï໥ÒÀ´æ£¬»¥Ïà´Ù½øµÄ×÷Óá£
ÄÇô´óÊý¾ÝÔÆ¼ÆËãÈ¥ÄǸöÅàѵ»ú¹¹ºÃ£¿
Èç¹ûÏëÈ¥²Î¼ÓÅàѵ£¬Ê×ÏÈÒª¸ø×Ô¼ºÒ»¸öÇåÎúµÄ¶¨Î»£¬ÈçѧÀú¡¢»ù±¾ËØÖÊ¡¢ÐËȤ°®ºÃºÍ½«À´×Ô¼ºÏëÒª´ÓÊµĹ¤×÷µÈ£¬°´ÉÏÊö·ÖÀ࣬ѡÔñÒ»¸öÏà¶ÔÊʺϵÄÀà±ð¡£
ÔÚ×Ô¼ºÑ¡¶¨µÄÀà±ðÀÌôÑ¡ÊʺÏ×Ô¼ºµÄÖ°ÒµÅàѵѧУ£¬Ñ¡ÔñµÄʱºòÒªµ½ÊµµØÈ¥¿¼²ì¡¢×ß½øÅàѵ»ú¹¹¡¢×ß½ø½ÌÊÒ£¬ÀíÐÔÑ¡Ôñ!
¡·¡·¡·Ñ¡ÔñÒ»¸öºÃµÄ´óÊý¾ÝÅàѵ»ú¹¹£¡ÈÃÄãÇáËÉÄøßн¡¶¡¶¡¶