Õû¸öSpark ¿ò¼ÜÄ£¿é°üº¬£ºSpark Core¡¢ Spark SQL¡¢ Spark Streaming¡¢ Spark GraphX¡¢ Spark MLlib£¬¶øºóËÄÏîµÄÄÜÁ¦¶¼Êǽ¨Á¢ÔÚºËÐÄÒýÇæÖ®ÉÏ¡£

Spark Core£ºSparkµÄºËÐÄ£¬SparkºËÐŦÄܾùÓÉSpark CoreÄ£¿éÌṩ£¬ÊÇSparkÔËÐеĻù´¡¡£Spark CoreÒÔRDDΪÊý¾Ý³éÏó£¬ÌṩPython¡¢Java¡¢Scala¡¢RÓïÑÔµÄAPI£¬¿ÉÒÔ±à³Ì½øÐк£Á¿ÀëÏßÊý¾ÝÅú´¦Àí¼ÆËã¡£

SparkSQL£º»ùÓÚSparkCoreÖ®ÉÏ£¬Ìṩ½á¹¹»¯Êý¾ÝµÄ´¦ÀíÄ£¿é¡£SparkSQLÖ§³ÖÒÔSQLÓïÑÔ¶ÔÊý¾Ý½ø´¦Àí,SparkSQL±¾ÉíÕë¶ÔÀëÏß¼ÆË㳡¾°¡£Í¬Ê±»ùÓÚSparkSQL£¬SparkÌṩÁËStructuredStreamingÄ£¿é£¬¿ÉÒÔÒÔSparkSQLΪ»ù´¡£¬½øÐÐÊý¾ÝµÄÁ÷ʽ¼ÆËã¡£

SparkStreaming£ºÒÔSparkCoreΪ»ù´¡£¬ÌṩÊý¾ÝµÄÁ÷ʽ¼ÆË㹦ÄÜ¡£

MLlib£ºÒÔSparkCoreΪ»ù´¡£¬½øÐлúÆ÷ѧϰ¼ÆË㣬ÄÚÖÃÁË´óÁ¿µÄ»úÆ÷ѧϰ¿âºÍAPIËã·¨µÈ¡£·½±ãÓû§ÒÔ·Ö²¼Ê½¼ÆËãµÄģʽ½øÐлúÆ÷ѧϰ¼ÆËã¡£

GraphX£ºÒÔSparkCoreΪ»ù´¡£¬½øÐÐͼ¼ÆË㣬ÌṩÁË´óÁ¿µÄͼ¼ÆËãAPI£¬·½±ãÓÃÓÚÒÔ·Ö²¼Ê½¼ÆËãģʽ½øÐÐͼ¼ÆËã¡£

SparkÌṩ¶àÖÖÔËÐÐģʽ£¬°üÀ¨£º

• ±¾µØģʽ(µ¥»ú)

±¾µØģʽ¾ÍÊÇÒÔÒ»¸ö¶ÀÁ¢µÄ½ø³Ì£¬Í¨¹ýÆäÄÚ²¿µÄ¶à¸öÏß³ÌÀ´Ä£ÄâÕû¸öSparkÔËÐÐʱ»·¾³

• Standaloneģʽ(¼¯Èº)

SparkÖеĸ÷¸ö½ÇÉ«ÒÔ¶ÀÁ¢½ø³ÌµÄÐÎʽ´æÔÚ£¬²¢×é³ÉSpark¼¯Èº»·¾³

• Hadoop YARNģʽ(¼¯Èº)

SparkÖеĸ÷¸ö½ÇÉ«ÔËÐÐÔÚYARNµÄÈÝÆ÷ÄÚ²¿£¬²¢×é³ÉSpark¼¯Èº»·¾³

• Kubernetesģʽ(ÈÝÆ÷¼¯Èº)

SparkÖеĸ÷¸ö½ÇÉ«ÔËÐÐÔÚKubernetesµÄÈÝÆ÷ÄÚ²¿£¬²¢×é³ÉSpark¼¯Èº»·¾³

• ÔÆ·þÎñģʽ(ÔËÐÐÔÚÔÆƽ̨ÉÏ)

ʲôÊÇSpark SQL£¿Spark SQL¼ò½é

SparkStreamingÁ¬½ÓKafkaÁ½ÖÖ·½Ê½

SparkMllibÈçºÎ½â¾ö»Ø¹éÎÊÌ⣿

SparkµÄÓ¦Óó¡¾°ÓÐÄÄЩ£¿

ÀÖÓãµç¾ºPython+´óÊý¾Ý¿ª·¢Åàѵ