fanompoana

Mekanisma fanadiovana data Spark Streaming
(I) DStream sy RDD
Araka ny fantatsika, ny kajy Spark Streaming dia mifototra amin'ny Spark Core, ary ny fototry ny Spark Core dia RDD, ka ny Spark Streaming dia tsy maintsy mifandray amin'ny RDD ihany koa.Na izany aza, ny Spark Streaming dia tsy mamela ny mpampiasa hampiasa mivantana ny RDD, fa mamintina andiana foto-kevitra DStream, DStream sy RDD dia fifandraisana misy, azonao atao ny mahatakatra azy io ho toy ny lamina haingon-trano ao Java, izany hoe, DStream dia fanatsarana ny RDD, fa mitovy amin'ny RDD ny fihetsika.
DStream sy RDD dia samy manana fepetra maromaro.
(1) manana hetsika fanovana mitovy, toy ny sarintany, reduceByKey, sns., fa misy ihany koa ny tsy manam-paharoa, toy ny Window, mapWithStated, sns.
(2) samy manana hetsika Action, toy ny foreachRDD, count, sns.
Ny modely fandaharana dia mifanaraka.
(B) Fampidirana ny DStream amin'ny Spark Streaming
DStream dia misy kilasy maromaro.
(1) Kilasy loharanon'ny angona, toy ny InputDStream, manokana amin'ny DirectKafkaInputStream, sns.
(2) Kilasy fiovam-po, matetika MappedDStream, ShuffledDStream
(3) kilasy famoahana, matetika toy ny ForEachDStream
Avy eo ambony, ny angon-drakitra manomboka amin'ny voalohany (input) ka hatramin'ny farany (output) dia ataon'ny rafitra DStream, izay midika fa ny mpampiasa amin'ny ankapobeny dia tsy afaka mamorona mivantana sy manodinkodina RDD, izay midika fa ny DStream dia manana fahafahana sy adidy ho tompon'andraikitra amin'ny tsingerin'ny fiainan'ny RDDs.
Raha lazaina amin'ny teny hafa, ny Spark Streaming dia mananafanadiovana mandeha ho azyasa.
(iii) Ny fizotran'ny famokarana RDD ao amin'ny Spark Streaming
Ny fikorianan'ny RDD ao amin'ny Spark Streaming dia henjana toy izao manaraka izao.
(1) Ao amin'ny InputDStream, ovaina ho RDD ny angona voaray, toy ny DirectKafkaInputStream, izay miteraka KafkaRDD.
(2) avy eo amin'ny alàlan'ny MappedDStream sy ny fiovan'ny angona hafa, amin'ity indray mitoraka ity dia antsoina mivantana RDD mifanaraka amin'ny fomba sari-tany ho an'ny fiovam-po.
(3) Ao amin'ny fiasan'ny kilasy famoahana, rehefa miseho ny RDD, dia azonao atao ny mamela ny mpampiasa hanao ny fitahirizana mifanaraka amin'izany, ny kajy hafa ary ny asa hafa.