Аккумуляторлар тек ассоциативті операция арқылы «қосылатын» айнымалылар болып табылады және сондықтан параллельді тиімді қолдауға болады. Оларды есептегіштерді (MapReduce жүйесіндегідей) немесе сомаларды енгізу үшін пайдалануға болады. Spark бастапқыда сандық түрлердің аккумуляторларына қолдау көрсетеді, ал бағдарламашылар жаңа түрлерге қолдау қоса алады.
Аккумуляторды не үшін пайдаланып жатырмыз?
Гидравликалық аккумуляторлар өнеркәсіптің алуан түрлілігінде энергияны сақтау үшін пайдаланылады; қысымды ұстап тұру; тербелістерді, пульсацияларды және соққыларды сөндіріңіз; және тағы басқалар. Энергияны сақтау – аккумуляторлар гидравликалық жүйенің тиімділігін арттыру үшін қысымды сұйықтық түріндегі энергияны қабылдап, сақтай және шығара алады.
Spark бағдарламасындағы хабар тарату мен аккумулятордың айырмашылығы неде?
Таратылым айнымалысы мен аккумулятор арасындағы негізгі айырмашылық таратылым айнымалысы тек оқуға арналған болғанда, аккумуляторды қосуға болады. … Әрбір жұмысшы түйіні тек өзінің жергілікті аккумулятор мәніне қол жеткізе алады және оған қоса алады және тек драйвер бағдарламасы ғана ғаламдық мәнге қол жеткізе алады.
Spark аккумуляторы қалай жұмыс істейді?
Аккумуляторлар орындаушылар бойынша ақпаратты жинақтау үшін пайдаланылатын айнымалылар. Мысалы, бұл ақпарат деректерге немесе API диагнозына қатысты болуы мүмкін, мысалы, қанша жазба бүлінген немесе белгілі бір кітапхана API интерфейсі қанша рет шақырылған.
Неліктен Spark жүйесіндегі аккумулятор айнымалысын жұмысшы түрлендіру операциялары үшін пайдаланбауы керек?
Аккумулятор қате шығыс береді. Егер тапсырма баяу орындалса, Spark сол тапсырманың алыпсатарлық көшірмесін басқа түйінде іске қоса алады. Үкім: өңделмеген. Аккумулятор қате шығыс береді.
