Мастер мен редукторлар қалай жұмыс істейді?

Мазмұны:

Мастер мен редукторлар қалай жұмыс істейді?
Мастер мен редукторлар қалай жұмыс істейді?

Бейне: Мастер мен редукторлар қалай жұмыс істейді?

Бейне: Мастер мен редукторлар қалай жұмыс істейді?
Бейне: Алматылық студентке жұмыс бар ма? 2024, Қараша
Anonim

Карталаушы немесе карта тапсырмасының шығысы (кілт-мән жұптары) Редужерге енгізіледі Редуктор кілт-мән жұбын бірнеше карта тапсырмаларынан алады. Содан кейін редуктор сол аралық деректер кортеждерін (аралық кілт-мән жұбы) соңғы нәтиже болып табылатын кортеждердің кішірек жиынына немесе кілт-мән жұптарына біріктіреді.

Мастер мен редукторлар не істейді?

Hadoop Mapper - файлдағы барлық кіріс жазбаларын өңдеу және Редуктор үшін кіріс ретінде жұмыс істейтін шығысты жасау үшін пайдаланылатын функция немесе тапсырма кілт-мән жұптары. … Кілт-мән жұбы ретінде кіріс жазбаларын өңдеу кезінде карта жасаушы деректердің кейбір шағын блоктарын да жасайды.

Мастер мен редуктордың айырмашылығы неде?

Манерлеуші мен редуктордың негізгі айырмашылығы неде? Карталаушы тапсырмасы әрбір кіріс жазбасын өңдейтін (RecordReader бағдарламасынан) өңдейтін және аралық кілт-мән жұбын жасайтын өңдеудің бірінші кезеңі. Кішірейту әдісі әрбір кілт/мәндер тізім жұбы үшін бөлек шақырылады.

Сализаторлар мен редукторлар санын қалай есептейсіз?

Бұл әр құлда қанша ядроға және қанша жадқа байланысты. Әдетте, бір карта жасаушы процессорлардың 1-1,5 ядросын алуы керек Сондықтан сізде 15 ядро болса, бір түйін үшін 10 картаны іске қосуға болады. Егер сізде Hadoop кластерінде 100 деректер түйіні болса, бір кластерде 1000 салыстырушыны іске қосуға болады.

Mapper функциясы қалай жұмыс істейді?

Mapper - кіріс деректерін өңдейтін функция Салғыш деректерді өңдейді және деректердің бірнеше шағын бөліктерін жасайды. MapReduce бағдарламасының кірісі файл немесе каталог (HDFS ішінде сақталады) болса да, салыстыру функциясының кірісі (кілт, мән) жұптар түрінде болады.

Ұсынылған: