Parquet файлы - бұл файлдың метадеректерін қамтуы керек hdfs файлы. Бұл бағандарды бірнеше файлдарға бөлуге, сондай-ақ бір метадеректер файлына бірнеше паркет файлдарына сілтеме жасауға мүмкіндік береді. Метадеректер файлда сақталған деректердің схемасын қамтиды.
Паркет файлының схемасын қалай жасауға болады?
Паркет үлгісі деректерінің схемасын жасау үшін келесі әрекеттерді орындаңыз:
- Haddop/Hive терезесіне кіріңіз.
- Ол stdout ішіндегі схеманы келесідей жасайды: -------------- [~] parket-құралдар схемасы abc.parquet. hive_schema хабары { …
- Осы схеманы файлға көшіріңіз. паркет/. номиналды кеңейтім.
Паркет схема эволюциясын қолдай ма?
Схеманы біріктіру
Протокол буфері, Avro және Thrift сияқты Паркет сонымен қатар схема эволюциясын қолдайды Пайдаланушылар қарапайым схемадан бастай алады және біртіндеп қосымша бағандарды қоса алады. қажетінше схема. Осылайша, пайдаланушылар әр түрлі, бірақ өзара үйлесімді схемалары бар бірнеше Parket файлдарын алуы мүмкін.
Паркет файлдарында деректер түрлері бар ма?
Паркет файлының деректер түрлері Деректерді біріктіру қызметі платформалар бойынша деректерді жылжыту үшін пайдаланатын түрлендіру деректер түрлерімен салыстырылады. Паркет файлын оқу немесе жазу үшін көрсеткен Паркет схемасы кішірек әріппен болуы керек.
Паркет файлының құрылымы қандай?
Паркет файлдары жол топтарынан, үстіңгі және астыңғы деректемелерден тұрады Әрбір жол тобы бірдей бағандардың деректерін қамтиды. Бірдей бағандар әрбір жол тобында бірге сақталады: Бұл құрылым жылдам сұрау өнімділігі үшін, сондай-ақ төмен енгізу/шығару (сканерленген деректер көлемін азайту) үшін жақсы оңтайландырылған.
