Жалпы, шатасу - ықтималдық үлгісі үлгіні қаншалықты жақсы болжайтынын өлшемі. Табиғи тілді өңдеу контекстінде түсініксіздік тіл үлгілерін бағалаудың бір жолы болып табылады.
NLP шатасу деген не?
Табиғи тілді өңдеуде шатасу тіл үлгілерін бағалау тәсілі Тілдік модель – бүкіл сөйлемдер немесе мәтіндер бойынша ықтималдық үлестірімі. … Көбінесе мамандандырылған корпустарда аз күдікке қол жеткізуге болады, өйткені олар болжауға болады.
Сіз абдырап қалуды қалай түсіндіресіз?
Түбірсіздікті салмақталған тармақталу факторы деп түсіндіре аламыз. Егер бізде 100-ге тең келеңсіздік болса, бұл модель келесі сөзді болжауға тырысқанда, ол 100 сөздің арасынан таңдау керек сияқты шатасатынын білдіреді.
Түсініктіліктің интуитивті түсіндірмесі қандай?
Уикипедия түсініксіздікті былай анықтайды: «ықтималдық үлестірімі немесе ықтималдық үлгісі үлгіні қаншалықты жақсы болжайтынының өлшемі.» Интуитивті түрде шатасуды белгісіздік өлшемі ретінде түсінуге болады тіл үлгісін келесі таңбаны болжау кезіндегі түсініксіздік деңгейі ретінде көруге болады.
Төбелестік жақсы ма?
Өйткені болжамды нәтижелер кездейсоқтықтан артық. Міне, сондықтан адамдар аз түсініксіздікті жақсы, ал жоғары шатасуды жаман деп айтады, өйткені шатасушылық энтропияның экспоненциализациясы болып табылады (және сіз шатасушылық ұғымын энтропия ретінде қауіпсіз елестете аласыз).
