Entropie (Entropy)

Entropie v AI a strojovém učení měří míru nejistoty nebo náhodnosti v datech. Například v rozhodovacích stromech se používá k výběru nejvýhodnějšího atributu pro rozdělení dat – čím nižší entropie, tím „čistší“ rozdělení. V kontextu jazykových modelů entropie pomáhá odhadovat, jak předvídatelný je text. Vysoká entropie znamená, že je složitější učinit přesnou predikci, zatímco nízká entropie značí jednodušší rozhodování.