phát biểu nguyên tắc entropy cực đại

Nguyên tắc entropy cực đại là một nguyên tắc trong lý thuyết thông tin và xác suất, nó được sử dụng để đo lường mức độ không chắc chắn của một biến ngẫu nhiên. Entropy cực đại xảy ra khi một biến ngẫu nhiên có độ phân bố đồng đều nhất, tức là mỗi kết quả có xác suất xảy ra bằng nhau. Khi entropy đạt giá trị cực đại, ta có thể khẳng định rằng không có thông tin nào có thể được rút ra từ biến ngẫu nhiên đó. Nguyên tắc entropy cực đại cũng liên quan đến khái niệm của lý thuyết thông tin, trong đó entropy được coi là một đo lường cho lượng thông tin có thể truyền qua một kênh truyền thông.