Este es un límite codificado en XInput API:
La API de XInput soporta hasta cuatro controladores conectados al mismo tiempo. Todas las funciones de XInput requieren un parámetro dwUserIndex que se pasa para identificar el controlador que se está configurando o consultando. Este ID estará en el rango de 0-3 y se establece automáticamente por XInput. El número corresponde al puerto al que está conectado el controlador y no es modificable.
Empezar con XInput en aplicaciones de Windows
Gang Beasts y Pummel Party admiten hasta 8 jugadores. Si ya tienes 4 controladores de Xbox One, intenta conectar controladores que no sean de Xbox.
Para Pummel Party, también puedes intentar habilitar Soporte de Características Extendidas de Xbox en la configuración de controlador de Steam y desactivar Usar XInput en la configuración de controlador de Pummel Party.
Aparentemente steam tiene una forma de permitir más de 4 controladores de Xbox?
No estoy seguro si hay una forma de hacer esto para Gang Beasts.