No hay exactamente una receta mágica, la configuración mínima del instalador requiere una heap máxima de 4G de -Xmx. Pero con los recursos que tienes en tu server, puedes empezar con -Xmx=8G o incluso con 10-12G. Lo que si te aconsejaría es que monitorices la JVM con las OOTB Support Tools (o con una herramienta de monitorización externa), para que verificar que es suficiente.
Por otro lado, desplegaría Alfresco en otro Tomcat distinto al que mencionas, cambiando los puertos necesarios.
Puedes poner un poco más de -Xms para que los reserve desde el primer arranque, por ejemplo 4G. Hace tiempo, con servidores con menos recursos y JRE más antiguas era usual ver entornos productivos con los -Xms y -Xmx igualados . Por ultimo, el MaxPermSize no se usa en java 8 si no recuerdo mal, que seria el java que deberías utilizar en Alfresco 5.2.
Además de lo que te comenta César, que es muy buen punto de partida, matizar que el consumo de recursos tiene un impacto directo con el uso que le vayáis a dar al Alfresco. Por ejemplo: Subidas masivas de documentación, auditorias, ¿número de usuarios que usen Alfresco al mismo tiempo?, etc... Es decir, que para poder escalarlo apropiadamente, deberías comentarnos el contexto de tu instalación y a partir de ahí podríamos aconsejarte apropiadamente.
Buen dia lamentablemente tenemos java 6 por la vercion de openbravo que tenemos, el dia de ayer le puse un Xmx de 30 gb peor llego el momento en que lo consumio y empesio a sacar los usuarios, lo aumente hasta 50 y lo maximo que subio fue hasta 45 gb pero jamas bajo de 41, como se pudiera liberar memoria si ya no se utiliza.
¿Java 6? ¿Puedes verificar que tu Alfresco no tira de /opt/alfresco/java/bin? Con Alfrsco levantado lanza el siguiente comando para comprobar el estado:
