1. Лимит запрещает брать физическую память хоста, но никак не неактивную память других машин (то есть балун).
2. А зачем вот такие сложности? Выделите в настройках ВМ каждой ВМ объём который ей нужен и всё! Лимиты крайне не рекомендуемая штука для продуктивных машина вещь.