Автор, вариантов нет. Поймите, вы далеко не первый, кто столкнулся с данной проблемой.
Поднимаете внутри виртуалку, заходите на неё по терминальному доступу и всем управляете изнутри.
Проброс портов для 1-го хоста оставляете как есть. Виртуалку служебную держите на этом 1-м хосте.
Падает виртуалка - у вас остается консольный доступ к хосту.
Профит! :) Да костыль, но по другому никак.
