斎藤兵庫県知事、県庁に帰還