輿石氏「政権崩壊しかねない」 離党続出に危機感