立民・国民の両党、五輪中止は「現実的でない」