下策也找好了:
我没有号的实例，可以直接
ActivityPub::DeliveryWorker.perform_async("{}", account.id, "https://#{remote_domain}/inbox")

直接发一个空json过去，对方居然就会主动fetch了，我大受震撼