当您需要更换手机号码并希望退回剩余话费时，可以遵循以下步骤操作：

1. 转移话费

如果您在同一个运营商有另一个手机号码，通常可以简单地将剩余话费转移到新号码上。大多数运营商都提供线上或线下的转移服务，您只需按照指示操作即可。

2. 联系运营商客服

如果您的手机号码注销后仍有余额，您可以联系运营商客服，询问是否可以申请退款。客服可能会要求您提供身份证明和其他相关信息，并告知您退款的具体政策和程序。

3. 注销手机号码

如果您决定不再使用原手机号码，可以携带身份证到营业厅办理注销手续。注销后，原号码上的余额通常可以全部取出，且不收取手续费。

4. 法律途径

如果以上方法都无法解决问题，您可以考虑通过法律途径来追讨话费。您可以依据《中华人民共和国民法典》的相关规定，向法院提起诉讼，要求对方返还不当得利。

5. 协商解决

在尝试上述方法之前，您还可以尝试联系对方，诚恳地说明情况，并请求对方退还交错的话费。如果对方关机，可以通过社交媒体、电子邮件或留言等方式尝试联系。

建议

在进行任何操作之前，建议先咨询您的运营商，了解他们的具体政策和流程，以确保操作顺畅。

如果涉及金额较大或对方拒绝合作，建议寻求法律专业人士的帮助。

通过上述步骤，您应该能够顺利处理更换手机号码后的话费退款问题。