要关闭手机上的悬浮窗小窗口，你可以按照以下步骤操作：

通过应用程序内部设置关闭悬浮窗

打开你想要关闭悬浮窗的应用。

进入应用的设置界面。

查找与悬浮窗相关的选项，并将其关闭。

通过系统设置关闭悬浮窗

打开手机的“设置”应用程序。

找到与悬浮窗相关的选项，这可能在“应用管理”、“悬浮窗管理”或“多任务管理”等菜单中。

在悬浮窗管理选项中，找到你想要关闭悬浮窗的应用程序，并将其关闭。

使用第三方工具关闭悬浮窗

如果你无法通过应用程序内部设置或系统设置关闭悬浮窗，可以尝试使用第三方工具。

在应用商店中搜索并安装专门用于管理悬浮窗的应用程序。

根据工具的描述，使用它来关闭不需要的悬浮窗。

请根据你的手机品牌和操作系统版本，选择合适的方法进行操作。如果你不确定如何操作，可以查看手机用户手册或联系手机制造商的客服获取帮助。