激しく環境依存の予感もあり、うちのパソコンだけかもしれませんが、利用中のハンドルが強制的に無効になったとしても大丈夫だろうとわかっている場合に限定した方法です。

• マイコンピューターから USB メモリを選んで「取り出す」を選択します
• エラーダイアログが出たら「続行」を選択します
• タスクトレイから「ハードウェアを安全に取り外して、メディアを取り出す」を選択します

実は、２番目までで強制的に外せるようになっている可能性もありますが、最後までやると「安全に取り外せます」とメッセージが出て、（たぶん、かりそめだとは思いますが）安心感が得られるため、面倒でもやり抜きます。