謝謝你，Rob van der Woude！
原來在 .reg 裡面也可以表明要移除某個 key。
參考Rob van der Woude的這篇文章：Batch files – Use REGEDIT to add, read or delete registry values，只要這樣寫就行了：
;表明移除整個 DummyTree
[-HKEY_CURRENT_USER\DummyTree]
;表明移除指定項目
[HKEY_CURRENT_USER\DummyTree]
"ValueToBeRemoved"=-
文章裡面還有許多其他關於 registry 的技巧喔～