追記ご指摘の通り隣の木を伐採してから土を破壊したら木が倒壊しました。追記ウッドフレームの上に土を置き、そこに植樹したところ育つには育ちましたがウッドフレームを回収した瞬間に木が消滅して土が落下ダメージで壊れました。
http://www.nicovideo.jp/watch/sm25119562