#ゆかマキファンタジー 制作中にあったことから(また似たような目にあったため)邪魔になっているGameObjectのLayerをIgnore RayCastにするなどでもいけるらしいです。が、使わないものは消したほうが軽量化的にも良さそうとも聞きました('v')و!
http://www.nicovideo.jp/watch/sm40805737