Сложности в перемещении по сцене связаны с тем, что React 360 сцена - это цилиндр со статическим бэкграундом, то есть по сути на сферу с радиусом 4 метра натягивается растровый фон и перемещаться по такой сцене нет возможности. Для реального перемещения необходимо перенимать опыт игр. Для такого более сгодится three.js