你家的房产有产权证吧，你在产权证标明的范围内有自主权，任何人不得阻拦。如果你的围墙建在自己的产权范围内，在不影响到他的出入的情况下，他没有理由阻拦。你可以让法院裁决判你们可以建围墙。如果他继续阻拦，你可以不动声色，用录像、录音等留下物证证据，然后到法院起诉，稳赢。
有凭有据。说不通就法律解决吧
