允许，但要有用地指标和城建手续。
不然算违章建筑，从严格意义上讲，是指违反《土地管理法》、《城乡规划法》、《村庄和集镇建设管理条例》等相关法律法规的规定动工建造的房屋及设施。
你的情况是有使用这个土地种植的权利，但没有在这个土地上建筑房屋的权力，即使可以，也要取得建筑许可证，什么都没做就擅自建设的建筑100%属于违章建筑。
土地使用权被侵占的法律规定是无权批准征收、使用土地的单位或者个人非法批准占用土地的,超越批准权限非法批准占用土地的,不按照土地利用总体规划确定的用途批准用地的,或者违反法律规定的程序批准占用、征收土地的,其批准文件无效,对非法批准征收、使用土地的直接负责的主管人员和其他直接责任人员,依法给予行政处分;构成犯罪的,依法追究刑事责任。
相关法规:《中华人民共和国土地管理法》第七十八条农村村民未经批准或者采取欺骗手段骗取批准,非法占用土地建住宅的,由县级以上人民政府农业农村主管部门责令退还非法占用的土地,限期拆除在非法占用的土地上新建的房屋。超过省、自治区、直辖市规定的标准,多占的土地以非法占用土地论处。