小时候，他很孤独，因为没人陪他玩。他喜欢上画画，经常一个人在家涂鸦。稍大一点，他便用粉笔在灰墙上画小人、火车、还有房子。从上小学开始，他就感觉自己和别人不一样。“别人说，这个孩子清高。其实，我跟别人玩的时候，总觉得有两个我，一个在玩，一个在旁边冷静地看着。”他喜欢画画和看书，想着长大后做名画家。
高考完填志愿时，父母对他的艺术梦坚决反对。他不争，朝父母丢下一句：如果理工科能画画他就念。本来只是任性的推托，未曾想父母真找到了个可以画画的专业，叫“建筑系”。
建筑师是干嘛的？当时别说他不知道，全中国也没几个人知道。建筑系在1977 年恢复，他上南京工学院（东南大学）时是1981 年，不只是建筑系，“文革”结束大学复课，社会正处于一个如饥似渴的青春期氛围。他说，当时的校长是钱锺书堂弟钱钟韩，曾在欧洲游学六七年，辗转四五个学校， 没拿学位就回来了，钱钟韩曾对他说：“别迷信老师，要自学。如果你用功连读三天书，会发现老师根本没备课，直接问几个问题就能让老师下不来台。”
于是到了大二，他开始翘课，常常泡在图书馆里看书，中西哲学、艺术论、历史人文……看得昏天黑地。回想起那个时候，他说：“刚刚改革开放，大家都对外面的世界有着强烈的求知欲。”
毕业后，他进入浙江美院，本想做建筑教育一类的事情，但发现艺术界对建筑一无所知。为了混口饭吃，他在浙江美院下属的公司上班，二十七八岁结婚，生活静好。不过他总觉得不自由，另一个他又在那里观望着，目光冷洌。熬了几年，他终于选择辞职。
接下来的十年里，他周围的那些建筑师们都成了巨富，而他似乎与建筑设计绝缘了，过起了归隐生活，整天泡在工地上和工匠们一起从事体力劳动，在西湖边晃荡、喝茶、看书、访问朋友。
在孤独中，他没有放弃对建筑的思考。不鼓励拆迁、不愿意在老房子上“修旧如新”、不喜欢地标性建筑、几乎不做商业项目，在乡村快速城市化、建筑设计产业化的中国，他始终与潮流保持一定的距离，这使他备受争议，更让他独树一帜，也让他的另类成为伟大。