班里有个同学是班长，他认出我——我们刚搬进一家木板房地下的窝棚里，他住在木板房里。他说：“他怎么到我们班来了？他是黑人！”老师不在，他们就把我往外拖。我拽着桌子不愿意走，缝在外面的那个口袋勾住了桌子，拉扯之下，我唯一的好衣服被撕烂了。
他们把我拖出去，我蹲在学校外面痛哭。父亲来了，他说他刚好路过。其实学校在很偏的一条马路上，我想他可能是特意去看我，他摸着我的头流泪，很难过。那是我唯独一次看到他流泪。从此以后，无论如何我都不愿意到学校里去了。
因为没有户口，没有人敢租房子给我们，我们到处流浪。到后来，全部的家当就是一口锅、两床被子，母亲用一个平板车一拉就走。
我们之所以生存下来，很重要的原因是我父亲虽然是个“坏分子”，自身难保，但因为他当年很讲江湖义气，再怎么倒霉，还是有朋友愿意帮忙。不然的话，当“黑人”的那种感觉……“黑人”身份对我来说，整整8年，从6岁到14岁。这决定了我今天的许多选择及性格。由于没有布票，我小时候基本上没有穿过什么像样的衣服。所以我说我是奥巴马。
1974年，我直接上高一了，我不懂拼音，也不懂数理化，但好在正规读过小学的人也不懂这些。1976年，父亲被平反，但7个月之后，他就死了。如果不死的话，可能就当上了大官。但他一死，事情就麻烦了。因为母亲的工作还没有安排，母亲对这个事情总是耿耿于怀。我说，算了，我考上大学之后，肯定让你过上好日子。
大学 母亲的荣耀
我考上湖南师范学院，成大学本科生了，牛得很，工作转正之后可以拿到54块5毛钱，而大学生是可以预支工资的。我母亲高兴得不得了，她说这是她一生中感到最荣耀的事情。
上大学的时候，我17岁。母亲的工作是给别人刷酒瓶，她没有钱送我去学校。一个人去的第一天，把我吓坏了。父亲有很多战友，都是很讲义气的人。省公安厅的一个人到火车站去接我，我听到有人喊：“衡阳来的于建嵘！”我一看，是个警察，吓得我要尿裤子了！我年龄小，从小又被抓怕了，我说我没有犯罪。他说：“我是来接你的。”