“流丽悠远，出乎三腔之上”的昆腔纵是好听，可内容太过高雅，发音太过晦涩，并不太适合北方人的口味。到了乾隆时期，京城的百姓已经是“厌听吴骚，闻歌昆曲，辄哄然散去”。虽说王紫稼北漂三年时，昆曲还没沦落到这种地步，可昆腔也并非当时唯一流行的腔调，秦声、罗声、弋声等各种戏曲唱腔，犹如百花争艳一般，在京城四处绽放。正所谓“曲界辈有人才出，各领风骚三两年”，瞬间的追星喧嚣后，落寞的王紫稼发现，自己折腾来折腾去，也不过是京都公卿和文人雅士聚会时“博徒酒伴贪欢谑”的情趣点缀和艺术陪客罢了。他的“风流儇巧”，也许能博得一些士大夫的彩头，可离朝廷的政治要求和皇帝的个人喜好，却是相差十万八千里。一句话，他生不逢时，指望以自己的伎艺走上层路线，没戏!
顺治十一年春末，他终于下定了南归的决心。也许他终于懂得，紫禁宫苑、侯门深深的北京，并非是他的归宿之地，反倒是小桥流水、花红柳绿的吴中，才是他理想的家园。吴梅村作诗劝慰他道：“君不见康昆仑黄幡绰，承恩白首华清阁。古来绝艺当通都，盛名肯放优闲多，王郎王郎可奈何！”康昆仑、黄幡绰都是唐时宫廷的优伶，吴梅村以古喻今，是在归劝王紫稼放弃以“奇优名倡”的身份博出位的想法。龚芝麓在送别诗中，一方面同病相怜，黯叹“长恨飘零入洛身，相看憔悴掩罗巾”的郁闷遭际和“后庭花落肠应断，也是陈隋失路人”的尴尬身份，另一方面又替王紫稼高兴，因为“初衣快比五铢轻，越水吴山并有情。不舸便寻香粉去，不须垂泪阻君行”，字里行间，也多是劝解之意。当初，钱牧斋的赠别诗里，也有“休将天宝凄凉曲，唱与长安筵上人”的归劝之句。
苦于史料不足，我们无法判知王紫稼能否真正懂得这几位“大家”朋友在诗中“杂有寄托”的隐晦思想。《清史稿》中对钱、龚、吴三人的描述，有三个共同点，那就是性格的软弱、气节的缺失和身份的尴尬。俱是晚明进士出身的三大才子，能力和才情没得说，可在国破之时，都因为贪生怕死而降清，虽说能够继续在新朝做官，可读书人最看重的面子却早已在嘲笑和讥讽中荡然无存，内心的痛苦和挣扎可想而知。也许是王紫稼太过简单，所以还在一味追求“卖笑”的效益最大化，而当时在京为官的龚芝麓和吴梅村却早已不堪面对新主子，正处于不愿卖笑却又不能不笑的尴尬境地了。