西汉文人司马相如出游求官不如意，回到成都。

一次他到临邛（地名）富豪卓王孙家赴宴。酒过三巡，他应激弹起琴来。琴声打动了卓王孙的女儿卓文君，她连夜就跟司马相如回成都。

到了相如家，发现家居徒四壁立（家中贫穷，只有四周的墙壁），于是卓文君就劝司马相如一起到临邛去。他们卖掉马车，在临邛开了家酒店。文君卖酒，相如干杂活。卓王孙认为女儿伤风败俗，既不给他们经济上的援助，也不来见他们。

家徒四壁的意思：家里只有四面的墙壁。形容十分贫困，一无所有。