传说祖师和观音菩萨同时看中了一座山，都想在这里享受人间的祭祀。他们在来仙山的路上相遇，各自说明自己的目的后，二人便商定，谁先到山就归谁。    祖师走得快，先到了仙山，就把自己的神鞭插上山顶，接着查看别的山去了。观音赶到后，看到祖师的神鞭，很是泄气，但突然有了主意，把自己的绣鞋脱下来一只，埋在祖师的神鞭下面。    不一会祖师回来了，笑着对观音说：“我先到了，神鞭为证。”观音说：“祖师来晚了，神鞭插在我的鞋上了。”两人来到山顶，祖师慧眼一望，神鞭下果然有一只绣鞋，便知道观音耍了滑头，心中有气，却也有理说不出，二话没说拔掉神鞭离山而去，跟随祖师的护法神王灵官不服，埋怨祖师没有与观音争个明白，祖师说：“算了，谁叫咱是个男的呢？”言外之意不言而喻。    后来人们在这座山上为观音建了殿堂，又在西南边更高的万家山上建立了更漂亮的祖师庙，以赞扬祖师宽宏大量的胸怀。还根据祖师对观音的态度，立下一条行事原则：“好男不跟女斗。”   从此就在民间流传下来“好男不跟女斗”这句话。