祖是安永年间（1772-1781）人，名为桃井八郎左卫门。这位桃井八郎本来出仕柳泽家，后来离开主家开始自己的武艺修行，精通各种武艺。艺成之后，创立镜心明智流，并于江户开创桃井道场。
桃井道场代代都是由儿子继承。比较特殊的是四代目桃井春藏直正，是作为桃井家入赘的女婿以及养子的身份继承士学馆道场的。春藏直正担任师范时，镜心明智流迎来了鼎盛时期。桃井道场士学馆与千叶周作的玄武馆（北辰一刀流）、斋藤弥九郎的练兵馆（神道无念流）三雄并立，称为“江户三大道场”。三大流派的剑术相比，有“技之千叶”、“力之斋藤”、“位之桃井”的说法。