寺院位于香日德真上柴开村，这里地势平坦、水源充足、气候宜人。香日德班禅行辕有着独特的历史渊源。1717年西藏发生叛乱，康熙派十四子为抚远大将军，延信为平逆将军，率大军护送七世达赖进藏平定叛乱。大军行至香日德，曾在此调集蒙藏随征兵员，筹办军粮马匹。七世达赖的搭帐就设在今香日德地区，并在此接受王公、千户、百户朝拜献礼，为教民摩顶赐福。

   按照藏传佛教教规，凡达赖、班禅举办过重大佛事之地，信教僧众就会修一座纪念性建筑，此即香日德寺日后建寺的原因。1780年香日德寺正在建成。历史上香日德是进藏出藏的要冲，凡出入西藏的佛教领袖，中央政要都要在此地休整，补充给养，处理有关事务，故寺院建成之初，就有两大部分组成：一处为宗教活动场所，就是现在的寺院；另一处是专门接待过往宗教上层人士和有关使者的食宿站。

   香日德班禅寺是由六世班禅罗桑华丹益希为加强内地与藏区的关系，加深和发展藏民族与内地各民族之间的情谊而倡议修建的。寺院分为两部分，一处为宗教活动场所，藏语称“德钦颇章”，就是现在的寺院。另一处是专门接待过往宗教上层人员和有关使者的食宿站，藏语称“德钦拉让”位于现香日德政府所在地。

　　当时逢乾隆皇帝的七十大寿，班禅大师不畏艰险，在赴京庆贺之机，与乾隆皇帝商议了此事。乾隆皇帝鉴于班禅大师的丰功伟业，在赏赐大量物品的同时，将香日德之地也封赐予他，作为班禅往返内地的驻息地。从此，香日德班禅寺不仅成为历世班禅往返内地时进行政教活动的主要场所，而且也成为由历代班禅主管的格鲁派寺院。

　　1923年，九世班禅出走西藏，云游甘肃、内蒙，后到达北京。其间1924年，九世班禅曲吉尼玛从西藏堪布厅派了一名堪钦到香加部落担任王爷。堪钦来到香加后，对香日德班禅寺院进行了大规模的重修，历时四年完工，并取名“潘德群科令”即佛法无边众生平安之地的意思。寺院建筑面积24240平方米，其中经堂1250平方米，内有佛像220多尊，建寺费用9.97万块银元，寺内宗教人员达64人。