法律主觀：

行政處罰法的回避原則是當事人提出回避申請的，行政機關應當依法審查，由行政機關負責人決定。回避是指按照法律規定的條件，執法人員與本案有直接利害關系或者是有可能影響公正處理的其他關系，應當退出對案件的調查和處理。

法律客觀：

《中華人民共和國行政處罰法》第四十三條 執法人員與案件有直接利害關系或者有其他關系可能影響公正執法的，應當回避。 當事人認為執法人員與案件有直接利害關系或者有其他關系可能影響公正執法的，有權申請回避。 當事人提出回避申請的，行政機關應當依法審查，由行政機關負責人決定。決定作出之前，不停止調查。

從《行政處罰法》中的規定中了解到,如果執法人員本身就與當事人存在直接的利害關系的,那么就應當回避,由其他的行政執法人員來對當事人執行行政處罰。這里的直接利害關系就包括,本身就是本案的當事人,與本案的當事人具有近親屬關系,本案的處理結果可能對其權利造成影響的。

一、行政處罰法應該回避的情形有哪些      行政處罰法規定,執法人員與當事人有直接利害關系的,應當回避。      所謂與本案有直接利害關系,是指執法人員本人是當事人;或者是本案當事人的近親屬,案件處理的結果可能對其權益產生影響等情況。所謂可能影響公正處理的其他關系,是指除上述有利害關系以外的關系,如朋友關系、師生關系等,有可能利用這些關系影響對案件的公正處理的情況。二、行政處罰權的限定      行政處罰的設定是指國家有權機關在行政處罰立法上的權力配置。根據《行政處罰法》和其他法律、法規的規定,行政處罰的設定權限劃分如下:      1.全國人民代表大會及其常務委員會是國家最高權力機關和立法機關,可以設定任何種類行政處罰。限制人身自由的行政處罰,只能由法律設定。      2.國務院是最高行政機關,可以依法設定除限制人身自由以外的行政處罰。法律對違法行為已經作出行政處罰規定的,行政法規不得超越法律規定的給予行政處罰的行為、種類和幅度的范圍另行作出行政處罰規定。      3.地方性法規可以設定除限制人身自由、吊銷企業營業執照以外的行政處罰。法律、行政法規對違法行為已經作出行政處罰規定的,地方性法規不得超越法律、行政法規規定的給予行政處罰的行為、種類和幅度的范圍另行作出行政處罰規定。      4.國務院各部、委制定的規章可以在法律、行政法規規定的給予行政處罰的行為、種類和幅度的范圍內作出具體規定;尚未制定法律、行政法規的,部委規章可以設定警告或者一定數量罰款的行政處罰。罰款的限額由國務院規定。國務院可以授權具有行政處罰權的直屬機構按照本條的情形規定行政處罰。      5.省、自治區、直轄市人民政府和省、自治區人民政府所在地的市人民政府、經國務院批準的較大的市以及經濟特區市人民政府制定的規章可以在法律、法規規定的給予行政處罰的行為、種類和幅度的范圍內作出具體規定;尚未制定法律、法規的,上述人民政府制定的規章可以設定警告或者一定數量罰款的行政處罰。罰款的限額由省級人大常委會規定。      6.除上述規定外,其他規范性文件不得設定行政處罰。      對行政相對人作出行政處罰,適用處罰法定原則,也就是說在執行處罰的時候,必須要依照有關法律、法規或者規章中的要求作出,保證處罰種類法定、處罰主體法定、處罰程序法定、處罰形式法定以及處罰職權職責法定。格外,對于當事人同一違法行為,根據一事不再罰原則要求,不能對其給予兩次以上罰款的行政處罰。