個人所得稅扣繳義務人指：支付所得的單位或者個人。

扣繳義務人是指非居民企業在中國境內未設立機構、場所的，或者雖設立機構、場所但取得的所得與其所設機構、場所沒有實際聯系的，其來源于中國境內的所得繳納企業所得稅，實行源泉扣繳，以支付人為扣繳義務人。

通俗的說：他既非純粹意義上的納稅人，又非實際負擔稅款的負稅人，只是負有代為扣稅并繳納稅款法定職責之義務人。

因此，對于正常在企業上班的工薪族來說，向你發放工資的單位或企業，甚至是個人老板，就是你的個人所得稅扣繳義務人。

擴展資料：

扣繳義務人的義務內容主要包括扣留收取義務、申報義務、繳納義務和填發義務：

1、扣留收取義務：依稅法規定扣繳義務人在給付或者收取納稅人的金錢中，按征稅對象的性質不同，依不同稅率，扣留或收取納稅人應交納稅款的義務。

2、申報義務：扣繳義務人必須依照法律、行政法規規定或者稅務機關依照法律、行政法規的規定確定的申報期限、申報內容如實報送代扣代繳、代收代繳稅款報告表，以及稅務機關根據實際需要要求扣繳義務人報送的其他有關資料。

3、繳納義務：扣繳義務人依稅法規定將扣繳、收取的稅款按照規定的時間，將該稅款交納給征稅機關的義務。

4、填發義務：扣繳義務人于扣繳稅款時，除應隨時通知納稅義務人已經扣繳稅款外，還應將扣繳憑單或免扣繳憑單以自己名義填發給納稅義務人。

參考資料：百度百科-扣繳義務人

根據稅法的規定，中國公民（不含港澳臺同胞，下同）、個體工商業戶以及在中國有所得的外籍人員、無國籍人員、港澳臺同胞，均是個人所得稅的納稅義務人。

根據我國法律規定，以下十種情形不需要繳納個人所得稅：
1、省級人民政府、國務院部委和中國人民解放軍軍以上單位，以及外國組織、國際組織頒發的科學、教育、技術、文化、衛生、體育、環境保護等方面的獎金。
2、國債和國家發行的金融債券利息。
3按照國家統一規定發給的補貼、津貼。
4、福利費、撫恤金、救濟金。
5、保險賠款。
6、軍人的轉業費、復員費、退役金。
7、按照國家統一規定發給干部、職工的安家費、退職費、基本養老金或者退休費、離休費、離休生活補助費。
8、依照有關法律規定應予免稅的各國駐華使館、領事館的外交代表、領事官員和其他人員的所得。
9、中國政府參加的國際公約、簽訂的協議中規定免稅的所得。
10、國務院規定的其他免稅所得。

哪些所得是需要繳納個稅的：
1、工資、薪金所得
工資、薪金所得，是指個人因任職或受雇而取得的工資、薪金、獎金、年終加薪、勞動分紅、津貼、補貼以及與任職或受雇有關的其他所得。這就是說，個人取得的所得，只要是與任職、受雇有關，不管其單位的資金開支渠道或以現金、實物、有價證券等形式支付的，都是工資、薪金所得項目的課稅對象。
2、個體工商戶的生產、經營所得
個體工商戶的生產、經營所得包括四個方面：
（一）經工商行政管理部門批準開業并領取營業執照的城鄉個體工商戶，從事工業、手工業、建筑業、交通運輸業、商業、飲食業、服務業、修理業及其他行業的生產、經營取得的所得。
（二）個人經政府有關部門批準，取得營業執照，從事辦學、醫療、咨詢以及其他有償服務活動取得的所得。
（三）其他個人從事個體工商業生產、經營取得的所得，既個人臨時從事生產、經營活動取得的所得。
（四）上述個體工商戶和個人取得的生產、經營有關的各項應稅所得。
3、對企事業單位的承包經營、承租經營所得
對企事業單位的承包經營、承租經營所得，是指個人承包經營、承租經營以及轉包、轉租取得的所得，包括個人按月或者按次取得的工資、薪金性質的所得。
4、勞務報酬所得
勞務報酬所得，是指個人從事設計、裝潢、安裝、制圖、化驗、測試、醫療、法律、會計、咨詢、講學、新聞、廣播、翻譯、審稿、書畫、雕刻、影視、錄音、錄象、演出、表演、廣告、展覽、技術服務、介紹服務、經濟服務、代辦服務以及其他勞務取得的所得。
5、稿酬所得
稿酬所得，是指個人因其作品以圖書、報紙形式出版、發表而取得的所得。這里所說的“作品”，是指包括中外文字、圖片、樂譜等能以圖書、報刊方式出版、發表的作品；“個人作品”，包括本人的著作、翻譯的作品等。個人取得遺作稿酬，應按稿酬所得項目計稅。
6、特許權使用費所得
特許權使用費所得，是指個人提供專利權、著作權、商標權、非專利技術以及其他特許權的使用權取得的所得。提供著作權的使用權取得的所得，不包括稿酬所得。作者將自己文字作品手稿原件或復印件公開拍賣（競價）取得的所得，應按特許權使用費所得項目計稅。
7、利息、股息、紅利所得
利息、股息、紅利所得，是指個人擁有債權、股權而取得的利息、股息、紅利所得。利息是指個人的存款利息（國家宣布2008年10月8日次日開始取消利息稅）、貨款利息和購買各種債券的利息。股息，也稱股利，是指股票持有人根據股份制公司章程規定，憑股票定期從股份公司取得的投資利益。紅利，也稱公司（企業）分紅，是指股份公司或企業根據應分配的利潤按股份分配超過股息部分的利潤。股份制企業以股票形式向股東個人支付股息、紅利即派發紅股，應以派發的股票面額為收入額計稅。
8、財產租賃所得
財產租賃所得，是指個人出租建筑物，土地使用權、機器設備車船以及其他財產取得的所得。財產包括動產和不動產。
9、財產轉讓所得
財產轉讓所得，是指個人轉讓有價證券、股權、建筑物、土地使用權、機器設備、車船以及其他自有財產給他人或單位而取得的所得，包括轉讓不動產和動產而取得的所得。對個人股票買賣取得的所得暫不征稅。
10、偶然所得
偶然所得，是指個人取得的所得是非經常性的，屬于各種機遇性所得，包括得獎、中獎、中彩以及其他偶然性質的所得（含獎金、實物和有價證券）。個人購買社會福利有獎募捐獎券、中國體育彩票，一次中獎收入不超過10000元的，免征個人所得稅，超過10000元的，應以全額按偶然所得項目計稅（截止至2011年4月21日的稅率為20％）。
11、其他所得
除上述10項應稅項目以外，其他所得應確定征稅的，由國務院財政部門確定。國務院財政部門，是指財政部和國家稅務總局。截止1997年4月30日，財政部和國家稅務總局確定征稅的其他所得項目有：
（一）個人取得“蔡冠深中國科學院院士榮譽基金會”頒發的中國科學院院士榮譽獎金。
（二）個人取得由銀行部門以超過國家規定利率和保值貼補率支付的攬儲獎金。（三）個人因任職單位繳納有關保險費用而取得的無償款優待收入。
（四）對保險公司按投保金額，以銀行同期儲蓄存款利率支付給在保期內未出險的人壽保險戶的利息（或以其他名義支付的類似收入）。
（五）股民個人因證券公司招攬大戶股民在本公司開戶交易，從取得的交易手續費中支付部分金額給大戶股民而取得的回扣收入或交易手續費返還收入。
（六）個人取得部分單位和部門在年終總結、各種慶典、業務往來及其他活動中，為其他單位和部門的有關人員發放現金、實物或有價證券。
（七）辭職風險金。

希望以上內容能對您有所幫助，如果您還有其它問題請咨詢專業律師。

【法律依據】：《中華人民共和國個人所得稅法》第四條下列各項個人所得，免征個人所得稅：（一）省級人民政府、國務院部委和中國人民解放軍軍以上單位，以及外國組織、國際組織頒發的科學、教育、技術、文化、衛生、體育、環境保護等方面的獎金；（二）國債和國家發行的金融債券利息；（三）按照國家統一規定發給的補貼、津貼；（四）福利費、撫恤金、救濟金；（五）保險賠款；（六）軍人的轉業費、復員費、退役金；（七）按照國家統一規定發給干部、職工的安家費、退職費、基本養老金或者退休費、離休費、離休生活補助費；（八）依照有關法律規定應予免稅的各國駐華使館、領事館的外交代表、領事官員和其他人員的所得；（九）中國政府參加的國際公約、簽訂的協議中規定免稅的所得；（十）國務院規定的其他免稅所得。前款第十項免稅規定，由國務院報全國人民代表大會常務委員會備案。