本罪的主体为特殊主体，必须是对被遗弃者负有法律上的扶养义务而且具有抚养能力的人。
根据我国民法典的规定，法律上的扶养义务是：
1、夫妻有互相扶养的义务;
2、父母对未成年子女有抚养教育的义务;
3、成年子女对父母有赡养扶助的义务：
4、父母子女之间的关系，不因父母离婚而消除，离婚后父母对子女仍有抚养相教育的义务;
5、养父母与养子女、继父母与继子女之间的权利义务均与生父母与其子女之间的抚养、赡养义务相同，但是养子女和生父母间的权利和义务，因收养关系的成立而消除;非婚生子女享有与婚生子女同等的权利，其生父母应负担子女必要的生活费和教育费的一部或者全部，直到子女能独立生活为止;
6、祖父母、外祖父母，对于父母已经死亡的未成年的孙子女、外孙子女，有抚养的义务;
7、孙子女、外孙子女对于子女已经死亡的祖父母、外祖父母，有赡养的义务;
8、兄姐对于父母已经死亡或者无力扶养的未成年弟、妹，有扶养的义务。