不上班的人叫无业游民吗

是的。
无业游民就是没有工作的人，并且非学生。释义是没有固定职业和住所而到处流浪的人。而不上班的人也可以理解成没有工作的人，所以不上班的人叫无业游民是对的。
无业游民出处是清·李宝嘉《官场现形记》第47回：“他说这班都是无业游民，往往有打个半死的。”