如果被派遣劳动者是因为自身原因被用工单位退回，用人单位可以直接解除劳动合同