根據《勞動合同法》規定，只有在兩種情形下，用人單位可以約定由勞動者承擔違約金：
一是在培訓服務期約定中約定違約金。
用人單位為勞動者提供專項培訓費用，對其進行專業技術培訓的，可以與該勞動者訂立協議，約定服務期。勞動者違反服務期約定的，應當按照約定向用人單位支付違約金。違約金的數額不得超過用人單位提供的培訓費用。用人單位要求勞動者支付的違約金不得超過服務期尚未履行部分所應分攤的培訓費用。
二是在競業限制約定中約定違約金。
用人單位與勞動者可以在勞動合同中約定保守用人單位的商業秘密和與知識產權相關的保密事項。對負有保密義務的勞動者，用人單位可以在勞動合同或者保密協議中與勞動者約定競業限制條款，并約定在解除或者終止勞動合同后，在競業限制期限內按月給予勞動者經濟補償。勞動者違反競業限制約定的，應當按照約定向用人單位支付違約金。競業限制的人員限于用人單位的高級管理人員、高級技術人員和其他負有保密義務的人員。
競業限制的范圍、地域、期限由用人單位與勞動者約定，競業限制的約定不得違反法律、法規的規定。在解除或者終止勞動合同后，以上規定的人員到與本單位生產或者經營同類產品、從事同類業務的有競爭關系的其他用人單位，或者自己開業生產或者經營同類產品、從事同類業務的競業限制期限，不得超過二年。（來源滬江）
