仲裁协议之所以具有法律效力，最根本的依据就是有关的国内法或国际条约赋予了仲裁协议以法律效力。否则，除非仲裁协议的当事人自动履行仲裁协议，仲裁协议的法律效力将成为无源之水，无本之木。
具体而言，仲裁协议的法律效力通过以下几方面体现出来：
（1）对当事人的法律效力。仲裁协议依法成立，当事人因此丧失了就仲裁协议约定的争议事项向法院提起诉讼的权利，承担了不得向法院起诉的义务，并使当事人承担了履行由仲裁庭最后作出的裁决的义务，除非该裁决经有关国内法院判定无效。
（2）对仲裁庭或仲裁机构的法律效力。当事人之间的仲裁协议是仲裁庭对特定争议事项取得管辖权的最主要依据。如果不存在仲裁协议，或仲裁协议无效，仲裁庭或仲裁机构就无权审理该争议。另外，仲裁庭或仲裁机构只能受理当事人按仲裁协议中的约定所提出的争议事项。
（3）仲裁协议对法院的法律效力。当事人之间订有仲裁协议，约定争议发生后就应该履行仲裁协议，将争议提请仲裁，并不得向法院提起诉讼。仲裁协议对法院是否具有排除其司法管辖权的效力有着重要意义。
（4）仲裁协议使仲裁裁决具有强制执行力。一项有效的仲裁协议是强制执行仲裁裁决的依据。各国国内立法和有关的国际条约都规定，如果一方当事人拒不履行仲裁裁决，他方当事人可向有关国家法院提交有效的协议和裁决书，申请强制执行该裁决。