Thẩm quyền của trọng tài quốc tế bắt nguồn từ thoả thuận của các bên, không có thoả thuận trọng tài sẽ không có trọng tài. Đó là nguyên tắc “hòn đá tảng của trọng tài nói chung, trọng tài quốc tế nói riêng.
Nguyên tắc này ngày càng được công nhận rộng rãi trong cả luật quốc gia lẫn các điều ước quốc tế. Khi các bên thiết lập một thoả thuận trọng tài điều đó có nghĩa là họ đã trao cho một hội đồng trọng tài nhất định thẩm quyền giải quyết tranh chấp và đồng nghĩa rằng toà án quốc gia không có thẩm quyền giải quyết tranh chấp đó trừ khi thoả thuận trọng tài vô hiệu hoặc bị hủy bỏ bởi chính các bên hoặc không thể thực hiện được.” Thông thường, một thoả thuận trọng tài được lập vào thời điểm trước khi tranh chấp xảy ra, nhưng sẽ vẫn là hợp pháp nếu nó được lập vào thời điểm tranh chấp đã xảy ra. Một điều cần lưu ý là, dù được lập vào thời điểm nào thì thoả thuận trọng tài phải là sự thể hiện ý chí chung của các bên chứ không đại diện cho ý chí của bất kì một bên nào. Hầu hết pháp luật của các nước hiện nay cũng như các điều ước quốc tế về trọng tài và kể cả Luật mẫu của UNCITRAL chỉ công nhận hiệu lực của thoả thuận trọng tài nếu nó được lập theo một hình thức nhất định, thường là bằng văn bản. Điều 1443 Bộ luật tố tụng dân sự Cộng hoà Pháp quy định: “Để được coi là có hiệu lực, một điều khoản trọng tài phải được làm bằng văn bản và được chứa đựng trong hợp đồng hoặc trong một tài liệu nào đó”. Luật mẫu của UNCITRAL 1985 về trọng tài thương mại quốc tế cũng quy định thoả thuận trọng tài phải được làm bằng văn bản.

Thẩm quyền của trọng tài còn bị ảnh hưởng bởi phạm vi các tranh chấp mà nó được phép giải quyết (hay còn gọi là khả năng trọng tài). Trọng tài có thể bị giới hạn phạm vi xét xử trong những quan hệ hợp đồng, cũng có thể không bị giới hạn dù có hợp đồng hay không. Chẳng hạn các quy tắc trọng tài UNCITRAL đã giới hạn thẩm quyền của trọng tài trong phạm vi các quan hệ hợp đồng, việc sử dụng bộ quy tắc này đối với những tranh chấp ngoài hợp đồng là không được phép. Trong khi đó các quy tắc trọng tài LCIA‘ và ICC cho phép trọng tài quốc tế giải quyết các tranh chấp cho dù có hợp đồng hay không. | “Khả năng trọng tài” còn liên quan tới việc xác định thẩm quyền của trọng tài đối với các tranh chấp phát sinh từ những lĩnh vực nào? Thực tế là, ngày nay, hầu hết pháp luật các nước đều mở rộng thẩm quyền của trọng tài, theo đó cho phép trọng tài có khả năng giải quyết không chỉ tranh chấp thương mại mà còn các tranh chấp lao động, dân sự khác. Điều 1 Luật trọng tài Brazil 1996 quy định: “Mọi người có khả năng kí kết hợp đồng đều có thể đưa ra trọng tài để giải quyết các tranh chấp liên quan tới các quyền về tài sản mà họ có quyền quyết định”. Các quy định tương tự cũng được tìm thấy tại Điều 2 Luật trọng tài Trung Quốc 1994, khoản 1 Điều 1030 Luật trọng tài Đức 1998, Điều 1 Luật trọng tài Thụy Điển 1999 vv.. Tuy nhiên, sự mở rộng thẩm quyền trọng tài cũng có giới hạn của nó, khi nhà nước cần can thiệp trực tiếp vào các tranh chấp không chỉ liên quan tới quyền lợi cá nhân đương sự mà còn liên quan tới quyền lợi của bên thứ ba hoặc lợi ích công cộng”. Chẳng hạn, các tranh chấp phát sinh từ quan hệ hôn nhân, thừa kế, một số tranh chấp về SHTT, cạnh tranh không lành mạnh trong kinh doanh, phá sản, tranh chấp từ quan hệ hành chính v.v. phải do toà án hay cơ quan nhà nước có thẩm quyền giải quyết.
Một vấn đề khá quan trọng có liên quan tới thẩm quyền của trọng tài quốc tế là vấn đề “thẩm quyền của thẩm quyền” (Competence/ Competence). Vấn đề “thẩm quyền của thẩm quyền” được hiểu là, khi có một đơn phản đối về thẩm quyền của hội đồng trọng tài đối với một tranh chấp (vào thời điểm bắt đầu trọng tài, trong quá trình trọng tài) thì “ai” sẽ có thẩm quyền giải quyết? Đại đa số pháp luật trọng tài các nước cũng như các quy tắc tố tụng trọng tài quốc tế đều ghi nhận thẩm quyền của chính các hội đồng trọng tài trong việc xem xét nó có thẩm quyền giải quyết tranh chấp hay không. Quyết định về thẩm quyền sẽ được hội đồng trọng tài đưa vào quyết định tạm thời hoặc quyết định cuối cùng.
Ở Việt Nam hiện nay, trên thực tế, pháp luật trọng tài chỉ cho phép giải quyết các tranh chấp thương mại hoặc tranh chấp phát sinh giữa các bên trong đó ít nhất một bên có hoạt động thương mại bằng trọng tài theo sự thoả thuận của các bên tranh chấp. Điều 2 Luật trọng tài thương mại 2010 quy định thẩm quyền của trọng tài được giải quyết: “1. Tranh chấp giữa các bên phát sinh từ hoạt động thương mại; 2. Tranh chấp phát sinh giữa các bên trong đó ít nhất một bên có hoạt động thương mại; 3. Tranh chấp khác giữa các bên mà pháp luật quy định được giải quyết bằng trọng tài”
Tóm lại, có thể khẳng định rằng, trọng tài quốc tế chỉ có thẩm quyền hợp pháp để giải quyết tranh chấp nếu có một thoả thuận trọng tài hợp pháp được làm bởi các bên tranh chấp (trừ trường hợp ngoại lệ). Thoả thuận trọng tài phải là biểu hiện của sự thống nhất ý chí giữa các bên tranh chấp chứ không phải là sự biểu hiện của ý chí đơn phương.