语言符号相互间存在着规律性的联系，组成一个严密的系统。可以从两方面来认识这种系统：一是组成规则，二是运转规则。
语言系统的组成规则主要表现为结构的层次性，就是说，语言是一种分层的装置，可以从低到高、或者从下到上分出若干个层次，使音、义以及由音义相结合而组成的符号“各就各位”，各得其所，但每一种现象又不是孤立的，相互之间处于一种互相依存、彼此制约的关系之中，形成一个严密的系统。我们可以从下到上去观察语言系统的结构层次。
语言符号是音与义的结合体，因而音与义自然处于最下层。“音”本来是一条混沌、模糊的线性音流，分不出音的结构成分来；“义”也是如此，分不出意义的界限。一种语言的音位是有限的，一般只有三、四十个，但这些有限的音位按照一定的规则进行组合而构成语音，基本上就能满足意义表达的需要，构成语言符号。音位本身没有意义，但具有区别意义的作用；意义如果不经语音的包装，也是无法显示和表达的。音位处于语言系统的下层，其特点就是单面性，因为它本身没有意义。音位经组合而与某种意义相结合就能构成语言的符号和符号的序列，这是语言的上层。这一层又可以分若干个级：第一级是语素，这是语言中音义结合的最小结构单位，第二级是由语素的组合构成的词，第三级是由词的组合构成的句子；词和句子都是符号的序列。