音位和音素是不同的语音单位，但两者之间有比较密切的关系。
首先，音位和音素是从不同角度区分出来的最小的语音单位。音素是从音色的角度，根据语音这方面的物理性质划分出来的，所以区别音素是看它们在音色方面是否相同，只要音色不同，就是不同的音素。例如：我们发“d”和“t”，由于“d”不送气，“t”送气，发音方法方面有区别，音色就不一样，所以就区分为两个不同的音素。音位则是从语音的社会属性着眼的。语音从根本上是作为交际工具的语言的物质外壳，因此，在一种语言里，不同的音能不能区分意义是至关重要的，因此，区分音位，就是要看它们在同一语音系统中能不能区别意义，几个不同的音素，如果能区别意义，那么每个音素就各是一个音位，反之，如果这几个音素没有区别意义的作用，那么，它们就归为一个音位。从语音的本质上讲，这是容易理解的。对只会一种语言的人来讲，对同一音位的变体不能区分，感觉不到它们之间的差异，就是这个道理。仍以“d”和“t”为例，在汉语中“倒”（dào）和“套”（tào）意义不同，语音形式上就靠“d”和“t”来区分。所以，在汉语中要区分为两个音位，但在英语中“d”［t］和“t”［t′］就没有区分意义的作用，而归纳为一个音位。由此可见，谈音位，归纳音位，只能就某一种具体的语音系统而言。
其次，还应该看到，音位不仅有音素音位，还有非音素音位，如汉语的声调，就是一种非音素音位。