随着罗马帝国的衰落和西罗马帝国在公元5世纪的灭亡，基督教成为欧洲主要的文化力量。早期基督教会的音乐在形成的过程中，在音乐思想方面首先受到了古希腊的影响。基督教的教父们从罗马人那里搜集整理了来自希腊人的音乐思想，其中大多数涉及音乐的功能、理论和结构，并最终跟形成了一套与基督教神学相一致的音乐思想。一方面，基督教会保存了关于音乐的教化作用这一古希腊音乐理论的某些因素，另一方面又明确反对音乐的娱乐作用，只赞成一种服务于宗教目的的音乐。于是，音乐中与异教有联系的东西，特别是器乐，在基督教会中都被禁止了。其次，基督教会的早期音乐也受到犹太教的很大影响。这是由于基督教本身就是从犹太教中派生出来的。尽管基督教的仪式并不是直接来自犹太教，但是二者的确有一些极为相似的地方，例如都有一种象征性的献祭，一种领圣餐的仪式，以及朗读经文、唱诗篇歌和按照教会年历的特定日子安排经文和诗篇的内容这种传统的做法。
由于基督教产生于西亚的耶路撒冷，所以，它的音乐还受到了来自东方的影响，在基督教传播的过程中，教会吸收了很多地方的音乐实践。叙利亚的修道院便是产生和发展基督教音乐的一个很重要的地方，据说对诗篇歌和赞美诗的演唱便是首先从那里传到东罗马帝国的拜占庭，然后才进一步传到西方的米兰等地的。自公元395年东、西罗马帝国分开之后，形成了东、西方两个不同的教会，它们各自有着不同的仪式传统，所用的音乐曲目也不尽相同。拜占庭作为当时的一个重要的政治文化中心，它的音乐文化也综合了来自古希腊和东方的影响。同时，拜占庭的音乐也深深地影响了西方的圣咏，例如拜占庭音乐所运用的八种调式，便和后来西方音乐理论中所运用的教会调式系统十分相似。在早期基督教会的圣咏中，不同的地区在接受来自东方的遗产的同时也形成了不同的流派，它们的流行地区和名称各不相同，在礼仪和音乐上也是各有特征的。例如有流行于法国的高卢圣咏、西班牙的莫扎拉比圣咏、意大利米兰的安布罗斯圣咏和罗马地区的老罗马圣咏等o在音乐理论方面，马蒂阿努斯•卡佩拉5世纪初在总结古希腊音乐思想的基础时提出了“七艺”的理论。他将音乐列入七类“文科”之中，它们依法包括：语法、逻辑、修辞、几何、算术、天文和音乐。波依蒂乌是中世纪最有影响的理论家，他把卡佩拉的“七艺”分成两个部分，即与语言相关的前三艺（语法、逻辑和修辞）和与数字相关的后四艺（几何。算术、天文和音乐）。他的著作《音乐的体制》可能已经失传的古希腊著作为基础，反映了毕达哥拉斯等古代理论家的思想。在这部著作中，他还把音乐分成三类：天乐（听不到的宇宙音乐）、人乐（身体、灵魂等各部分的内在的协和）和器乐（鸣响着的可听到的音乐）。