50年代中期，联邦德国和民主德国分别加入北约和华约组织，柏林问题，即西柏林的法律地位问题，再次成为东西方关系中十分敏感的问题。1958年11月27日，苏联政府照会美英法，建议把西柏林变成一个独立的政治单位---非军事化的自由城市，并提出西方三国如不在半年之内就西柏林问题达成协议，苏联将让民主德国“实施其陆上，水上以及天空的主权”，也就是切断西柏林同联邦德国等西方国家的任何联系。美英法三国认为这是苏联“六个月期限的最后通牒”，并迅速作出强硬反应，宣布如果苏联使用武力封锁西柏林，西方将用武力进入西柏林，双方关系顿时紧张，开始了所谓的第二次柏林危机。由于西方态度强硬，苏联被迫退缩。1959年9月，赫鲁晓夫访问美国，同美国总统艾森豪威尔举行“戴维营会谈”，双方同意在没有时间限制的条件下继续就柏林问题进行谈判。
美苏关系暂时缓和。1961年初，从民主德国逃往联邦德国的人数激增，其中大部分是从东波林逃到西柏林，这不仅在经济上，而且在政治上给民主德国和华约集团造成威胁。为此苏联再次提出解决柏林问题。1961年6月，在维也纳举行的美苏首脑会议上，赫鲁晓夫提出如果美国在6个月内仍不愿就柏林问题达成协议，苏联将单方面采取行动。美国则宣称为维护西柏林的利益，将不惜一战。双杠剑拔弩张，形势再度紧张。美国肯尼迪政府宣布追加国防经费32亿美元，征召部分后备役人员和国民警卫队，在西德举行军事演习。苏联也立即宣布停止红军复员，增加军费1/3，在东德举行军事演习。
8月13日，苏联与民主德国政府对柏林的通道口实行管制，并沿西柏林边界构筑一道高3.9米的钢筋水泥墙，即所谓的“柏林墙”。美国立即向西柏林增派1500人的战斗队，威胁要拆毁柏林墙。为打破僵局，苏联首先从原立场退却，同年10月，赫鲁晓夫在苏共22大上，宣布取消年底之前解决的期限。对此，肯尼迪政府做出响应，双方同意冻结德国问题。前后持续3年之久的第二次柏林危机宣告缓解。