从16世纪到18世纪，随着资本主义崛起数学也发生了重大的变革，主要有两方面的内容：其一、由费尔马和笛卡尔等人完成了数和形的结合，创立了解析几何；其二、由牛顿和莱布尼兹在总结了前人成就的基础上各自独立创立了微积分。这两项成就的取得使数学发生了根本性的变革；从研究常量的领域一下跨越到研究变量的领域。
毕达哥拉斯学派内部有人发现了无理数。以单位长作直角边的直角三角形的斜边的长度，无论怎么都量不尽，这对数学完美主义的毕达哥拉斯学派是当头棒喝。从那以后，古希腊数学家开始把研究数学的兴趣转到几何图形上，将近两个世纪以后，产生了欧几里得的《几何原本》。
用几何来表达事物的数学关系，固然避免了诸如无理数一类的麻烦，但是逻辑的推演毕竟没有数学的计算来得方便。法国著名的哲学家、数学家笛卡尔（1596——1650）和比他小五岁的法国“业余数学家之王”费尔马（1601——1665）创立了解析几何，使得几何图形可以用代数方程来计算，而一定的代数方程也可以得到几何的表达。他们的工作使数学完成了数和形的结合。
笛卡尔在平面上画相互垂直的横纵两条直线，以它们的交点为坐标的原点O，相同的长度作单位，横轴叫X轴，方向向右；纵轴为Y轴，方向向上，创立了一个平面直角坐标系。平面上的任意一点都可以用它到纵轴y的距离a和它到横轴x的距离b来表示，这一点的坐标写成（a、b），这就把平面上的一个几何点表达为一组数，反之，只要有（a、b）这样一组数，就能找到平面上与之对应的几何点。
过平面坐标系的原点O做一根垂直于X、Y轴所在平面的直线成为Z轴，用右手螺旋法则确定Z轴的方向。那么笛卡尔就得到了空间直角坐标系，用它可以把空中的任意一点表达为（a、b、c）这样的一组数。
有了坐标系，就可以把几何问题转化为代数学的方程来解决，人们只要进行一些不太复杂的代数运算就能解决那些传统的几何难题。几何论证主要是靠形式逻辑的演绎，而代数方程则可以用数字来计算，这就使几何难题简单化了。这是那些卓越的古代几何学家所始料未及的。
笛卡尔把几何图形看作是依照一定的规律运动的点的轨迹，最简单的是平面上的点，如果它有一定的变化规律，我们就可以用平面直角坐标把它化解为代数方程，例如，园这个几何图形，其规律是：圆上的任意一点到圆心的距离等于一个定值（半径）。如果以平面直角坐标系中的某一点（a、b）为圆心，r为半径，那么这个圆的方程是：
这一类方程中除了那些常量a、b、r之外，始终存在两个变量x、y，一个变量随着另一个变量的变化而变化，这样一来，笛卡尔就把变量引进了数学，为后来的牛顿和莱布尼兹发明微积分铺平了道路，也为后来函数概念的产生开拓了方向。
至于费尔马，他生性内向，不善于展示自己的才华，他生前极少发表自己的研究，他的《数学论集》是他的长子在他离世以后整理出版的。他在1630年写的仅有八页的论文《平面与立体轨迹引论》中可以看出，他已经独立地发现了解析几何的基本规律，他对圆锥曲线和双曲线都进行了一般的研究和总结。他的数学研究甚至涉及到引发牛顿、莱布尼兹创造微积分的曲线的切线，以及函数的极值等问题。当然，他在其他领域也有杰出的贡献。费尔马是一位17世纪的伟大天才，他没有受过专门教育，但通晓意大利语、拉丁语和希腊语。这些语言给他带来学习的方便，他了解意大利代数、古希腊数学以及在更大范围内的数学现状和历史，他不仅在数学王国里自由驰骋，而且站在科学的高度鸟瞰数学领域，他的数学研究也不是他的专业，他在数学领域的探索成就却使后人震惊。人们尊称他为“业余数学家之王”。
17世纪数学最辉煌的成就是牛顿和莱布尼兹创立了微积分
微积分的思想由来已久，两千多年以前的古希腊的学者如欧铎克色斯、阿基米德就提出求曲线围成的面积可以采用“穷竭法”，我国古代三国时期也有刘徽提出球圆的面积可以采用“割圆术”，在圆中做正多边形，边越多其面积就越接近圆的面积。他在《九章算术》中写道：“割之弥细，所失弥少，割之又割之，以致于不可割，则与圆合体而无所失矣。”这些可以归结为古代的积分思想。伽利略和开普勒都有微积分的原始思想，他们把线看作是由点构成的；把面看作是由线构成的，立体是由面构成的。意大利著名数学家卡瓦列里(1598——1647)继承了伽利略和开普勒的思想，他把构成线的点；构成面的线和构成体积的面叫做“不可分量”。他把面积看作曲线各点纵坐标的和。英国数学家华里斯（1616——1703）运用卡瓦列里的思想，把的曲线下面的面积写成的形式。
阿基米德也试图做螺线的切线，这是现代导数的远古想法。到笛卡尔和费尔马，已经把曲线的切线看作是该曲线上的割线的两个焦点无限靠近的极限。另一法国数学家罗伯佛尔（1602——1675）则把曲线上的切线看作是该曲线在某一点的运动方向。
牛顿的老师、英国数学家巴罗在解决切线问题时，已经采用微分三角形的方法和无穷小量的概念。在笛卡儿的《几何学》、巴罗的《光学与几何学讲义》等著作中人们已经可以清楚地看到微积分的起端，他们差点发明了微积分，就像全场的足球队员已经把球踢到了球门禁区，这时候，牛顿和莱布尼兹赶来临门一脚，微积分的创立工作完成了。
微积分是微分和积分两种运算，创立微积分的关键是要揭开微分和积分互为逆运算的内在关系。
牛顿在他1671年写成的《流数术》一书中，把数学中的变量看作是连续运动点的轨迹，他把生长中的量叫做流量，流量的生长率叫做流数，流数在无限小的时间里所增长的无限小部分叫做流量的瞬。
牛顿1669年写的只是在朋友中散发过的、最早的微积分论文《运动无穷多项方程的分析学》中提出了他的流数法。他通过数学论证得到结论：
如果我们知道一条曲线是：，那么我们就可以立刻求出这条曲线和X、Y轴围成的面积就是：。发现这种运算是可逆的就是发现了微积分的基本定理。
德国哲学家、外交家、数学家莱布尼兹（1646——1716）也独自创立了他的微积分，他把微积分叫做求差和求和。他把曲线下面的面积分割成许多小矩形，顶部和曲线上的割线构成一个微小直角三角形，微小三角形的两边分别是曲线上相临两点和横坐标、纵坐标的差。当这个差无限缩小到一点的时候，由曲线相邻两点连成的割线就变成了曲线的切线，他在1684年10月发表了《一种求极大极小的奇妙类型的计算》的论文，公布了他的研究成果。这篇论文在数学史上具有划时代的意义。
莱布尼兹创造用的符号表示切线的方向，又用这样的符号代表函数从a到b的积分，他的用这些符号表达的数学含义简洁明了，很快为大家所接受。
英国人和德国人一度为微积分的发明权应该属于谁争论不休，因为早在莱布尼兹发表微积分论文之前，牛顿就已经将他关于微积分研究的成果在朋友中传阅了，但是，直到 1687年牛顿才在他的《自然哲学的数学原理》中将他关于微积分的研究成果公之于众，在时间上落后莱布尼兹三年。
自从微积分创立以后，数学的发展是十分惊人的，它一下子爆炸成为具有上百个分支的学科，其名目之繁多，内容之深邃足以使人眼花缭乱。人们陶醉于微积分武器的锐利，对许多以往无法解决的难题攻无不克。资本主义上升时期的人们忙于微积分的应用，对微积分建立的逻辑基础却顾不上深思熟虑。所以，一方面微积分得到越来越广泛的应用，另一方面微积分的逻辑问题也受到了越来越多的怀疑、批评和攻击。当时英国大主教贝克莱说微积分是“分明的诡辩”。
在《原理》的第三版中，牛顿明确地提出了极限的概念，他说：
量在其中消失的最后比，严格地说，不是最后量的比，而是无限减少的这些量的比所趋近的极限，而它与这个极限之差虽然能比任何给出的差更小，但是在这些量无限缩小以前既不能越过也不能达到这个极限。
——牛顿《自然哲学的数学原理》第三版，第39页
怎样定义一个数学上非感性的、可供数学操作的关于“极限”的概念呢？到了德国数学家维尔斯特拉斯（1815——1897）才给出了比较严格的、可供操作的极限的定义。
所谓就是指：“如果对任何ε＞0，总存在自然数N，使得当n＞N时，不等式｜｜＜ε恒成立”。则我们说当,以为极限。
由于给微积分注入严密性的工作，使人们怀疑起整个数学的严密性，我们的数学真真靠得住的吗？它的基础建立在什么之上？引发人们思考的还有一个重要因素是由人们对欧几里德几何的第五公理引起的。
《几何原本》中共有五条公理，前四条公理简洁明了，唯有第五条平行线公理叙述冗长繁琐。许多数学家曾怀疑它有没有必要作为公理来提出，是否可以从前四条公理来证明它。有的数学家为此耗费了终生精力却一无所获。
19世纪20年代，俄国喀山大学教授罗巴切夫斯基（1792——1856）用反证法来证明欧式几何中的第五公理。欧氏几何的第五公理可以简述为：“在一个平面内，过直线外的一点，能且只能做一条平行线。”罗巴切夫斯基从“过直线外的一点，至少可以做两条平行线。”的命题出发，企图推演出逻辑矛盾。结果，推演出了许多匪夷所思的不同于欧氏几何的结论，却始终没有逻辑矛盾，他得到了另一种几何，人们称它“罗氏几何”。
1868年，意大利数学家贝特拉米（1825——1899）发表了一篇著名论文《非欧几何解释的尝试》，证明非欧几何可以在欧几里得空间的曲面上实现。也就是说，非欧几何命题可以“翻译”成相应的欧几里得几何命题，如果欧氏几何是相容的，（所谓相容性，就是不可以用所设公理既能证明A,又能证明非A。必须没有那种自相矛盾的现象。）那么罗氏几何也是相容的。直到这时，长期无人问津的非欧几何才开始获得学术界的普遍注意和深入研究。人们赞誉罗巴切夫斯基是“几何学中的哥白尼”。
德国数学家黎曼（1826——1866）1851年发表了《论几何学作为基础的假设》的论文，他从“任何两条直线都有交点”（如同“过直线外的一点不能做平行线。”）的公设出发，又创立了另一个几何系统，人称“黎曼几何”。
爱因斯坦的广义相对论认为，时空是不均匀的，只有在很狭小的范围内时空才是相对均匀的。所以，广义相对论所描述的时空，恰好就是黎曼几何时空，有了黎曼几何，爱因斯坦才给出了广义相对论的数学方程。现在黎曼几何不仅是微分几何的基础，它也应用在微分方程、变分法和复变函数论等方面。它已经成为了重要的数学工具。
19世纪是数学爆炸性地发展的一百年，眼花缭乱的分支发展使人怀疑神圣的数学到底有没有严密性？数学自身有没有矛盾，是不是相容的，数学的基础在哪里？
十九世纪下半叶，德国数学家康托尔（1845——1918）创立了著名的集合论，康托尔把几千年来的“潜无穷”，一下变成了“实无穷”，认为无穷不是一种潜在的思维，而是实在的，可用有限的数学方法具体研究的，有规律的，甚至可以比较无穷集合的大小。在集合论刚产生时，遭到许多人的猛烈攻击。但也有一些数学家高度的赞誉集合论。他们发现，从自然数与康托尔集合论出发可建立起整个数学大厦。他们决心以集合论作为现代数学的基石。
可是，不久人们就发现集合论有悖论，康托尔自己也发现了集合论的悖论，最著名的是英国哲学家罗素（1872——1970）发现的悖论，它可以通俗地翻译成“理发师悖论”：
有位乡村理发师公然宣称，他只给那些不给自己刮脸的人刮脸；不给那些给自己刮脸的人刮脸。一天他发现自己的胡子长了，他该不该给自己刮脸呢？如果给自己刮脸，按照自己的宣称，他就不该给自己刮脸；如果不给自己刮脸，按照自己的宣称，他就该给自己刮脸。理发师陷入两难的境地。
罗素给出的集合论的悖论，它是这样的明显、通俗，它给数学家们带来了震惊。德国的著名逻辑学家弗雷格（1848——1925））1902年在他得知罗素的发现之后，他在即将出版的《算术基本法则》的卷尾写道：“一个科学家的工作完成之日，竟是这一建筑的基石动摇之时，没有比这更糟糕的事情了。当本书即将付印之时，罗素先生的一封信把我置于这样的境地。”
集合论的悖论引发了数学的第三次危机，（第一次是无理数的发现；第二次是无穷小量的解释）数学家们纷纷给出自己的解决方案。1908年，德国数学家策梅罗（1871——1953）给出第一个集合论的公理系统，这个系统经过以色列数学家弗兰克尔（1891——1965）等人的改进，演变成ZF系统。ZF系统就像给集合论修筑了一个羊圈，把罗素悖论和其他已知的悖论排除在外，但是又导致了一些新的问题产生：这个羊圈里还有没有“狼”呢？
罗素和他的老师怀德海（1861——1947）合著了《数学原理》，企图从形式逻辑的基本规则出发推导出全部的数学，但是他们又不得不借助于逻辑范畴以外的“无穷公理”和“选择公理”。实际上，他们也没有完成这一庞大的工程。
数学的逻辑化看来难以行通，逻辑的数学化却开辟了数理逻辑的广阔前景。1847年，英国数学家布尔（1815——1864）发表了《逻辑的数学分析》，建立了一套表示逻辑概念的符号，以及用这些符号进行数学运算的法则，人们称之为“布尔代数”。初步奠定了数理逻辑的基础。1884年弗雷格出版了《数论的基础》引入了量词符号，完备了数理逻辑的符号系统。又经过一些数学家的努力，数理逻辑的基础理论逐步形成，数理逻辑不仅对数学其他分支的发展带来重大影响，它是近代计算机学科不可或缺的重要理论工具。
以希尔伯特为首的一批数学家们解决数学基础问题的办法是：构建算术的形式系统，由此确立算术的相容性，因为希尔伯特已经把几何相容性的证明约化为算术的相容性。在1904年国际数学会议上，希尔伯特论述了他的观点：在他们看来，数学不是关于什么东西的某一门学科，数学只是一堆形式系统，各分支有自己的概念、公理、推导法则以及自己领域的定理。把这些演绎系统的每一个分支都开展起来，就是数学的任务。
正当希尔伯特学派证明了一些简单形式系统的无矛盾性，满怀信心去证明整个算术的无矛盾性的时候，传来了哥德尔的“不完备性定理”。
哥德尔（1906——1978）首先证明了第一定理：
任何一个相容的数学形式化理论中，只要它强到足以蕴涵皮亚诺算术公理，就可以在其中构造在体系中既不能证明也不能否证的命题。
接着他又证明了第二定理：
任何相容的形式体系不能用于证明它本身的相容性。
哥德尔的不完备性定理对希尔伯特的形式主义计划是当头棒喝，它说明，我们永远不能发现一个万能的公理系统能够证明一切数学真理。在一个形式系统中，总有一条或几条原始的公理是无法用该系统的理论证明其真伪的，就像欧氏几何本身无法证明其平行公理的对与错的。
在哲学的意义上说，一个理论系统总是不完备的，总有一条或几条原理无法用本系统理论来证明其对错，对于这些无法证明和证伪的原理，我们只能靠直觉，靠不证自明的信仰来解决。可见直觉和信仰对于我们认识世界有多么重要。但是，我们对于自己的直觉和信仰又不能抱有绝对的信任，它们有时能把我们引入错误的歧途，有时又使我们成为井底之蛙，漠视系统以外的真理。
德国数学家克罗内克（1823——1891）是第一个直觉主义者，他认为维尔斯特拉斯的严密性含有不能接受的概念；康托尔关于超限数和集合论的工作不是数学，而是神秘主义。他说：整数是上帝创造的，其他都是人造的，是可疑的。
荷兰数学家布劳维尔（1881——1966）被人们称为现代直觉主义的奠基人，他在1907年的博士论文《数学基础》中，他批评康托尔、罗素和希尔伯特关于数学基础的理论，并初步提出自己的直觉主义观点。在1908年发表的《逻辑规律的不可靠性》论文里，他在逻辑史上第一次提出了对于潜无穷体系排中律不可靠的见解。在1912年发表的《直觉主义和形式主义》论文中，他进一步阐述了这种观点。布劳维尔主张，数学来源于先验的初始直觉，是人类心灵的创造性构造；数学的存在等于可构造，间接的纯存在证明是不可靠的；在可证和不可证之间还有中间可能，因之排中律不能成立；应用超穷方法的古典数学不是真正的数学。
法国数学家庞加莱（1854——1912）也因为集合论产生了悖论而反对集合论，反对那种不能用有限词语来定义的概念；他嘲笑把数学的基础建立在逻辑上的行为，讽刺《数学原理》中对数字1的定义说：对于从未听说过数目1的人来说，是一个令人赞叹的定义。他在他的《科学与方法》中说：
真正的数学，总有它实用的目的，它会按照它自己的原则不断地发展，而不会理会外面狂烈的风暴，并且它将一步一步地去追寻它惯常的胜利，这是一定的，并且永远不会停止。
——[美]M•克莱因《古今数学思想》第四册，上海科学技术出版社，1981年版P309