title: 最优化理论中，求解（可导的）任意函数的导数（偏导）的最便捷的（近似）方法？
desc: 求解任意函数的导数的方法有哪些？最优（便捷）方法是什么？<br><br>问题背景：<br>在最优化问题中，求解最优解的方法之一是梯度下降。<br>梯度下降需要求解损失函数对于所有参数的偏导，以此来获取参数的梯度。<br>但是求解不同函数的偏导，通过求导方法来进行显然不方便。<br>那么是否存在一些近似的可以求解任意函数的导数的方法呢？<br><br>因为在Theano中，求解任意函数的导数可以通过下式实现（cost为函数，params为参数）：<br><div class
topic: 数学
content: 谢 issac Syndrome 邀 对于这种通用的函数求导问题工程上一般用Finite difference method有限差分法来处理。基本思想就是将空间划分网格，然后通过这个节点附近的某种节点值的线性组合来近似代替这个节点的偏导。1 考虑最简单的一维情况 Omega 0，X， uiapprox uxi， i 0， 1， 2...， N 假设xi iDelta x ， 网格大小Delta x XoverN 1.1 非边界节点 对于一阶导数，由定义有： partial u over part
answerer_tags: http://kyleslight.net