13518219792
判断元素与集合归属关系可以直接用in，python内建的循环会帮你处理比较：
成都创新互联是专业的呈贡网站建设公司，呈贡接单;提供成都网站建设、网站制作,网页设计,网站设计,建网站,PHP网站建设等专业做网站服务;采用PHP框架,可快速的进行呈贡网站开发网页制作和功能扩展;专业做搜索引擎喜爱的网站,专业的做网站团队,希望更多企业前来合作!
国家="中国"
a = ["美国","加拿大","澳大利亚"]
b = ["中国","日本","印度"]
if 国家 in a:
print("a")
elif 国家 in b:
print("b")
else:
print("ERROR")
用python做图形界面，然后还要发布为应用程序的话，有很多框架，比如Qt for Python，也就是常说的PyQt。比较推荐这个，因为算是目前比较流行的，而且不难入门，具体可以在百度上搜Qt或者PyQt，到官网去下载框架。
PyQt下载：
一些教程：
（这个是翻译的）
（这个是源教程）
当然还有很多，网上搜PyQt教程就可以。
模块
1.定义
计算机在开发过程中，代码越写越多，也就越难以维护，所以为了编写可维护的代码，我们会把函数进行分组，放在不同的文件里。在python里，一个.py文件就是一个模块。
2.优点：
提高代码的可维护性。
提高代码的复用，当模块完成时就可以在其他代码中调用。
引用其他模块，包含python内置模块和其他第三方模块。
避免函数名和变量名等名称冲突。
python内建模块：
1.sys模块
2.random模块
3.os模块：
os.path:讲解
数据可视化
1.matplotlib :
是Python可视化程序库的泰斗，它的设计和在1980年代被设计的商业化程序语言MATLAB非常接近。比如pandas和Seaborn就是matplotlib的外包，它们让你能用更少的代码去调用 matplotlib的方法。
访问：
颜色：
教程：
2.Seaborn：
它是构建在matplotlib的基础上的，用简洁的代码来制作好看的图表。Seaborn跟matplotlib最大的区别就是它的默认绘图风格和色彩搭配都具有现代美感。
访问：
3.ggplot：
gplot 跟 matplotlib 的不同之处是它允许你叠加不同的图层来完成一幅图
访问：
4.Mayavi：
Mayavi2完全用Python编写，因此它不但是一个方便实用的可视化软件，而且可以方便地用Python编写扩展，嵌入到用户编写的Python程序中，或者直接使用其面向脚本的API：mlab快速绘制三维图
访问：
讲解：
5.TVTK：
TVTK库对标准的VTK库进行包装，提供了Python风格的API、支持Trait属性和numpy的多维数组。
VTK () 是一套三维的数据可视化工具，它由C++编写，包涵了近千个类帮助我们处理和显示数据
讲解：
机器学习
1.Scikit-learn
是一个简单且高效的数据挖掘和数据分析工具，易上手，可以在多个上下文中重复使用。它基于NumPy, SciPy 和 matplotlib，开源，可商用（基于 BSD 许可）。
访问：
讲解：
2.Tensorflow
最初由谷歌机器智能科研组织中的谷歌大脑团队（Google Brain Team）的研究人员和工程师开发。该系统设计的初衷是为了便于机器学习研究，能够更快更好地将科研原型转化为生产项目。
相关推荐：《Python视频教程》
Web框架
1.Tornado
访问：
2.Flask
访问：
3.Web.py
访问：
4.django
5.cherrypy
6.jinjs
GUI 图形界面
1.Tkinter
2.wxPython
3.PyGTK
4.PyQt
5.PySide
科学计算
教程
1.numpy
访问
讲解
2.sympy
sympy是一个Python的科学计算库，用一套强大的符号计算体系完成诸如多项式求值、求极限、解方程、求积分、微分方程、级数展开、矩阵运算等等计算问题
访问
讲解
解方程
3.SciPy
官网
讲解
4.pandas
官网
讲解
5.blaze
官网
密码学
1.cryptography
2.hashids
3.Paramiko
4.Passlib
5.PyCrypto
6.PyNacl
爬虫相关
requests
scrapy
pyspider
portia
html2text
BeautifulSoup
lxml
selenium
mechanize
PyQuery
creepy
gevent
一个高并发的网络性能库
图像处理
bigmoyan
Python Imaging Library(PIL)
pillow：
自然语言处理
1.nltk：
教程
2.snownlp
3.Pattern
4.TextBlob
5.Polyglot
6.jieba：
数据库驱动
mysql-python
PyMySQL
PyMongo
pymongo
MongoDB库
访问：
redis
Redis库
访问：
cxOracle
Oracle库
访问：
SQLAlchemy
SQL工具包及对象关系映射（ORM）工具
访问：
peewee，
SQL工具包及对象关系映射（ORM）工具
访问：
torndb
Tornado原装DB
访问：
Web
pycurl
URL处理工具
smtplib模块
发送电子邮件
其他库暂未分类
1.PyInstaller：
是一个十分有用的第三方库，它能够在Windows、Linux、 Mac OS X 等操作系统下将 Python 源文件打包，通过对源文件打包， Python 程序可以在没有安装 Python 的环境中运行，也可以作为一个 独立文件方便传递和管理。
2.Ipython
一种交互式计算和开发环境
讲解
命令
ls、cd 、run、edit、clear、exist
在当前计算机的世界里，没有无限：
在计算机的的世界里，数字的大小也没有无限。计算机器数是使用有限长度的的空间存储的，因此，数的极限大小与精度与存储空间的大小相关，也是有限的。
print（“字符串”），5/2和5//2的结果是不同的5/2为2.5,5//2为2.
python2需要导入from_future_import division执行普通的除法。
1/2和1//2的结果0.5和0.
%号为取模运算。
乘方运算为2**3，-2**3和-（2**3）是等价的。
from sympy import*导入库
x,y,z=symbols('x y z'),定义变量
init_printing(use_unicode=True)设置打印方式。
python的内部常量有pi，
函数simplify，simplify(sin(x)**2 + cos(x)**2)化简结果为1，
simplify((x**3 + x**2 - x - 1)/(x**2 + 2*x + 1))化简结果为x-1。化简伽马函数。simplify(gamma(x)/gamma(x - 2))得（x-2）(x-1)。
expand((x + 1)**2)展开多项式。
expand((x + 1)*(x - 2) - (x - 1)*x)
因式分解。factor(x**2*z + 4*x*y*z + 4*y**2*z)得到z*(x + 2*y)**2
from_future_import division
x,y,z,t=symbols('x y z t')定义变量，
k, m, n = symbols('k m n', integer=True)定义三个整数变量。
f, g, h = symbols('f g h', cls=Function)定义的类型为函数。
factor_list(x**2*z + 4*x*y*z + 4*y**2*z)得到一个列表，表示因式的幂，(1, [(z, 1), (x + 2*y, 2)])
expand((cos(x) + sin(x))**2)展开多项式。
expr = x*y + x - 3 + 2*x**2 - z*x**2 + x**3，collected_expr = collect(expr, x)将x合并。将x元素按阶次整合。
collected_expr.coeff(x, 2)直接取出变量collected_expr的x的二次幂的系数。
cancel()is more efficient thanfactor().
cancel((x**2 + 2*x + 1)/(x**2 + x))
，expr = (x*y**2 - 2*x*y*z + x*z**2 + y**2 - 2*y*z + z**2)/(x**2 - 1)，cancel(expr)
expr = (4*x**3 + 21*x**2 + 10*x + 12)/(x**4 + 5*x**3 + 5*x**2 + 4*x)，apart(expr)
asin(1)
trigsimp(sin(x)**2 + cos(x)**2)三角函数表达式化简，
trigsimp(sin(x)**4 - 2*cos(x)**2*sin(x)**2 + cos(x)**4)
trigsimp(sin(x)*tan(x)/sec(x))
trigsimp(cosh(x)**2 + sinh(x)**2)双曲函数。
三角函数展开，expand_trig(sin(x + y))，acos(x)，cos(acos(x))，expand_trig(tan(2*x))
x, y = symbols('x y', positive=True)正数，a, b = symbols('a b', real=True)实数，z, t, c = symbols('z t c')定义变量的方法。
sqrt(x) == x**Rational(1, 2)判断是否相等。
powsimp(x**a*x**b)幂函数的乘法，不同幂的乘法，必须先定义a和b。powsimp(x**a*y**a)相同幂的乘法。
powsimp(t**c*z**c)，注意，powsimp()refuses to do the simplification if it is not valid.
powsimp(t**c*z**c, force=True)这样的话就可以得到化简过的式子。声明强制进行化简。
(z*t)**2，sqrt(x*y)
第一个展开expand_power_exp(x**(a + b))，expand_power_base((x*y)**a)展开，
expand_power_base((z*t)**c, force=True)强制展开。
powdenest((x**a)**b)，powdenest((z**a)**b)，powdenest((z**a)**b, force=True)
ln(x)，x, y ,z= symbols('x y z', positive=True)，n = symbols('n', real=True)，
expand_log(log(x*y))展开为log(x) + log(y)，但是python3没有。这是因为需要将x定义为positive。这是必须的，否则不会被展开。expand_log(log(x/y)),expand_log(log(x**n))
As withpowsimp()andpowdenest(),expand_log()has aforceoption that can be used to ignore assumptions。
expand_log(log(z**2), force=True),强制展开。
logcombine(log(x) + log(y))，logcombine(n*log(x))，logcombine(n*log(z), force=True)。
factorial(n)阶乘，binomial(n, k)等于c（n，k），gamma(z)伽马函数。
hyper([1, 2], [3], z)，
tan(x).rewrite(sin)得到用正弦表示的正切。factorial(x).rewrite(gamma)用伽马函数重写阶乘。
expand_func(gamma(x + 3))得到，x*(x + 1)*(x + 2)*gamma(x)，
hyperexpand(hyper([1, 1], [2], z))，
combsimp(factorial(n)/factorial(n - 3))化简，combsimp(binomial(n+1, k+1)/binomial(n, k))化简。combsimp(gamma(x)*gamma(1 - x))
自定义函数
def list_to_frac(l):
expr = Integer(0)
for i in reversed(l[1:]):
expr += i
expr = 1/expr
return l[0] + expr
list_to_frac([x, y, z])结果为x + 1/z，这个结果是错误的。
syms = symbols('a0:5')，定义syms，得到的结果为(a0, a1, a2, a3, a4)。
这样也可以a0, a1, a2, a3, a4 = syms， 可能是我的操作错误 。发现python和自动缩进有关，所以一定看好自动缩进的距离。list_to_frac([1, 2, 3, 4])结果为43/30。
使用cancel可以将生成的分式化简，frac = cancel(frac)化简为一个分数线的分式。
(a0*a1*a2*a3*a4 + a0*a1*a2 + a0*a1*a4 + a0*a3*a4 + a0 + a2*a3*a4 + a2 + a4)/(a1*a2*a3*a4 + a1*a2 + a1*a4 + a3*a4 + 1)
a0, a1, a2, a3, a4 = syms定义a0到a4，frac = apart(frac, a0)可将a0提出来。frac=1/(frac-a0)将a0去掉取倒。frac = apart(frac, a1)提出a1。
help("modules"),模块的含义，help("modules yourstr")模块中包含的字符串的意思。，
help("topics")，import os.path + help("os.path")，help("list")，help("open")
# -*- coding: UTF-8 -*-声明之后就可以在ide中使用中文注释。
定义
l = list(symbols('a0:5'))定义列表得到[a0, a1, a2, a3, a4]
fromsympyimport*
x,y,z=symbols('x y z')
init_printing(use_unicode=True)
diff(cos(x),x)求导。diff(exp(x**2), x)，diff(x**4, x, x, x)和diff(x**4, x, 3)等价。
diff(expr, x, y, 2, z, 4)求出表达式的y的2阶，z的4阶，x的1阶导数。和diff(expr, x, y, y, z, 4)等价。expr.diff(x, y, y, z, 4)一步到位。deriv = Derivative(expr, x, y, y, z, 4)求偏导。但是不显示。之后用deriv.doit()即可显示
integrate(cos(x), x)积分。定积分integrate(exp(-x), (x, 0, oo))无穷大用2个oo表示。integrate(exp(-x**2-y**2),(x,-oo,oo),(y,-oo,oo))二重积分。print(expr)print的使用。
expr = Integral(log(x)**2, x)，expr.doit()积分得到x*log(x)**2 - 2*x*log(x) + 2*x。
integ.doit()和integ = Integral((x**4 + x**2*exp(x) - x**2 - 2*x*exp(x) - 2*x -
exp(x))*exp(x)/((x - 1)**2*(x + 1)**2*(exp(x) + 1)), x)连用。
limit(sin(x)/x,x,0)，not-a-number表示nan算不出来，limit(expr, x, oo)，，expr = Limit((cos(x) - 1)/x, x, 0)，expr.doit()连用。左右极限limit(1/x, x, 0, '+')，limit(1/x, x, 0, '-')。。
Series Expansion级数展开。expr = exp(sin(x))，expr.series(x, 0, 4)得到1 + x + x**2/2 + O(x**4)，，x*O(1)得到O(x)，，expr.series(x, 0, 4).removeO()将无穷小移除。exp(x-6).series(x,x0=6)，，得到
-5 + (x - 6)**2/2 + (x - 6)**3/6 + (x - 6)**4/24 + (x - 6)**5/120 + x + O((x - 6)**6, (x, 6))最高到5阶。
f=Function('f')定义函数变量和h=Symbol('h')和d2fdx2=f(x).diff(x,2)求2阶，，as_finite_diff(dfdx)函数和as_finite_diff(d2fdx2,[-3*h,-h,2*h])，，x_list=[-3,1,2]和y_list=symbols('a b c')和apply_finite_diff(1,x_list,y_list,0)。
Eq(x, y)，，solveset(Eq(x**2, 1), x)解出来x，当二式相等。和solveset(Eq(x**2 - 1, 0), x)等价。solveset(x**2 - 1, x)
solveset(x**2 - x, x)解，solveset(x - x, x, domain=S.Reals)解出来定义域。solveset(exp(x), x) # No solution exists解出EmptySet()表示空集。
等式形式linsolve([x + y + z - 1, x + y + 2*z - 3 ], (x, y, z))和矩阵法linsolve(Matrix(([1, 1, 1, 1], [1, 1, 2, 3])), (x, y, z))得到{(-y - 1, y, 2)}
A*x = b 形式，M=Matrix(((1,1,1,1),(1,1,2,3)))，system=A,b=M[:,:-1],M[:,-1]，linsolve(system,x,y,z)，，solveset(x**3 - 6*x**2 + 9*x, x)解多项式。roots(x**3 - 6*x**2 + 9*x, x)，得出，{3: 2, 0: 1}，有2个3的重根，1个0根。solve([x*y - 1, x - 2], x, y)解出坐标。
f, g = symbols('f g', cls=Function)函数的定义，解微分方程diffeq = Eq(f(x).diff(x, x) - 2*f(x).diff(x) + f(x), sin(x))再和dsolve(diffeq,f(x))结合。得到Eq(f(x), (C1 + C2*x)*exp(x) + cos(x)/2)，dsolve(f(x).diff(x)*(1 - sin(f(x))), f(x))解出来Eq(f(x) + cos(f(x)), C1)，，
Matrix([[1,-1],[3,4],[0,2]])，，Matrix([1, 2, 3])列表示。M=Matrix([[1,2,3],[3,2,1]])
N=Matrix([0,1,1])
M*N符合矩阵的乘法。M.shape显示矩阵的行列数。
M.row(0)获取M的第0行。M.col(-1)获取倒数第一列。
M.col_del(0)删掉第1列。M.row_del(1)删除第二行，序列是从0开始的。M = M.row_insert(1, Matrix([[0, 4]]))插入第二行，，M = M.col_insert(0, Matrix([1, -2]))插入第一列。
M+N矩阵相加，M*N，3*M，M**2，M**-1，N**-1表示求逆。M.T求转置。
eye(3)单位。zeros(2, 3)，0矩阵，ones(3, 2)全1，diag(1, 2, 3)对角矩阵。diag(-1, ones(2, 2), Matrix([5, 7, 5]))生成Matrix([
[-1, 0, 0, 0],
[ 0, 1, 1, 0],
[ 0, 1, 1, 0],
[ 0, 0, 0, 5],
[ 0, 0, 0, 7],
[ 0, 0, 0, 5]])矩阵。
Matrix([[1, 0, 1], [2, -1, 3], [4, 3, 2]])
一行一行显示，，M.det()求行列式。M.rref()矩阵化简。得到结果为Matrix([
[1, 0, 1, 3],
[0, 1, 2/3, 1/3],
[0, 0, 0, 0]]), [0, 1])。
M = Matrix([[1, 2, 3, 0, 0], [4, 10, 0, 0, 1]])，M.nullspace()
Columnspace
M.columnspace()和M = Matrix([[1, 2, 3, 0, 0], [4, 10, 0, 0, 1]])
M = Matrix([[3, -2, 4, -2], [5, 3, -3, -2], [5, -2, 2, -2], [5, -2, -3, 3]])和M.eigenvals()得到{3: 1, -2: 1, 5: 2}，，This means thatMhas eigenvalues -2, 3, and 5, and that the eigenvalues -2 and 3 have algebraic multiplicity 1 and that the eigenvalue 5 has algebraic multiplicity 2.
P, D = M.diagonalize()，P得Matrix([
[0, 1, 1, 0],
[1, 1, 1, -1],
[1, 1, 1, 0],
[1, 1, 0, 1]])，，D为Matrix([
[-2, 0, 0, 0],
[ 0, 3, 0, 0],
[ 0, 0, 5, 0],
[ 0, 0, 0, 5]])
P*D*P**-1 == M返回为True。lamda = symbols('lamda')。
lamda = symbols('lamda')定义变量，p = M.charpoly(lamda)和factor(p)
expr = x**2 + x*y，srepr(expr)可以将表达式说明计算法则，"Add(Pow(Symbol('x'), Integer(2)), Mul(Symbol('x'), Symbol('y')))"。。
x = symbols('x')和x = Symbol('x')是一样的。srepr(x**2)得到"Pow(Symbol('x'), Integer(2))"。Pow(x, 2)和Mul(x, y)得到x**2。x*y
type(2)得到class 'int'，type(sympify(2))得到class 'sympy.core.numbers.Integer'..srepr(x*y)得到"Mul(Symbol('x'), Symbol('y'))"。。。
Add(Pow(x, 2), Mul(x, y))得到"Add(Mul(Integer(-1), Pow(Symbol('x'), Integer(2))), Mul(Rational(1, 2), sin(Mul(Symbol('x'), Symbol('y')))), Pow(Symbol('y'), Integer(-1)))"。。Pow函数为幂次。
expr = Add(x, x)，expr.func。。Integer(2).func，class 'sympy.core.numbers.Integer',,Integer(0).func和Integer(-1).func，，，expr = 3*y**2*x和expr.func得到class 'sympy.core.mul.Mul',,expr.args将表达式分解为得到(3, x, y**2)，，expr.func(*expr.args)合并。expr == expr.func(*expr.args)返回True。expr.args[2]得到y**2，expr.args[1]得到x，expr.args[0]得到3.。
expr.args[2].args得到(y, 2)。。y.args得到空括号。Integer(2).args得到空括号。
from sympy import *
E**(I*pi)+1，可以看出，I和E，pi已将在sympy内已定义。
x=Symbol('x')，，expand( E**(I*x) )不能展开，expand(exp(I*x),complex=True)可以展开，得到I*exp(-im(x))*sin(re(x)) + exp(-im(x))*cos(re(x))，，x=Symbol("x",real=True)将x定义为实数。再展开expand(exp(I*x),complex=True)得到。I*sin(x) + cos(x)。。
tmp = series(exp(I*x), x, 0, 10)和pprint(tmp)打印出来可读性好，print(tmp)可读性不好。。pprint将公式用更好看的格式打印出来，，pprint( series( cos(x), x, 0, 10) )
integrate(x*sin(x), x)，，定积分integrate(x*sin(x), (x, 0, 2*pi))。。
用双重积分求解球的体积。
x, y, r = symbols('x,y,r')和2 * integrate(sqrt(r*r-x**2), (x, -r, r))计算球的体积。计算不来，是因为sympy不知道r是大于0的。r = symbols('r', positive=True)这样定义r即可。circle_area=2*integrate(sqrt(r**2-x**2),(x,-r,r))得到。circle_area=circle_area.subs(r,sqrt(r**2-x**2))将r替换。
integrate(circle_area,(x,-r,r))再积分即可。
expression.sub([(x,y),(y,x)])又换到原来的状况了。
expression.subs(x, y)，，将算式中的x替换成y。。
expression.subs({x:y,u:v}) : 使用字典进行多次替换。。
expression.subs([(x,y),(u,v)]) : 使用列表进行多次替换。。
是的，明年一月股票价格属于逻辑回归问题。逻辑回归这个模型很神奇，虽然它的本质也是回归，但是它是一个分类模型，并且它的名字当中又包含”回归“两个字，未免让人觉得莫名其妙。
如果是初学者，觉得头晕是正常的，没关系，让我们一点点捋清楚。
让我们先回到线性回归，我们都知道，线性回归当中 y = WX + b。我们通过W和b可以求出X对应的y，这里的y是一个连续值，是回归模型对吧。但如果我们希望这个模型来做分类呢，应该怎么办？很容易想到，我们可以人为地设置阈值对吧，比如我们规定y 0最后的分类是1，y 0最后的分类是0。从表面上来看，这当然是可以的，但实际上这样操作会有很多问题。
最大的问题在于如果我们简单地设计一个阈值来做判断，那么会导致最后的y是一个分段函数，而分段函数不连续，使得我们没有办法对它求梯度，为了解决这个问题，我们得找到一个平滑的函数使得既可以用来做分类，又可以解决梯度的问题。
很快，信息学家们找到了这样一个函数，它就是Sigmoid函数，它的表达式是：
357572dfd95e096f6b1db8d0418b7666.png
它的函数图像如下：
3c9f8ea71dade02bee91d6837a9ab772.png
可以看到，sigmoid函数在x=0处取值0.5，在正无穷处极限是1，在负无穷处极限是0，并且函数连续，处处可导。sigmoid的函数值的取值范围是0-1，非常适合用来反映一个事物发生的概率。我们认为
σ(x) 表示x发生的概率，那么x不发生的概率就是 1 - σ(x) 。我们把发生和不发生看成是两个类别，那么sigmoid函数就转化成了分类函数，如果 σ(x) 0.5 表示类别1，否则表示类别0.
到这里就很简单了，通过线性回归我们可以得到
00f6409abfa62fff48ef6345454c1307.png
也就是说我们在线性回归模型的外面套了一层sigmoid函数，我们通过计算出不同的y，从而获得不同的概率，最后得到不同的分类结果。
损失函数
下面的推导全程高能，我相信你们看完会三连的(点赞、转发、关注)。
让我们开始吧，我们先来确定一下符号，为了区分，我们把训练样本当中的真实分类命名为y，y的矩阵写成 Y 。同样，单条样本写成 x , x 的矩阵写成 X。单条预测的结果写成 y_hat，所有的预测结果写成Y_hat。
对于单条样本来说，y有两个取值，可能是1，也可能是0，1和0代表两个不同的分类。我们希望 y = 1 的时候，y_hat 尽量大， y = 0 时， 1 - y_hat 尽量大，也就是 y_hat 尽量小，因为它取值在0-1之间。我们用一个式子来统一这两种情况：
4e1d139e638f22b1f7c3c34ec7ac1750.png
我们代入一下，y = 0 时前项为1，表达式就只剩下后项，同理，y = 1 时，后项为1，只剩下前项。所以这个式子就可以表示预测准确的概率，我们希望这个概率尽量大。显然，P(y|x) 0，所以我们可以对它求对数，因为log函数是单调的。所以 P(y|x) 取最值时的取值，就是 log P(y|x) 取最值的取值。
b493206f3f6ac1d18987cc2136d43e74.png
我们期望这个值最大，也就是期望它的相反数最小，我们令
bd1691f5ed6d3b14ad6678ea7ab4a73e.png
这样就得到了它的损失函数：
18ae4824989eb45abea1a568bb8afc0b.png
如果知道交叉熵这个概念的同学，会发现这个损失函数的表达式其实就是交叉熵。交叉熵是用来衡量两个概率分布之间的”距离“，交叉熵越小说明两个概率分布越接近，所以经常被用来当做分类模型的损失函数。关于交叉熵的概念我们这里不多赘述，会在之后文章当中详细介绍。我们随手推导的损失函数刚好就是交叉熵，这并不是巧合，其实底层是有一套信息论的数学逻辑支撑的，我们不多做延伸，感兴趣的同学可以了解一下。
硬核推导
损失函数有了，接下来就是求梯度来实现梯度下降了。
这个函数看起来非常复杂，要对它直接求偏导算梯度过于硬核(危)，如果是许久不碰高数的同学直接肝不亚于硬抗苇名一心。
ade04cadcb25c9674f76ec1fa217eb85.png
为了简化难度，我们先来做一些准备工作。首先，我们先来看下σ 函数，它本身的形式很复杂，我们先把它的导数搞定。
77509348117bf958bd84c57fbbe2c048.png
因为 y_hat = σ(θX) ，我们将它带入损失函数，可以得到，其中σ(θX)简写成σ(θ) ：
7cc17ea96bd209a6a71e30a89827553e.png
接着我们求 J(θ) 对 θ 的偏导，这里要代入上面对 σ(x) 求导的结论：
363b945b9b4cc57919d3d503c45c0ff6.png
代码实战
梯度的公式都推出来了，离写代码实现还远吗？
不过巧妇难为无米之炊，在我们撸模型之前，我们先试着造一批数据。
我们选择生活中一个很简单的场景——考试。假设每个学生需要参加两门考试，两门考试的成绩相加得到最终成绩，我们有一批学生是否合格的数据。希望设计一个逻辑回归模型，帮助我们直接计算学生是否合格。
为了防止sigmoid函数产生偏差，我们把每门课的成绩缩放到(0, 1)的区间内。两门课成绩相加超过140分就认为总体及格。
2d25f5bfaa9ec45a3089c4f12c201ccf.png
这样得到的训练数据有两个特征，分别是学生两门课的成绩，还有一个偏移量1，用来记录常数的偏移量。
接着，根据上文当中的公式，我们不难(真的不难)实现sigmoid以及梯度下降的函数。
2bf9363d9bb6a71a0e0e33a1234d5c7b.png
这段函数实现的是批量梯度下降，对Numpy熟悉的同学可以看得出来，这就是在直接套公式。
最后，我们把数据集以及逻辑回归的分割线绘制出来。
097c155cf08a23efc7d2e3d69b4704e2.png
最后得到的结果如下：
9db92f8f8681c247a6cba139152c5ca2.png
随机梯度下降版本
可以发现，经过了1万次的迭代，我们得到的模型已经可以正确识别所有的样本了。
我们刚刚实现的是全量梯度下降算法，我们还可以利用随机梯度下降来进行优化。优化也非常简单，我们计算梯度的时候不再是针对全量的数据，而是从数据集中选择一条进行梯度计算。
基本上可以复用梯度下降的代码，只需要对样本选取的部分加入优化。
cfd38e0b28894b1016968075e6a1bc3b.png
我们设置迭代次数为2000，最后得到的分隔图像结果如下：
6a1a9d6962bf1b801f0a8801883dec05.png
当然上面的代码并不完美，只是一个简单的demo，还有很多改进和优化的空间。只是作为一个例子，让大家直观感受一下：其实自己亲手写模型并不难，公式的推导也很有意思。这也是为什么我会设置高数专题的原因。CS的很多知识也是想通的，在学习的过程当中灵感迸发旁征博引真的是非常有乐趣的事情，希望大家也都能找到自己的乐趣。
今天的文章就是这些，如果觉得有所收获，请顺手点个关注或者转发吧，你们的举手之劳对我来说很重要。
相关资源：【原创】R语言对二分连续变量进行逻辑回归数据分析报告论文(代码...
文章知识点与官方知识档案匹配
算法技能树首页概览
33030 人正在系统学习中
打开CSDN，阅读体验更佳
VGG论文笔记及代码_麻花地的博客_vgg论文
VGG论文笔记及代码 VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION 牛津大学视觉组(VGG)官方网站: Abstract 在这项工作中,我们研究了在大规模图像识别环境中卷积网络深度对其...
...MNIST研究》论文和Python代码_通信与逆向那些事的博客_机器...
1、逻辑回归算法 逻辑回归(Logistic Regression),与它的名字恰恰相反,它是一个分类器而非回归方法,在一些文献里它也被称为logit回归、最大熵分类器(MaxEnt)、对数线性分类器等。 使用sklearn.linear_model中的LogisticRegression方法来训练...
两个重要极限的推导
两个重要极限 （1） limθ→0sinθθ=1 （θ为弧度） \underset{\theta \rightarrow 0}{\lim}\frac{\sin \theta}{\theta}=1\ \ \text{（}\theta \text{为弧度）} θ→0limθsinθ=1 （θ为弧度） （2） limx→∞(1+1x)x=e \underset{x\rightarrow \infty}{\lim}\left( 1+\frac{1}{x} \ri
继续访问
两个重要极限及其推导过程
一、 证明：由上图可知， 即 二、 证明：首先证明此极限存在 构造数列 而对于n+1 ...
继续访问
...是多项式回归】Jeff Dean等论文发现逻辑回归和深度学习一样好_qq...
其中,基线 aEWS(augmented Early Warning Score)是一个有 28 个因子的逻辑回归模型,在论文作者对预测患者死亡率的传统方法 EWS 进行的扩展。而 Full feature simple baseline 则是 Uri Shalit 说的标准化逻辑回归。 注意到基线模型(红...
数学模型——Logistic回归模型(含Matlab代码)_苏三有春的博客...
Logistic回归模型是一种非常常见的统计回归模型,在处理大量数据,揭示各自变量如何作用于因变量(描述X与Y之间的关系)时有着十分重要的作用。笔者在写Logit回归模型前参加了一次市场调研比赛,在这次比赛中学到了很多东西,同时发现,许多优秀获...
《神经网络设计》第二章中传递函数
import math #硬极限函数 def hardlim(data): if data 0: a = 0 else: a = 1 print("fun:hardlim,result:%f"%a) #对称硬极限函数 def hardlims(data): if data 0: a = -1 e
继续访问
两个重要极限定理推导
两个重要极限定理： limx→0sinxx=1(1) \lim_{x \rightarrow 0} \frac{\sin x}{x} = 1 \tag{1} x→0limxsinx=1(1) 和 limx→∞(1+1x)x=e(2) \lim_{x \rightarrow \infty} (1 + \frac{1}{x})^x = e \tag{2} x→∞lim(1+x1)x=e(2) 引理(夹逼定理) 定义一： 如果数列 {Xn}\lbrace X_n \rbrace{Xn}，{Yn}
继续访问
【原创】R语言对二分连续变量进行逻辑回归数据分析报告论文(代码...
【原创】R语言对二分连续变量进行逻辑回归数据分析报告论文(代码数据).docx资源推荐 资源评论 鲸鱼算法(WOA)优化变分模态分解(VMD)参数python 5星 · 资源好评率100% 1.python程序 2.有数据集,可直接运行 matlab批量读取excel表格数据...
机器学习--逻辑回归_科技论文精讲的博客
机器学习-逻辑回归分析(Python) 02-24 回归和分类方法是机器学习中经常用到的方法区分回归问题和分类问题:回归问题:输入变量和输出变量均为连续变量的问题;分类问题:输出变量为有限个离散变量的问题。因此分类及回归分别为研究这两类问题...
常见函数极限
limx→0sinx=1\lim_{x\to 0}\frac{\sin}{x}=1x→0limxsin=1 limx→∞(1+1x)x=e\lim_{x\to \infty}(1+\frac{1}{x})^x=ex→∞lim(1+x1)x=e limα→0(1+α)1α=e\lim_{\alpha\to 0}(1+\alpha)^\frac{1}{\alpha}=eα→0lim(...
继续访问
逻辑回归原理及代码实现
公式自变量取值为任意实数，值域[0,1]解释将任意的输入映射到了[0,1]区间，我们在线性回归中可以得到一个预测值，再将该值映射到Sigmoid函数中这样就完成了由值到概率的转换，也就是分类任务预测函数其中，分类任务整合解释对于二分类任务（0，1），整合后y取0只保留，y取1只保留似然函数对数似然此时应用梯度上升求最大值，引入转换为梯度下降任务求导过程参数更新多分类的softmax。............
继续访问
python手写数字识别论文_Python利用逻辑回归模型解决MNIST手写数字识别问...
本文实例讲述了Python利用逻辑回归模型解决MNIST手写数字识别问题。分享给大家供大家参考,具体如下: 1、MNIST手写识别问题 MNIST手写数字识别问题:输入黑白的手写阿拉伯数字,通过机器学习判断输入的是几。可以通过TensorFLow下载MNIST手写数据集,...
逻辑回归问题整理_暮雨林钟的博客
逻辑回归问题整理 之前只是简单的接触过逻辑回归,今天针对于最近看论文的疑惑做一个整理; 逻辑回归与极大似然的关系: 逻辑回归的提出主要是在线性问题下为分类问题而提出的; 简单来说,针对于一个二分类问题,我们需要将线性函数映射为一...
机器学习算法-逻辑回归（一）：基于逻辑回归的分类预测（代码附详细注释）
1 逻辑回归的介绍和应用 1.1 逻辑回归的介绍 逻辑回归（Logistic regression，简称LR）虽然其中带有"回归"两个字，但逻辑回归其实是一个分类模型，并且广泛应用于各个领域之中。虽然现在深度学习相对于这些传统方法更为火热，但实则这些传统方法由于其独特的优势依然广泛应用于各个领域中。 而对于逻辑回归而且，最为突出的两点就是其模型简单和模型的可解释性强。 逻辑回归模型的优劣势: 优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低； 缺点：容易欠拟合，分类精度可能不高 1.2
继续访问
逻辑回归：原理+代码
（作者：陈玓玏） 逻辑回归算是传统机器学习中最简单的模型了，它的基础是线性回归，为了弄明白逻辑回归，我们先来看线性回归。 一、线性回归 假设共N个样本，每个样本有M个特征，这样就产生了一个N*M大小的样本矩阵。令矩阵为X，第i个样本为Xi，第i个样本的第j个特征为Xij。令样本的观测向量为Y，第i个样本的观测值为Yi，那么就会有以下公式： （X+[1]N*1）*W = Y 也就是说，...
继续访问
浅谈逻辑回归_jzhx107的博客
LMSE回归的回归平面受左上角两个绿色样本的影响而向上倾斜。 支持向量机的分离平面只由两个支持向量决定。 另外我们看到,在本例中逻辑回归和支持向量机得到的分离平面很接近,但是支持向量机的推导和训练过程要比逻辑回归复杂很多。所以加州...
论文研究-基于HBase的多分类逻辑回归算法研究.pdf_多分类逻辑回归...
论文研究-基于HBase的多分类逻辑回归算法研究.pdf,为解决在大数据环境下,用于训练多分类逻辑回归模型的数据集可能会超过执行计算的客户端内存的问题,提出了块批量梯度下降算法,用于计算回归模型的系数。将训练数据集存入HBase后,通过设置表...
【机器学习】 逻辑回归原理及代码
大家好，我是机器侠~1 Linear Regression（线性回归）在了解逻辑回归之前，我们先简单介绍一下Linear Regression（线性回归）。线性回归是利用连续性的变量来预估实际数值（比如房价），通过找出自变量与因变量之间的线性关系，确定一条最佳直线，称之为回归线。并且，我们将这个回归关系表示为2 Logistic Regression（...
继续访问
最新发布 【大道至简】机器学习算法之逻辑回归(Logistic Regression)详解(附代码)---非常通俗易懂！
逻辑回归详细推导，附github代码
继续访问
第二重要极限公式推导过程_机器学习——一文详解逻辑回归「附详细推导和代码」...
在之前的文章当中，我们推导了线性回归的公式，线性回归本质是线性函数，模型的原理不难，核心是求解模型参数的过程。通过对线性回归的推导和学习，我们基本上了解了机器学习模型学习的过程，这是机器学习的精髓，要比单个模型的原理重要得多。新关注和有所遗忘的同学可以点击下方的链接回顾一下之前的线性回归和梯度下降的内容。讲透机器学习中的梯度下降机器学习基础——线性回归公式推导(附代码和演示图)回归与分类在机器学习...
继续访问
机器学习之逻辑回归，代码实现（附带sklearn代码，小白版）
用小白的角度解释逻辑回归，并且附带代码实现
继续访问
热门推荐 两个重要极限及相关推导极限
两个重要极限： ①limx→0sinxx=1\lim_{x \to 0}\frac{\sin x}{x} = 1 ②limx→∞(1+1x)x=e\lim_{x \to \infty}(1 + \frac{1}{x})^x = e 关于重要极限①的推导极限可以参考： 无穷小的等价代换 由重要极限②可以推导出： limx→∞(1+1x)x⇒limx→0(1+x)1x=e\lim_{x \t
继续访问
（一）机器学习——逻辑回归（附完整代码和数据集）
什么是逻辑回归？ 首先逻辑回归是一种分类算法。逻辑回归算法和预测类算法中的线性回归算法有一定的类似性。简单来讲，逻辑回归，就是通过回归的方法来进行分类，而不是进行预测，比如预测房价等。 逻辑回归解决的问题 先看下面的图，已知平面上分布的红点和蓝点，逻辑回归算法就是解决怎么根据一系列点，计算出一条直线（或者是平面）将平面上的点分成两类，一般的解决方法就是建立一个数学模型，然后通过迭代优化得到一个最优...
继续访问
机器学习：逻辑回归及其代码实现
一、逻辑回归（logistic regression）介绍 逻辑回归，又称为对数几率回归，虽然它名字里面有回归二字，但是它并不像线性回归一样用来预测数值型数据，相反，它一般用来解决分类任务，特别是二分类任务。 本质上，它是一个percetron再加上一个sigmoid激活函数，如下所示： 然后逻辑回归采用的损失函数是交叉熵： ...
继续访问
逻辑回归，原理及代码实现
Ⅰ.逻辑回归概述： 逻辑回归（LR,Logistic Regression）是传统机器学习中的一种分类模型，它属于一种在线学习算法，可以利用新的数据对各个特征的权重进行更新，而不需要重新利用历史数据训练。因此在实际开发中，一般针对该类任务首先都会构建一个基于LR的模型作为Baseline Model，实现快速上线，然后在此基础上结合后续业务与数据的演进，不断的优化改进。 由于LR算法具有简单、高效、易于并行且在线学习（动态扩展）的特点，在工业界具有非常广泛的应用。例如：评论信息正负情感分析（二分类）、用户点
继续访问
逻辑(logistic)回归算法原理及两种代码实现
①简单介绍了逻辑回归的原理 ②介绍了两种代码实现方法
继续访问
由两个重要极限推导常见等价无穷小以及常见导数公式
两个重要极限 第一个重要极限 limx→0xsinx=1 \lim_{x\rightarrow0}\frac{x}{sinx}=1x→0limsinxx=1 第二个重要极限 limx→+∞(1+1x)x=e \lim_{x\rightarrow+\infty}(1+\frac{1}{x})^x=ex→+∞lim(1+x1)x=e 等价无穷小 1. ln(1+x)~x limx→0ln(1+x)x=limx→0ln(1+x)1x=ln(limx→+∞(1+1x)x)=lne=1 \lim_{
继续访问
机器学习——逻辑回归算法代码实现
机器学习——逻辑回归算法代码实现前言一、逻辑回归是什么？二、代码实现1.数据说明2.逻辑回归代码 前言 最近准备开始学习机器学习，后续将对学习内容进行记录，该文主要针对逻辑回归代码实现进行记录！同时也准备建一个群，大家可以进行交流，微信：ffengjixuchui 一、逻辑回归是什么？ 逻辑回归概念篇可看博主之前的文章，传送门 二、代码实现 1.数据说明 你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。
import numpy as np
a = np.array([1,2,3])
b = np.array([1,2,3])
print((a==b).all())
a = np.array([3,2,1])
b = np.array([1,2,3])
print((a==b).all())
可以用第三方库吧？ 抄的。再加上计数，随机数列表就行了。$ pythonpython 2.7.3 (default, mar 14 2014, 11:57:14) [gcc 4.7.2] on linux2type "help", "copyright", "credits" or "license" for more information. a = 1 b = 2 c = 2 d = 4 if a b == c d:... print "ok"... ok
