自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

原创 MySQL:通过增加索引进行SQL查询优化

一次非常有意思的SQL优化经历:从30248.271s到0.001s https://mp.weixin.qq.com/s?__biz=Mzg3MjA4MTExMw==&mid=2247485402&idx=1&sn=19653f2f820b96b4b85f257d74a4...

2019-04-30 19:34:07

阅读数 211

评论数 0

原创 MySQL:Windows环境下的编码问题和解决

1、MySQL5.5 中文显示为 ? 使用下面命令查看目前的字符集 SHOW VARIABLES LIKE 'character%'; 复制my-medium.ini 并重命名为 my.ini 然后添加了如下几行: [client] default-character-se...

2019-04-30 09:37:59

阅读数 83

评论数 0

原创 Git:Git Bash连接MySQL

我直接输入以下指令,发现卡主了,完全没有反应 $ mysql -uroot -p 输入以下指定就可以正常登陆MySQL了 $ winpty mysql -uroot -p 参考 如何在git bash中运行mysql ...

2019-04-28 22:16:45

阅读数 187

评论数 0

原创 MySQL:自动维护create_time和update_time字段

通过建表语句设置,让mysql自动维护这两个字段,那么编程的时候也能少写一部分代码 `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP `update_time` timestamp NULL DEFAULT NULL ON...

2019-04-27 13:00:20

阅读数 682

评论数 2

原创 Python爬虫:使用pyppeteer爬取动态加载的网站

pyppeteer 类似selenium,可以操作Chrome浏览器 文档:https://miyakogi.github.io/pyppeteer/index.html github: https://github.com/miyakogi/pyppeteer 安装 环境要求: python 3...

2019-04-26 18:38:38

阅读数 1376

评论数 0

原创 Python编程:sh模块执行shell命令

文档: http://amoffat.github.io/sh/index.html 安装 pip install sh 简单示例 >>> import sh >>> sh.echo("hi") hi 此文章中还提到了好多库和模块,都...

2019-04-26 16:31:32

阅读数 982

评论数 0

原创 Python爬虫:Scrapy从脚本运行爬虫的5种方式

一、命令行运行爬虫 1、编写爬虫文件 baidu.py # -*- coding: utf-8 -*- from scrapy import Spider class BaiduSpider(Spider): name = 'baidu' start_ur...

2019-04-25 19:53:02

阅读数 1010

评论数 3

原创 Python爬虫:Scrapy优化参数设置

修改 settings.py 文件 # 增加并发 CONCURRENT_REQUESTS = 100 # 降低log级别 LOG_LEVEL = 'INFO' # 禁止cookies COOKIES_ENABLED = False # 禁止重试 RETRY_ENABLED...

2019-04-25 17:59:44

阅读数 121

评论数 0

原创 Python编程:设置Python解释器不生成字节码pyc文件

字节码文件作用 Python解释器将源码转换为字节码 (.pyc文件), 然后再由解释器来执行这些字节码; 下次执行时,如果没有变化,则优先执行生成好的字节码文件 不过有时候也会不好使,明明代码更新了,执行结果还是 没有变化,心累 设置不生成字节码文件 方式一:设置环境变量(最常用的) expor...

2019-04-24 16:51:52

阅读数 188

评论数 0

原创 Linux:ls按照修改时间排序显示

命令:ls 详细解释: -l use a long listing format 以长列表方式显示(详细信息方式) -t sort by modification time 按修改时间排序(最新的在最前面) -r reverse order while sorting (...

2019-04-24 16:39:03

阅读数 805

评论数 0

原创 报错:import pandas._libs.parsers as parsers RuntimeWarning

问题 线上运行程序发现报错: import pandas._libs.parsers as parsers RuntimeWarning 解决 参考了其他类似问题,是因为numpy 版本过高,卸载后安装低版本即可 通过 pip 检查环境版本 pip list 线上环境 numpy==1.15....

2019-04-24 15:55:34

阅读数 177

评论数 0

原创 MySQL:增加删除索引

为了记忆简单,统一使用最好理解的方式创建和删除索引 (1)创建索引 # 普通索引 alter table table_name add index index_name (column_list); # UNIQUE索引 alter table table_name add unique ind...

2019-04-24 14:00:02

阅读数 36

评论数 0

原创 Python编程:使用textrank4zh、jieba、snownlp提取中文文章关键字和摘要

使用的库 1、textrank4zh https://github.com/letiantian/TextRank4ZH pip install textrank4zh==0.3 2、jieba https://github.com/fxsjy/jieba pip install jieba==...

2019-04-23 11:55:55

阅读数 1412

评论数 0

原创 Python编程:Python2.7环境下的中文文件读写

测试环境 python 2.7.5 读写的文本 # -*- coding: utf-8 -*- poetry = """ 相思 唐代:王维 红豆生南国,春来发几枝。 愿君多采撷,此物最相思。 """ 1、直接读写中文(正常) # -*...

2019-04-22 16:45:51

阅读数 673

评论数 0

原创 MySQL:修改表名和字段名和类型

-- 修改表名 rename table old_table to new_table; -- 或者 alter table old_table rename as new_table; -- 修改列名称 alter table table_name change column old_n...

2019-04-22 10:42:13

阅读数 1614

评论数 0

原创 Java爬虫:使用WebMagic构建最简单的爬虫项目

资料 WebMagic的架构设计参照了Scrapy 项目主页:http://webmagic.io/ github地址:https://github.com/code4craft/webmagic 项目文档:http://webmagic.io/docs/zh/ 环境配置 使用 IntelliJ...

2019-04-21 20:13:39

阅读数 112

评论数 0

原创 Python编程:获取一个类对象的属性和方法

python3.6 下测试 # -*- coding: utf-8 -*- class Demo(object): name = "demo" def instance_func(self): pass @classmethod ...

2019-04-21 18:13:51

阅读数 630

评论数 0

原创 Python编程:fabric实现SSH远程管理服务器

fabric 可以很轻松的实现 SSH链接 安装 pip install fabric 查看版本 $ fab --version Fabric 2.4.0 Paramiko 2.4.1 Invoke 1.2.0 编写任务 fabfile.py # -*- coding: utf-8 -*- ...

2019-04-18 10:44:24

阅读数 218

评论数 0

原创 Python编程:使用doctest进行文档测试

doctest模块是内置模块 应用举例 # -*- coding: utf-8 -*- def add(x, y): """ 求和 x + y Args: x: int y: int Returns:...

2019-04-17 18:31:57

阅读数 55

评论数 0

原创 Git:git pull每次都要求输入用户名和密码

git pull 每次都要求输入用户名和密码 配置 git config --global credential.helper store 查看git配置 git config --list 参考: git 为不同的项目设置不同的用户名和邮箱 ...

2019-04-17 15:39:19

阅读数 666

评论数 0

原创 计划评审技术(PERT)三点估算法计算工期、标准差、完成概率

PERT(Program/Project Evaluation and Review Technique)计划评审技术 P 代表最悲观工期 pessimistic M 代表最可能工期 may O 代表最乐观工期 optimistic PERT公式 Te=To+4Tm+Tp6 T_e = \frac...

2019-04-17 13:02:13

阅读数 1792

评论数 0

原创 Html:正确给table表格加边框

给表格加边框 <table border="1" cellspacing="0"> 效果 参考 Html-浅谈如何正确给table加边框

2019-04-17 12:47:31

阅读数 3186

评论数 0

原创 Python爬虫:滤网架构处理爬虫数据

业务场景: 1、爬虫数据直接入库会出现id自增过大的问题。要么就入库之前做一次查询,确保数据不存在再插入,这样一来就速度就减慢了。而且,爬虫程序运行速度往往较快,查询操作过多对数据库造成压力也不小。 2、一个表的数据分别来自不同地方,需要多个程序对其进行数据补全操作,这样一来,就会出现数据缺失现象...

2019-04-17 11:05:46

阅读数 45

评论数 0

原创 净现值NPV、回收期、收益率计算方法

净现值NPV Net Present Value 净现值(NPV)= 未来现金净流量现值 一 原始投资额现值 公式 NPV=∑CI−CO(1+i)t NPV=\sum\frac{CI-CO}{(1+i)^t} NPV=∑(1+i)tCI−CO​ CI 现金流入 CO 现金流出 i 折现率 t 年...

2019-04-17 09:56:20

阅读数 2360

评论数 0

原创 Python编程:python-attrs模块的简单使用

文档:http://www.attrs.org/en/stable/index.html attrs 可以简单理解为namedtuple的增强版 安装 pip install attrs 代码示例 1、定义一个tuple p1 = (1, 2) p2 = (1, 2) print(p1 == ...

2019-04-16 14:13:00

阅读数 1885

评论数 0

原创 MySQL:添加和查看表注释、字段注释

添加注释 创建表的时候写注释 create table student ( name varchar(20) comment '字段的注释', age int comment '字段的注释' )comment='表的注释'; 修改注...

2019-04-15 20:17:16

阅读数 388

评论数 0

原创 Python编程:使用sqlalchemy对数据库进行增删改查

连接数据库 # -*- coding: utf-8 -*- from sqlalchemy import create_engine, text db_url = "mysql://root:123456@127.0.0.1:3306/demo" engine = cre...

2019-04-14 23:07:32

阅读数 178

评论数 0

原创 Python编程:使用pythink查询数据库

github:https://github.com/mouday/PyThink 说下这个pythink模块的作用 背景: 我们公司的主要使用的后端语言有两种,python和php Python爬虫MySQL数据库PHP业务处理 而且有一个专门的DBA管理数据库,就是说,这个数据库不是你一个人的,...

2019-04-14 11:30:10

阅读数 105

评论数 0

原创 Python编程:Python2 和 Python3的字符串字典取值和MD5比较

python2 和 python3的字符串类型 # 3.6.0 >>> type("你好") <class 'str'> # 2.7.5 >>> type("你好") <type ...

2019-04-11 18:18:56

阅读数 115

评论数 0

原创 MySQL:date_format格式化时间格式

示例 select date_format(create_time,'%Y-%m-%d %H:%i:%S') from table_name # 2019-04-10 18:35:43 参数说明 格式 描述 %a 缩写星期名 %b 缩写月名 %c 月,数值 %D 带...

2019-04-11 15:32:47

阅读数 111

评论数 0

原创 Python编程:scrapy中使用logging,日志出现多次

同时使用scrapy.log和logging,日志会多次出现在控制台 通过 logger 成功解决 import logging logger = logging.getLogger(__name__) logger.setLevel(level=logging.DEBUG) logger.d...

2019-04-09 16:10:09

阅读数 169

评论数 0

原创 Python编程:手机号匹配正则表达式

正则表达式 ^1(3[0-9]|4[579]|5[0-3,5-9]|6[6]|7[0135678]|8[0-9]|9[89])\d{8}$ 正则匹配示意图 图片生成:https://regexper.com/ 参考: 2018 手机号正则 最新、最全、最准确的手机号正则表达式 ...

2019-04-09 10:22:05

阅读数 274

评论数 0

原创 Python编程:getattribute和getattr访问对象属性顺序

访问类属性的顺序: getattribute -> 如果没有找到属性,则引发异常AttributeError -> AttributeError 异常会触发 getattr,如果没有实现getattr 则抛出异常 代码示例 # -*- coding: utf-8 -*- cla...

2019-04-08 15:12:17

阅读数 94

评论数 0

原创 MySQL:模糊查询LIKE、REGEXP、IN

1、[NOT] LIKE 百分号(%):任意个或多个字符 下划线(_):任意单个字符 SELECT * FROM students WHERE name LIke '王%‘; 2、[NOT] REGEXP 字符 . 任何单个的字符 […]在方括号内的任何字符 ^ 匹配开始 $ 匹配结尾...

2019-04-04 10:32:25

阅读数 57

评论数 0

原创 Jenkins设置流水线Pipeline定时任务

1、新建流水线任务 2、构建触发器 * * * * * # 为每分钟执行 # 分时日月周 与crontab一样 3、流水线任务 定义(Pipeline script) 流水线语法 -> 片段生成器 示例步骤(sh: Shell Script) echo $(date "...

2019-04-03 17:00:34

阅读数 840

评论数 0

原创 Mac环境下安装jenkins

jenkins: https://jenkins.io/download/ 方式一: brew install jenkins # 安装 brew services start jenkins # 启动 brew uninstall jenkins # 卸载 方式二: 下载 jenkins...

2019-04-03 16:03:07

阅读数 355

评论数 0

原创 java有关的打包文件.jar、.war、.ear

java有关的打包文件 Jar文件 Java Application Archive 包含Java类的普通库、资源(resources)、辅助文件(auxiliary files)等 War文件 Web Application Archive)包含全部Web应用程序 Ear文件(扩展名为.Ear,...

2019-04-03 15:59:05

阅读数 44

评论数 0

原创 Python编程:trio模块异步/等待本地I/O库

github: https://github.com/python-trio/trio 文档: https://trio.readthedocs.io/en/latest/tutorial.html An async/await-native I/O library for humans and ...

2019-04-03 13:04:55

阅读数 174

评论数 0

原创 Python编程:Python2.7的MD5编码问题

测试环境 Python 2.7.5 1、直接做MD5 # -*- coding: utf-8 -*- import hashlib s = '20637332019-03-29已受理' md5 = hashlib.md5(s).hexdigest() # md5 = has...

2019-04-01 12:04:35

阅读数 345

评论数 0

提示
确定要删除当前文章?
取消 删除