自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

彭世瑜的博客

记录我的code历程 个人主页:www.pengshiyu.com

原创 MySQL:通过增加索引进行SQL查询优化

一次非常有意思的SQL优化经历:从30248.271s到0.001s https://mp.weixin.qq.com/s?__biz=Mzg3MjA4MTExMw==&mid=2247485402&idx=1&sn=19653f2f820b96b4...

2019-04-30 19:34:07

阅读数 125

评论数 0

原创 MySQL:Windows环境下的编码问题和解决

1、MySQL5.5 中文显示为 ? 使用下面命令查看目前的字符集 SHOW VARIABLES LIKE 'character%'; 复制my-medium.ini 并重命名为 my.ini 然后添加了如下几行: [client] default-character-set=utf8mb4 ...

2019-04-30 09:37:59

阅读数 81

评论数 0

原创 Git:Git Bash连接MySQL

我直接输入以下指令,发现卡主了,完全没有反应 $ mysql -uroot -p 输入以下指定就可以正常登陆MySQL了 $ winpty mysql -uroot -p 参考 如何在git bash中运行mysql ...

2019-04-28 22:16:45

阅读数 145

评论数 0

原创 MySQL:自动维护create_time和update_time字段

通过建表语句设置,让mysql自动维护这两个字段,那么编程的时候也能少写一部分代码 `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP `update_time` timestamp NULL DEFAULT NULL ON...

2019-04-27 13:00:20

阅读数 422

评论数 2

原创 Python爬虫:使用pyppeteer爬取动态加载的网站

pyppeteer 类似selenium,可以操作Chrome浏览器 文档:https://miyakogi.github.io/pyppeteer/index.html github: https://github.com/miyakogi/pyppeteer 安装 环境要求: python 3...

2019-04-26 18:38:38

阅读数 1094

评论数 0

原创 Python编程:sh模块执行shell命令

文档: http://amoffat.github.io/sh/index.html 安装 pip install sh 简单示例 >>> import sh >>> sh.echo("hi"...

2019-04-26 16:31:32

阅读数 706

评论数 0

原创 Python爬虫:Scrapy从脚本运行爬虫的5种方式

一、命令行运行爬虫 1、编写爬虫文件 baidu.py # -*- coding: utf-8 -*- from scrapy import Spider class BaiduSpider(Spider): name = 'baidu' start_urls = ['htt...

2019-04-25 19:53:02

阅读数 706

评论数 3

原创 Python爬虫:Scrapy优化参数设置

修改 settings.py 文件 # 增加并发 CONCURRENT_REQUESTS = 100 # 降低log级别 LOG_LEVEL = 'INFO' # 禁止cookies COOKIES_ENABLED = False # 禁止重试 RETRY_ENABLED = False ...

2019-04-25 17:59:44

阅读数 103

评论数 0

原创 Python编程:设置Python解释器不生成字节码pyc文件

字节码文件作用 Python解释器将源码转换为字节码 (.pyc文件), 然后再由解释器来执行这些字节码; 下次执行时,如果没有变化,则优先执行生成好的字节码文件 不过有时候也会不好使,明明代码更新了,执行结果还是 没有变化,心累 设置不生成字节码文件 方式一:设置环境变量(最常用的) expor...

2019-04-24 16:51:52

阅读数 134

评论数 0

原创 Linux:ls按照修改时间排序显示

命令:ls 详细解释: -l use a long listing format 以长列表方式显示(详细信息方式) -t sort by modification time 按修改时间排序(最新的在最前面) -r reverse order while sorting (...

2019-04-24 16:39:03

阅读数 470

评论数 0

原创 报错:import pandas._libs.parsers as parsers RuntimeWarning

问题 线上运行程序发现报错: import pandas._libs.parsers as parsers RuntimeWarning 解决 参考了其他类似问题,是因为numpy 版本过高,卸载后安装低版本即可 通过 pip 检查环境版本 pip list 线上环境 numpy==1.15....

2019-04-24 15:55:34

阅读数 153

评论数 0

原创 MySQL:增加删除索引

为了记忆简单,统一使用最好理解的方式创建和删除索引 (1)创建索引 # 普通索引 alter table table_name add index index_name (column_list); # UNIQUE索引 alter table table_name add unique ind...

2019-04-24 14:00:02

阅读数 33

评论数 0

原创 Python编程:使用textrank4zh、jieba、snownlp提取中文文章关键字和摘要

使用的库 1、textrank4zh https://github.com/letiantian/TextRank4ZH pip install textrank4zh==0.3 2、jieba https://github.com/fxsjy/jieba pip install jieba==...

2019-04-23 11:55:55

阅读数 903

评论数 0

原创 Python编程:Python2.7环境下的中文文件读写

测试环境 python 2.7.5 读写的文本 # -*- coding: utf-8 -*- poetry = """ 相思 唐代:王维 红豆生南国,春来发几枝。 愿君多采撷,此物最相思。 """ 1、直接读写中文(正常) # -*...

2019-04-22 16:45:51

阅读数 341

评论数 0

原创 MySQL:修改表名和字段名和类型

-- 修改表名 rename table old_table to new_table; -- 或者 alter table old_table rename as new_table; -- 修改列名称 alter table table_name change column old_n...

2019-04-22 10:42:13

阅读数 765

评论数 0

原创 Java爬虫:使用WebMagic构建最简单的爬虫项目

资料 WebMagic的架构设计参照了Scrapy 项目主页:http://webmagic.io/ github地址:https://github.com/code4craft/webmagic 项目文档:http://webmagic.io/docs/zh/ 环境配置 使用 IntelliJ...

2019-04-21 20:13:39

阅读数 79

评论数 0

原创 Python编程:获取一个类对象的属性和方法

python3.6 下测试 # -*- coding: utf-8 -*- class Demo(object): name = "demo" def instance_func(self): pass @classmethod ...

2019-04-21 18:13:51

阅读数 294

评论数 0

原创 Python编程:fabric实现SSH远程管理服务器

fabric 可以很轻松的实现 SSH链接 安装 pip install fabric 查看版本 $ fab --version Fabric 2.4.0 Paramiko 2.4.1 Invoke 1.2.0 编写任务 fabfile.py # -*- coding: utf-8 -*- ...

2019-04-18 10:44:24

阅读数 165

评论数 0

原创 Python编程:使用doctest进行文档测试

doctest模块是内置模块 应用举例 # -*- coding: utf-8 -*- def add(x, y): """ 求和 x + y Args: x: int y: int Returns:...

2019-04-17 18:31:57

阅读数 50

评论数 0

原创 Git:git pull每次都要求输入用户名和密码

git pull 每次都要求输入用户名和密码 配置 git config --global credential.helper store 查看git配置 git config --list 参考: git 为不同的项目设置不同的用户名和邮箱 ...

2019-04-17 15:39:19

阅读数 231

评论数 0

提示
确定要删除当前文章?
取消 删除