2018年12月_彭世瑜的博客-CSDN博客

原创 Flask的钩子函数与peewee.InterfaceError: (0, '')

问题使用flask搭了一个服务，用到了peewee模块，运行时间长了就报错 peewee.InterfaceError: (0, '') 百度上一搜，发现有自己的文章 peewee: OperationalError: (2006, ‘MySQL server has go...

2018-12-28 22:56:07 886 0

原创 Nginx的基本操作

基本操作 1、启动 $ nginx -c nginx.config -c 参数指定了要加载的nginx配置文件路径 2、检查配置文件 nginx -t 或者 nginx -t -c conf/nginx.conf 3、平滑重启 nginx -s reload 4、关闭 nginx -s...

2018-12-28 22:39:45 270 0

原创 peewee.ImproperlyConfigured: MySQL driver not installed!

在新的环境做部署的项目中使用了peewee，运行后报错 peewee.ImproperlyConfigured: MySQL driver not installed! peewee自己竟然不去安装驱动，那就自己安装解决 pip install pymysql 参考: https://gi...

2018-12-28 18:50:56 5485 0

原创 Linux环境下安装Python3

1、下载 Python3代码包 https://www.python.org/downloads/release/python-365/ wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz 2、解压安装，指定安装路径 t...

2018-12-27 20:28:03 278 0

原创 Python编程：pypdf2和pdfplumber获取pdf文件的页数

pypdf2 安装 pip install pypdf2 代码实例 from PyPDF2 import PdfFileReader filename = "test.pdf" reader = PdfFileReader(filename) # 不解密可...

2018-12-26 22:10:48 4958 0

原创 Python编程：flask_restful模块提供api接口

文档：https://flask-restful.readthedocs.io/en/latest/quickstart.html 安装 pip install flask-restful 代码示例 from flask import Flask from flask_restful impor...

2018-12-23 17:09:49 697 0

原创 Python编程：flask-cors模块解决Flask跨域请求Cross-Origin问题

flask-cors模块解决Flask跨域请求Cross-Origin问题安装 pip install flask-cors 代码示例 from flask import Flask, jsonify from flask_cors import CORS app = Flask(__nam...

2018-12-22 23:03:59 7222 0

原创 Python编程：cv2模块对图像处理的基本操作

安装 pip install opencv-python CV2实践所用到的图片 bug.png 1、简单读写 import cv2 # 读入图像 img = cv2.imread("source/bug.png") # 显示图像 cv2.imshow("bu...

2018-12-21 21:31:30 5278 1

原创 Python编程：使用unittest模块进行单元测试

单元测试用例代码实例 # -*- coding: utf-8 -*- # @Date : 2018-12-21 # @Author : Peng Shiyu import unittest # 继承unittest.TestCase class MyTest(unittest.Te...

2018-12-21 10:15:25 128 0

原创 Python编程：Python2编码问题与pymysql查询结果乱码解决

Python2编码一直是个让人头疼的问题，能够让一个充满激情的新手，从刚安装完python解释器到放弃。我就曾经放弃过，后来又拿了起来，真是一波多折。 so，如果可能就尽量使用Python3吧下面我就python2通过pymysql处理查询结果为例说明要查询的数据表(包含中文) mysql&...

2018-12-20 17:30:45 843 2

原创 Python编程：Django自定义模板标签

在APPchart 中新建一个文件夹，和两个文件，结构如下： templatetags/ __init__.py mytags.py mytags.py文件中自定义函数 from django import template register = template.Library() @...

2018-12-19 23:13:11 262 0

原创 Python编程：利用ImageMagick转换PDF为图片并识别提取图表

思路是这样的： pdf -&amp;amp;amp;amp;amp;amp;gt; image -&amp;amp;amp;amp;amp;amp;gt; 识别其中的图表 -&amp;amp;amp;amp;amp;amp;gt; 通过PIL截取图片...

2018-12-18 19:06:07 3597 0

原创 Python编程：通过百度文字识别提取表格数据

百度文字识别文档： https://ai.baidu.com/docs#/OCR-Python-SDK/top 安装sdk pip install baidu-aip 先创建应用，得到appid 要识别的表格图片：代码示例 from aip import AipOcr "&quo...

2018-12-18 10:26:19 3714 0

原创 python编程：tabula、pdfplumber、camelot进行表格数据识别

本文就目前python图表识别的库进行测试 1、tabula 2、pdfplumber 3、camelot 准备数据 excel：names.xlsx，两个表格表格1：所有字段都被线条包围表格2：最外层没有线条包围将excel另存为pdf：names.pdf 1、tabula githu...

2018-12-17 21:42:49 5282 4

原创 PDF文件结构

pdf（Portable Document Format的简称，意为“便携式文档格式”），是由Adobe Systems用于与应用程序、操作系统、硬件无关的方式进行文件交换所发展出的文件格式 PDF文件结构主要可以分为四个部分： 1、首部 %PDF-1.4 PDF文件格式版本号 2、文件体 3...

2018-12-17 14:03:38 2835 0

原创 HBase数据库的基本操作增删改查

# 进入hbase命令行,hbase需要在环境变量路径中 >hbase shell 表操作 # 显示hbase中的表 > list # 创建user表，包含info、data两个列族 > create 'user', '...

2018-12-14 17:53:39 931 0

原创 2>&1 &：后台运行将日志中的标准错误2重定向到标准输出1中

bash中 2>&1 & 的解释 1、bash中0，1，2三个数字分别代表： 0 STDIN_FILENO 标准输入（一般是键盘） 1 STDOUT_FILENO 标准输出（一般是用户终端控制台） 2 STDERR_FILENO 标准错误（出错信息输...

2018-12-13 13:50:42 1164 0

原创 Python编程：定时任务apscheduler框架

APScheduler : Advanced Python Scheduler 本文只做简单总结，具体示例参考文章底部链接体系结构 schedulers（调度器） - BlockingScheduler : 主线程中运行，阻塞线程 - BackgroundScheduler : ...

2018-12-13 13:02:37 518 0

原创 Django和Flask获取访问来源referrer

Flask request.referrer Django request.META['HTTP_REFERER'] 参考 http://docs.jinkan.org/docs/flask/reqcontext.html?highlight=referrer http:...

2018-12-12 21:18:40 2720 0

原创 django时间格式化

数据库存的时间： 2018-10-19 18:08:42 前端显示为： Oct. 19, 2018, 6:08 p.m. 需要使用时间格式（与python中的年月日，时分秒略有不同）： <th>{{ create_time | date:"Y-m-d H:...

2018-12-12 20:24:55 2899 2

原创 peewee.OperationalError: too many SQL variables

使用peewee+sqlite批量插入数据报错 peewee.OperationalError: too many SQL variables sqlite 每次插入有数量限制，不能插入太多，资料显示999，不过我设置为500就报错了 peewee提供了一个方式，分次插入，两种方式等价 from...

2018-12-10 11:02:08 1310 0

原创 Jinja2循环计数内置变量

变量内容 loop.index 循环迭代计数（从1开始） loop.index0 循环迭代计数（从0开始） loop.revindex 循环迭代倒序计数（从len开始，到1结束） loop.revindex0 循环迭代倒序计数（从len－1开始，到0结束） loo...

2018-12-09 15:29:01 4066 0

原创 Python编程：fnmatch匹配文件名

fnmatch提供了一种类似 Unix shell-style 风格的文件名匹配方式匹配模式 * 匹配任何字符 ? 匹配一个字符 [seq] 匹配在集合seq 中的任意字符 [!seq] 匹配不在集合seq 中的任意字符代码示例 import fnmatch filenames = [ ...

2018-12-09 14:44:29 2175 0

原创 Scrapy可视化管理管理工具总结

2018-12-09 12:46:18 5758 5

原创通过sqoop将mysql数据导入到hive中进行计算示例

hive计算示例先将数据通过sqoop从mysql导入hive，在hive执行mysql的查询语句，得到与mysql一样的执行结果步骤： mysql数据准备 account账号表 detail收支数据表 CREATE TABLE `account` ( `id` int(11) P...

2018-12-05 23:44:42 178 0

原创 Python编程：使用money对货币进行计算

money模块对货币进行简单的包装，实现简单的货币计算安装 pip install money 代码示例 from money import Money m1 = Money("2.0", "RMB") print(m1) # RMB 2.00 pr...

2018-12-05 10:45:15 994 0

原创 Python编程：使用decimal定点数计算0.1+0.2

浮点型加法 0.1+0.2 Out[15]: 0.30000000000000004 decimal定点数加法 import decimal decimal.Decimal(0.1) + decimal.Decimal(0.2) Out[17]: Decimal('0.3000000...

2018-12-05 10:32:32 1351 1

原创设置linux断开时长

修改文件 vim /etc/ssh/sshd_config # ClientAliveInterval 0 # ClientAliveCountMax 3 ClientAliveInterval 60 ClientAliveCountMax 3 解释： ClientAliveInterval...

2018-12-04 23:37:02 332 0

原创 Can't connect to local MySQL server through socket '/tmp/mysql.sock'

跟着linux安装MySQL教程做的时候，执行到 ./bin/mysqladmin -u root password 123456 mysql报错错误：'Can't connect to local MySQL server through socket '/tm...

2018-12-02 16:20:03 8107 0