关于微信爬虫网上出现过很多教程，无外乎是使用搜狗或者北大某网站，以前做过一个爬虫，貌似每天也能爬个2500个左右的微信号（5代理线程，20小时左右），使用scrapy框架+收费代理实现。 最近由于搜狗的限制以及一直以来的搜狗以及微信的反爬虫限制，导致爬虫经常需要更新，因此大致想了一下，暂时考虑了以下方法. 由以前的全自动方式改为半自动方式 使用手机扫描进入微信网页版的方式，即后台使用python模拟网页登录，然后使用相应的网页端一样的api进行内容抓取。 暂时未测试关于抓取频率的问题，是否会导致账号被锁 另一途径就是根据前面所获得的用户id，微信biz以及一系列数据项，进行模拟手机端的数据抓取 此外，关于中间代理服务器的脚本功能，也 …

算是转移博客后的第一篇吧 hexo直接架设在github有几个问题： 使用国内域名之后，需要占用一个CNAME 使用域名转移之后，无法针对国内域名进行CDN操作 稍微有点慢，毕竟服务器在国外 针对以上问题，有一个解决办法就是： 把站点架设在国内VPS上（占用小微VPS的资源。。。这也是没办法的事情） 设置CDN

以下是参考例子，使用latex在页面中生成公式，非常不错，需要在wordpress中安装Latex插件 \begin{equation} \label{eq:poly} P_{N-1}(x)=\sum_{j=0}^{N-1}{a_jx^j} \end{equation} \begin{equation} \label{eq:sys} \left{ P_{N-1}(x_k) = f_k\right},\quad k=-\frac{N-1}{2},\dots,\frac{N-1}{2} \end{equation} \begin{equation} q \in R \end{equation} \begin{equation} …

在/etc/udev/rules.d/ 下添加10_usbkey.rules 内容如下： KERNEL=="sd[e-z][0-9]", SUBSYSTEM=="block", RUN+="/opt/usb/mountusb.sh %k" `</pre> 添加/opt/usb/mountusb.sh， 内容如下 <pre>`#!/bin/bash LOG=/var/log/usb-hotplug.log lap=$(date --rfc-3339=ns) echo "$lap: $DEVPATH requesting …

方法如下： 1.拷贝/usr/lib64/python2.7/site-packages/scrapy/templates 目录到你的个人目录，比如~/template 2.修改~/templates/project目录模板文件，注意，Spider不能修改，只能通过scrapy genspider生成 3.修改~/templates/spiders 爬虫模板文件 使用如下命令生成项目以及初始爬虫 scrapy startproject projectname -s TEMPLATES_DIR=~/templates scrapy genspider crawlername initdomain -s …

一般情况下，我们使用route即可获得当前默认网关的信息， 但对于多个DHCP网卡而言，无法通过route命令获得非默认路由网卡信息，此时我们需要使用以下方法处理： 查看 /proc/net/arp 文件，通过cat输出，通过sed等方法获取相应dhcp网卡的网关信息。

采用上海交通出行网接口，具体信息如下： URL如下： 其中a_k如何取得不明。有待测试 地图 http://sis.jtcx.sh.cn/sisserver?config=WMAP& cenX=121.49848937988281&cenY=31.22333365856142& content=map&width=411&height=400& a_k=7251934c22809062229b12a6d94f26fc6680f1f91572543df145232575be06e920c44e7990ccb51d& …

环境如下： Debian 8 X64 Oracle JDK 8 Scala使用debian apt-get 安装，版本 2.9.2 Scala启动后出现 scala> [init] error: error while loading AnnotatedElement, class file '/usr/lib/jvm/jdk-8-oracle-x64/jre/lib/rt.jar(java/lang/reflect/AnnotatedElement.class)' is broken 修复步骤： 卸载Scala 下载http://www.scala-lang.org/下的debian对应版本(>2.10) deb文件 …

主要步骤如下： 本次试用virtualbox安装，因此涉及virtualbox的一些组件安装 1.使用debian 8 X64 network install 版本安装系统 2.安装dwm 以及相关的XORG组件 3.安装java-package,下载JDK，执行make-jpkg XXX.tar.gz，安装之 4.安装IPython，默认python已经安装 5.安装spyder （PythonIDE） 6.安装Spyder 7.下载解压spark （hadoop2.6包含）版本 8.修改.bashrc 内容如下 #export SPARK export …

1.使用SSH登录ESXi 6 2.修改/etc/vmware/rhttpproxy/config.xml文件 3.增加内容<cipherList>ALL</cipherList> (如下) <vmacore> ... <ssl> <doVersionCheck> false </doVersionCheck> <useCompression>true</useCompression> <libraryPath>/lib/</libraryPath> …