nginx下禁止无用User Agent抓取网站

nginx环境是最受欢迎的WEB服务器,virmach中文网就是使用的nginx作为web服务器。

前几天查看virmach网站的日志发现,不少眼生的爬虫使劲的爬网站,搜索了下,这些爬虫根本没有,基本都是垃圾爬虫。

为了禁止垃圾User Agent爬虫抓取网站,达到节省宽带和节省资源的目的,就得想办法禁止垃圾User Agent爬虫来抓取自己的网站了,这里nginx中文网分享下NGINX下是如何实现禁止无用User Agent抓取网站的。

在/usr/local/nginx/conf/rewrite目录下新建agent_deny.conf文件【lnmp默认目录】,内容如下:

#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
return 403;
}
#禁止指定UA及UA为空的访问
if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa
Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft
URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports
Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$"
) {
return 403;
}
#禁止非GET|HEAD|POST方式的抓取
if ($request_method !~ ^(GET|HEAD|POST)$) {
return 403;
}

然后再需要使用的网站配置文件中加入如下内容:

include agent_deny.conf;

如果不知道加到哪里?那就请加到类似语句的地方,呵呵~

好了后,重启下你的nginx即可。nginx下就禁止了无用User Agent抓取网站内容了。

不会搭建web环境的老铁们可以试试可视化宝塔面板

virmach中文网一直只介绍virmach的VPS产品及独立服务器信息及优惠码,并没有介绍相关VPS的应用。

今天,就给大家介绍一个最为简单的搭建web环境方法,即使用可视化的主机管理面板,宝塔面板。

宝塔面板官网:https://www.bt.cn/

一键安装宝塔面板安装命令【Centos为例】:

yum install -y wget && wget -O install.sh http://download.bt.cn/install/install_6.0.sh && sh install.sh

其它系统自行执行宝塔面板官方的安装方式。

使用上也非常方便,直接登录管理账号,即可使用宝塔面板了。

说实话,这种可视化面板还是比命令行的LNMP面板使用简单,哈哈!

 

LNMP签发Let’s Encrypt免费SSL证书失败的解决方法

virmach中文网用的是LNMP一键安装包搭建的WEB环境。目前,用的是LNMP 1.6的稳定版本。不过,最近发现LNMP 1.6签发Let’s Encrypt老出问题。

LNMP服务器上签发Let’s Encrypt时,老出现CA服务器忙,将在1s后重试的提示,如下:

Getting domain auth token for each domain
It seems the CA server is busy now, let’s wait and retry. Sleeping 1 seconds.
It seems the CA server is busy now, let’s wait and retry. Sleeping 1 seconds.

然后就是一直这种等待状态。很明显,应该是有什么问题。virmach中文网觉得Let’s Encrypt官网不应该这么容易出问题。

于是去看看LNMP 1.6使用的是acme.sh,赶紧去看看acme.sh,发现acme.sh更新还是很频繁的,就去升级看看是否能解决。

执行如下acme.sh升级命令:

cd /usr/local/acme.sh
acme.sh --upgrade

再去使用LNMP添加SSL命令:

lnmp ssl add

输入相应的参数,发现很快就签发Let’s Encrypt证书成功,问题解决。

virmach中文网建议使用LNMP一键安装包的站长朋友,记得去升级下acme.sh,不然可能导致Let’s Encrypt证书自动签发不成功。

VirMach VPS加速之BBR四合一脚本

VirMach VPS的加速还是相当有必要,而且效果也明显,特别是基于TCP协议的加速。之前,VirMach中文网介绍过原版BBR一键安装脚本。

今天给大家介绍脚本大神cx9208写的BBR/BBR PLUS/魔改BBR/锐速四合一脚本。用户可以根据自己的喜好选择TCP加速方式。

BBR/BBR PLUS/魔改BBR/锐速四合一脚本安装要求:

适用架构:KVM / Xen,不支持OpenVZ(OVZ)。

适用系统:CentOS 7、Debian 8、Debian 9、Ubuntu 16.04、Ubuntu 18.04。

BBR/BBR PLUS/魔改BBR/锐速四合一脚本安装命令:

wget
--no-check-certificate -O tcp.sh
https://github.com/cx9208/Linux-NetSpeed/raw/master/tcp.sh &&
chmod +x tcp.sh && ./tcp.sh

根据提示进行选择安装。

特别提醒:安装好后,一定重新执行脚本./tcp.sh,进行TCP加速的启用。 继续阅读

VirMach VPS开启BBR加速

VirMach中文网的VPS一直放了一个网站在上面。但之前因为VirMach VPS是OVZ构架,所有不支持安装BBR加速。

去年,VirMach将OVZ构架的VPS免费升级为KVM构架,VirMach中文网的VPS也得到了升级。但那时懒,就没折腾了。

这次,重装CENTOS 7,上BBR加速,安装LNMP、V2RAY等等。

安装的是BBR原版,用的是秋水大佬的一键安装包。root下执行以下命令:

wget --no-check-certificate https://github.com/teddysun/across/raw/master/bbr.sh && chmod +x bbr.sh

./bbr.sh

执行后,按提示重启下系统。等一会儿重新root进入命令行,查看下BBR加速是否已经启用了。执行命令:

lsmod | grep bbr

如果看到返回值有 tcp_bbr 模块,即说明VirMach VPS  bbr加速模块已启动。搞定!!!

VirMach中文网使用自建CDN+CF加速访问

VirMach中文网一直放在国外的服务器上,因国内访问速度一般,因此一直套用了CF的加速。并且之前也开启了Cloudflare Railgun加速。

不过,最近Cloudflare被搞的比较厉害,国内经常抽风。时常PING值都能上千的情况,显然就没起到国内加速的目的。不都不说,国内网友们真会玩,呵呵~

建议这种情况,VirMach中文网为提高网友们的访问体验,就想到了自建CDN+Cloudflare结合的加速方案。正好之前花了点小钱买了一个阿里云香港的小水管VPS,就索性用这个来加速国内访问用户了。

因此,用nginx做反代,自建CDN加速virmach国内用户的访问,Cloudflare加速国外用户的访问。实现方法就是借助DNS的分区解析了。

基本思路就是这样了,大家是否能秒开virmach中文站了?嘿嘿~~~

VirMach中文网被黑记录

VirMach中文网更新比较少,毕竟VirMach的促销花样不多。不过,今年VirMach中文站的站长准备更新下,发现VirMach中文站无法打开了……

第一意识就是网站可能被黑了,FTP到网站的根目录,发现网站有2个明显的异常文件及文件夹。一个是根目录下的Test.php文件,一个是Fedx目录及下面的index.php文件。

简单的看了下,Test.php文件好像是检测服务器是否支持邮件发送功能的,另外一个index.php就不知道是干什么的?具体代码如下: 继续阅读

VirMach VPS评测 512MB内存方案

VirMach中文网放在VirMach VPS的年付9美元的VPS方案上,具体大家可以在本站首页看到,当然也可以到VirMach特价VPS查看。本来VirMach中文网应该写一个VirMach VPS评测文章的,但是看到主机百科已经写了,索性就转载过来。

特别声明:用于评测的是VirMach VPS中年付6美元的VPS主机,机房位于美国洛杉矶。

VirMach VPS信息

CPU model : Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz
Number of cores : 2
CPU frequency : 1050.064 MHz
Total amount of ram : 512 MB
Total amount of swap : 0 MB
System uptime : 10:46,
Download speed : (95.6MB/s)
I/O speed : 718MB/s

VirMach VPS硬盘读写

dd bs=64k count=4k if=/dev/zero of=test oflag=dsync
4096+0 records in
4096+0 records out
268435456 bytes (268 MB) copied, 8.66775 s, 31.0 MB/s

VirMach VPS Ping值

virmach-ping

VirMach VPS网络

Location Provider Speed
CDN Cachefly 82.9MB/s

Atlanta, GA, US Coloat 33.0MB/s
Dallas, TX, US Softlayer 60.1MB/s
Seattle, WA, US Softlayer 61.8MB/s
San Jose, CA, US Softlayer 92.5MB/s
Washington, DC, US Softlayer 32.5MB/s

Tokyo, Japan Linode 8.91MB/s
Singapore Softlayer 11.3MB/s

Rotterdam, Netherlands id3.net 4.56MB/s
Haarlem, Netherlands Leaseweb 8.69MB/s

Disk Speed
———-
I/O (1st run) : 696 MB/s
I/O (2nd run) : 719 MB/s
I/O (3rd run) : 773 MB/s
Average I/O : 729.333 MB/s

继续阅读

VirMach 8大机房测速信息大全

VirMach目前有8个机房,都是CC公司的。因此,对VirMach测速实质上就是对CC机房测速,呵呵~这里,VirMach中文网给大家分享CC的8大机房测速信息,让大家选择适合自己的VirMach机房。

virmach-ip-test

VirMach 8大机房测速信息如下:

法兰克福:50.3.75.98 http://ffm.lg.virmach.com/100MB.test

纽约:107.173.176.5  http://ny.lg.virmach.com/100MB.test

达拉斯:23.95.41.200 http://dal.lg.virmach.com/100MB.test

凤凰城:173.213.69.188 http://phx.lg.virmach.com/100MB.test

洛杉矶:23.94.228.141 http://la.lg.virmach.com/100MB.test

芝加哥:170.130.139.3 http://chi.lg.virmach.com/100MB.test

西雅图:104.140.22.36 http://sea.lg.virmach.com/100MB.test

亚特兰大:107.172.25.131 http://atl.lg.virmach.com/100MB.test

VirMach官网:点击直达