扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
博文大纲：
一、Varnish概述
1.Varnish简介
2.Varnish和squid的区别
3.Varnish的工作原理
4.Varnish架构
5.Varnish配置
6.VCL中内置预设变量
7.VCL的子程序
8.特定功能语句
9.return语句
10.Varnish请求处理的步骤
11.Varnish的优雅模式
二、安装Varnish
1.客户端访问测试缓存
2.服务端测试清除缓存
3.配置http服务器的访问获取客户端的IP地址创新互联建站是一家集网站建设、成都做网站、网站页面设计、网站优化SEO优化为一体的专业网站建设公司，已为成都等多地近百家企业提供网站建设服务。追求良好的浏览体验,以探求精品塑造与理念升华,设计最适合用户的网站页面。 合作只是第一步，服务才是根本,我们始终坚持讲诚信，负责任的原则，为您进行细心、贴心、认真的服务,与众多客户在蓬勃发展的市场环境中,互促共生。
Varnish是一款高性能且开源的反向代理服务器和HTTP加速器，其采用全新的软件体系机构，和现在的硬件体系紧密配合。与传统的squid相比，Varnish具有高性能、速度快、管理更加方便等优点，目前很多大型的网站都开始尝试使用Varnish来代替squid，这便是Varnish迅速发展的最根本的原因。
Varnish的主要特征：
相同点：
Varnish的优势：
Varnish的缺陷：
Varnish缺陷的解决方案：
当Varnish服务器收到客户端的请求时，选检查缓存中是否有数据，如果有，则直接响应客户端；如果没有则向后端服务器请求相应的资源，缓存到Varnish服务器本地，再响应客户端；
根据规则和请求页面的类型选择数据是否需要进行缓存，可以根据请求头中Cache-Contorl判断是否缓存，以及cookis是否有标记，这些功能都可以通过编写配置文件的方式来实现。
Varnish分为management进程和child进程：
child进程生成的常见线程有：
- accept线程：接收新的连接请求并响应；
- worker线程：会话，处理请求资源；
- expiry线程：清除缓存中过期的内容；
Varnish主要配置部分：
- 后端配置：给Varnish添加反向代理服务器节点，最少配置一个；
- ACL配置：给Varnish添加访问控制列表，可以指定这些列表访问或禁止访问；
- probes配置：给Varnish添加探测后端服务器是否正常的规则，方便切换或禁止对应后端服务器；
- directors配置：给Varnish添加负载均衡模式管理多个后端服务器；
- 核心子程序配置：给Varnish添加后端服务器切换，请求缓存、访问控制、错误处理等规则；
如图：
客户端基本信息：
服务端基本信息：
客户端请求（req） ：
varnish请求后端服务器（bereq）：
后端服务器向varnish（beresq）：
高速缓存对象（obj）：
返回给客户端的响应对象（resp）：
return 语句是终止子程序并返回动作，所有动作都根据不同的 vcl 子程序限定来选用的。
语法：return （action）；
常用的选项：
- abandon：放弃处理，并生成一个错误；
- deliver：交付处理；
- fetch：从后端取出响应对象；
- hash：哈希缓存处理；
- lookup：查找缓存；
- ok：继续执行；
- pass：进入 pass 非缓存模式；
- pipe：进入 pipe 非缓存模式；
- purge：清除缓存对象，构建响应；
- restart：重新开始retry 重试后端处理；
- synth(status code,reason)：合成返回客户端状态；
如图：
VCL处理过程大致分为如下几个步骤:
(1)Receive 状态,也就是请求处理的入口状态,根据 VCL 规则判断该请求应该是 Pass 或Pipe,或者进入 Lookup(本地查询)；
(2)Lookup 状态,进入此状态后,会在 hash 表中查找数据,若找到,则进入 Hit 状态,否则进入 miss 状态；
(3)Pass 状态,在此状态下,会进入后端请求,即进入 fetch 状态；
(4)Fetch 状态,在 Fetch 状态下,对请求进行后端的获取,发送请求,获得数据,并进行本地存储；
(5)Deliver 状态, 将获取到的数据发送给客户端,然后完成本次请求；
当几个客户端请求同一个页面的时候，varnish 只发送一个请求到后端服务器，然后让其他几个请求挂起并等待返回结果；获得结果后，其它请求再复制后端的结果发送给客户端；但如果同时有数以千计的请求，那么这个等待队列将变得庞大，这将导致 2 类潜在问题：惊群问题(thundering herd problem)，即突然释放大量的线程去复制后端返回的结果，将导致负载急速上升；没有用户喜欢等待；
故为了解决这类问题，可以配置 varnish 在缓存对象因超时失效后再保留一段时间，以给那些等待的请求返回过去的文件内容(stale content)，配置案例如下：
sub vcl_recv {
if (! req.backend.healthy) { #判断后端服务器的健康状态
set req.grace = 5m; #如果后端服务器不健康，客户端额外缓存15分钟
}else {
set req.grace = 15s; } #正常额外缓存时间15秒
}
sub vcl_fetch {
set beresp.grace = 30m; #定义缓存过期后额外缓存时间30分钟
}获取Varnish软件包
[root@localhost ~]# yum -y install autoconf automake libedit-devel libtool ncurses-devel pcre-devel pkgconfig python-docutils python-sphinx
//安装Varnish所需依赖
[root@localhost ~]# tar zxf varnish-4.0.3.tar.gz -C /usr/src
[root@localhost ~]# cd /usr/src/varnish-4.0.3/
[root@localhost varnish-4.0.3]# ./configure && make && make install //编译安装Varnish
[root@localhost ~]# cp /usr/src/varnish-4.0.3/etc/example.vcl /usr/local/var/varnish/
//复制Varnish主配置文件
[root@localhost ~]# vim /usr/local/var/varnish/example.vcl //编译Varnish主配置文件
#
# This is an example VCL file for Varnish.
#
# It does not do anything by default, delegating control to the
# builtin VCL. The builtin VCL is called when there is no explicit
# return statement.
#
# See the VCL chapters in the Users Guide at https://www.varnish-cache.org/docs/
# and http://varnish-cache.org/trac/wiki/VCLExamples for more examples.
# Marker to tell the VCL compiler that this VCL has been adapted to the
# new 4.0 format.
vcl 4.0;
import directors;
import std;
# Default backend definition. Set this to point to your content server.
probe backend_healthcheck {
.url="/"; #访问后端服务器根路径
.interval = 5s; #请求时间间隔
.timeout = 1s; #请求超时时间
.window = 5; #指定轮询次数5次
.threshold = 3; #如果出现3次失败则表示后端服务器异常
}
backend web1 { #定义后端服务器
.host = "192.168.1.7"; #要转向主机（即后端主机）的 IP 或域名
.port = "80"; #指定后端服务器的端口号
.probe = backend_healthcheck; #健康检查调用backend_healthcheck定义的内容
}
backend web2 {
.host = "192.168.1.8";
.port = "80";
.probe = backend_healthcheck;
}
acl purgers { #定义访问控制列表
"127.0.0.1";
"localhost";
"192.168.1.0/24";
!"192.168.1.8";
}
sub vcl_init { #调用 vcl_init 初始化子程序创建后端主机组，即 directors
new web_cluster=directors.round_robin(); #使用 new 关键字创建 drector 对象,使用 round_robin(轮询) 算法
web_cluster.add_backend(web1); #添加后端服务器节点
web_cluster.add_backend(web2);
}
sub vcl_recv {
set req.backend_hint = web_cluster.backend(); #指定请求的后端节点web_cluster定义的后端节点
if (req.method == "PURGE") { #判断客户端的请求头部是否是PURGE
if (!client.ip ~ purgers) { #如果是，再判断客户端的IP地址是不是在ACL访问控制列表中.
return (synth(405, "Not Allowed.")); #如果不是，返回给客户端405状态码并且返回定义的页面.
}
return (purge); #如果是ACL定义的，则交给purge处理.
}
if (req.method != "GET" &&
req.method != "HEAD" &&
req.method != "PUT" &&
req.method != "POST" &&
req.method != "TRACE" &&
req.method != "OPTIONS" &&
req.method != "PATCH" &&
req.method != "DELETE") { #判断客户端的请求类型
return (pipe);
}
if (req.method != "GET" && req.method != "HEAD") {
return (pass); #如果不是GET及HEAD则交给pass.
}
if (req.url ~ "\.(php|asp|aspx|jsp|do|ashx|shtml)($|\?)") {
return (pass); #当客户端访问的是.php等结尾的交给pass处理.
}
if (req.http.Accept-Encoding) {
if (req.url ~ "\.(bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)$") {
unset req.http.Accept-Encoding; #取消客户端接收的压缩类型
} elseif (req.http.Accept-Encoding ~ "gzip") {
set req.http.Accept-Encoding = "gzip"; #如果有gzip类型，标记gzip类型.
} elseif (req.http.Accept-Encoding ~ "deflate") {
set req.http.Accept-Encoding = "deflate";
} else {
unset req.http.Accept-Encoding; #其他未定义的页面也取消客户但接收的压缩类型.
}
}
if (req.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico|gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
unset req.http.cookie; #取消客户端的cookie值.
return (hash); #将请求转发给hash子程序，也就是查看本地缓存.
}
if (req.restarts == 0) { #判断客户端是不是第一次请求
if (req.http.X-Forwarded-For) { #如果是第一次请求，设置获取客户端的IP地址.
set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
return (hash);
}
sub vcl_hash {
hash_data(req.url); #查看客户端请求的页面，并且进行hash
if (req.http.host) {
hash_data(req.http.host); #设置客户端的主机
} else {
hash_data(server.ip); #设置服务器的IP
}
return (lookup);
}
sub vcl_hit {
if (req.method == "PURGE") { #如果是HIT并且当客户端请求的类型是PURGE返回的200的状态码，并返回相应页面.
return (synth(200, "Purged."));
}
return (deliver);
}
sub vcl_miss {
if (req.method == "PURGE") {
return (synth(404, "Purged.")); #如果是miss返回404
}
return (fetch);
}
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.CXK = "HIT-from-varnish"; #设置http头部X-Cache =hit
set resp.http.X-Cache-Hits = obj.hits; #返回命令的次数
} else {
set resp.http.X-Cache = "MISS";
}
unset resp.http.X-Powered-By; #取消显示web版本
unset resp.http.Server; #取消显示varnish服务
unset resp.http.X-Drupal-Cache; #取消显示缓存的框架
unset resp.http.Via; #取消显示文件内容来源
unset resp.http.Link; #取消显示HTML的超链接地址
unset resp.http.X-Varnish; #取消显示varnish的id
set resp.http.xx_restarts_count = req.restarts; #设置客户端请求的次数
set resp.http.xx_Age = resp.http.Age; #显示缓存文件的时长
#set resp.http.hit_count = obj.hits; #显示缓存命中的次数
#unset resp.http.Age;
return (deliver);
}
sub vcl_pass {
return (fetch); #将后端服务器返回的数据缓存到本地
}
sub vcl_backend_response {
set beresp.grace = 5m; #缓存额外宽限时间
if (beresp.status == 499 || beresp.status == 404 || beresp.status == 502) {
set beresp.uncacheable = true; #当后端服务器相应状态码是449等，不缓存
}
if (bereq.url ~ "\.(php|jsp)(\?|$)") {
set beresp.uncacheable = true; #当是PHP的页面不缓存
} else {
if (bereq.url ~ "\.(css|js|html|htm|bmp|png|gif|jpg|jpeg|ico)($|\?)") {
set beresp.ttl = 15m; #当是上面结尾的，缓存15分钟
unset beresp.http.Set-Cookie;
} elseif (bereq.url ~ "\.(gz|tgz|bz2|tbz|zip|rar|mp3|mp4|ogg|swf|flv)($|\?)") {
set beresp.ttl = 30m; #缓存30分钟
unset beresp.http.Set-Cookie;
} else {
set beresp.ttl = 10m; #生存时间10分钟
unset beresp.http.Set-Cookie;
}
}
return (deliver);
}
sub vcl_purge {
return (synth(200,"success"));
}
sub vcl_backend_error {
if (beresp.status == 500 ||
beresp.status == 501 ||
beresp.status == 502 ||
beresp.status == 503 ||
beresp.status == 504) {
return (retry); #如果状态码是上述其中之一，则重新请求
}
}
sub vcl_fini {
return (ok);
}
[root@localhost ~]# varnishd -f /usr/local/var/varnish/example.vcl -s malloc,200M -a 0.0.0.0:80
//启动varnish服务
//-f指定配置文件存放位置；-s指定启动时使用的内存大小；-a指定监听的地址与端口
[root@localhost ~]# netstat -anpt | grep 80
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 10508/varnishd
//确定80端口已经在监听自行搭建两台http服务器（访问页面建议不要一样）！
首次访问：
按F5刷新后的结果：
注意：测试时清除缓存！
web服务器（192.168.1.7）
[root@localhost ~]# curl -X "PURGE" 192.168.1.6
//指定192.168.1.6的缓存服务器，清除缓存测试访问如下：
web服务器（192.168.1.8）
[root@localhost ~]# curl -X "PURGE" 192.168.1.6
//指定192.168.1.6的缓存服务器，清除缓存测试访问如下：
测试完成！
如果不配置的情况下，http服务器只会记录Varnish服务器的IP地址，上面Varnish配置文件中已经配置完成。那么httpd的配置如下：
[root@localhost ~]# vim /etc/httpd/conf/httpd.conf //修改http主配置文件
196 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
197 LogFormat "%h %l %u %t \"%r\" %>s %b" common
//添加以下内容，使http服务可以截取到客户端的IP地址
198 LogFormat "%{X-Forwarded-For}i %h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User- Agent}i\"" combined
//X-Forwarded-For参数已经在Varnish配置文件中定义
[root@localhost ~]# systemctl restart httpd //重新启动http服务两台http服务器都需配置（防止时间过长切换到另一台服务器）。
注意：测试时清除缓存！
客户端依然访问Varnish服务器，http访问日志如下：
测试完成！！！
——————————————本文到此为止，感谢观看————————————
另外有需要云服务器可以了解下创新互联cdcxhl.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
微信二维码
移动版官网