2013/07 归档 - 沧海一粟 - Web系统架构与服务器运维,php开发

用iptables的raw表解决ip_conntrack: table full, dropping packet的问题

jed , 2013-7-19 05:47 , 服务器技术 , 评论(0) , 阅读(253182) , Via 本站原创

1) 什么是raw表？做什么用的？

iptables有5个链:PREROUTING,INPUT,FORWARD,OUTPUT,POSTROUTING,4个表:filter,nat,mangle,raw.

4个表的优先级由高到低的顺序为:raw-->mangle-->nat-->filter

举例来说:如果PRROUTING链上,即有mangle表,也有nat表,那么先由mangle处理,然后由nat表处理

RAW表只使用在PREROUTING链和OUTPUT链上,因为优先级最高，从而可以对收到的数据包在连接跟踪前进行处理。一但用户使用了RAW表,在某个链上,RAW表处理完后,将跳过NAT表和 ip_conntrack处理,即不再做地址转换和数据包的链接跟踪处理了.

阅读全文

Tags: iptables , ip_conntrack

让 Nginx 支持 WAF 防护功能web防火墙

jed , 2013-7-15 14:19 , 服务器技术 , 评论(0) , 阅读(210480) , Via 本站原创

ngx_lua_waf 安装说明文档

作者github地址:
https://github.com/loveshell/ngx_lua_waf

ngx_lua_waf是我一个基于ngx_lua的web应用防火墙。
代码很简单，开发初衷主要是使用简单，高性能和轻量级。
现在开源出来.其中包含我们的过滤规则。如果大家有什么建议和想fa，欢迎和我一起完善。

用途：
用于过滤post，get，cookie方式常见的web攻击
防止sql注入，本地包含，部分溢出，fuzzing测试，xss,SSRF等web攻击
防止svn/备份之类文件泄漏
防止ApacheBench之类压力测试工具的攻击
屏蔽常见的扫描黑客工具，扫描器[separator]
屏蔽异常的网络请求
屏蔽图片附件类目录php执行权限
防止webshell上传

正文:
1 下载luajit 2.0并安装
http://luajit.org/download.html
直接使用源码make && make install
所以lib和include是直接放在/usr/local/lib和usr/local/include

wget http://luajit.org/download/LuaJIT-2.0.3.tar.gz
tar -zxvf LuaJIT-2.0.3.tar.gz
cd LuaJIT-2.0.3
make
make install
cd ../

2 下载nginx源码解压
wget http://nginx.org/download/nginx-1.7.6.tar.gz
注意版本号，如果机子上已经装了nginx，不想升级的话，请使用/usr/local/nginx/sbin/nginx -v 来查看版本号tar -zxvf nginx-1.2.7.tar.gz

wget http://nginx.org/download/nginx-1.7.6.tar.gz

3 下载ngx_devel_kit解压
https://github.com/simpl/ngx_devel_kit/tags

wget https://github.com/simpl/ngx_devel_kit/archive/v0.2.19.tar.gz --no-check-certificate
tar -zxvf v0.2.19

4 下载nginx_lua_module解压
https://github.com/chaoslawful/lua-nginx-module/tags

wget https://github.com/openresty/lua-nginx-module/archive/v0.9.13rc1.tar.gz --no-check-certificate
tar -zxvf v0.9.13rc1

5 进入nginx源码文件夹

tar -zxvf nginx-1.7.6.tar.gz
cd nginx-1.7.6

6 导入环境变量，编译

export LUAJIT_LIB=/usr/local/lib
export LUAJIT_INC=/usr/local/include/luajit-2.0
./configure --user=www --group=www --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --add-module=/root/soft/ngx_devel_kit-0.2.19 --add-module=/root/soft/lua-nginx-module-0.9.13rc1 --with-ld-opt="-Wl,-rpath,$LUAJIT_LIB"
make -j2
make install

7 请提前新建/data/logs/hack/目录攻击日志，并赋予nginx用户对该目录的写入权限。
www账户是跑nginx和php-fpm

mkdir -p /data/logs/hack/
chown -R www:www /data/logs/hack/
chmod -R 755 /data/logs/hack/

8 安装ngx_lua_waf模块

wget https://github.com/loveshell/ngx_lua_waf/archive/master.zip --no-check-certificate
unzip master
cd ngx_lua_waf-master/
mkdir /usr/local/nginx/conf/waf
mv * /usr/local/nginx/conf/waf/

然后在nginx.conf里的http配置里添加

lua_package_path "/usr/local/nginx/conf/waf/?.lua";
lua_shared_dict limit 10m;
init_by_lua_file /usr/local/nginx/conf/waf/init.lua;
access_by_lua_file /usr/local/nginx/conf/waf/waf.lua;

配置config.lua里的waf规则目录(一般在waf/conf/目录下)

RulePath = "/usr/local/nginx/conf/waf/wafconf/"

绝对路径如有变动，需对应修改
注意:waf.lua一定要放在/usr/local/nginx-help/conf/waf.lua 已经他的子目录.否则会报500错误.

/usr/local/nginx/sbin/nginx -t

ps -ef | grep "nginx: master process" | grep -v "grep" | awk -F ' ' '{print $2}'

9 过滤配置说明:
过滤规则在wafconf下，可根据需求自行调整，每条规则需换行,或者用|分割
    global是全局过滤文件，里面的规则对post和get都过滤
    get是只在get请求过滤的规则
    post是只在post请求过滤的规则
    whitelist是白名单，里面的url匹配到不做过滤
    user-agent是对user-agent的过滤规则

为了不返回一些无用给用户直接把注入测试防护返回信息改为http 403状态,修改/usr/local/nginx-help/conf/init.lua

  function check()
      ngx.header.content_type = "text/html"
      --ngx.print("403")
      ngx.exit(403)
  end

注意:每次更改waf.lua代码需要把nginx reload一下!

Tags: nginx , 防火墙

nginx模块LuaJIT编译安装问题解决

jed , 2013-7-15 14:06 , 服务器技术 , 评论(0) , 阅读(194946) , Via 本站原创

环境：
nginx-1.2.7.tar.gz
LuaJIT-2.0.1.tar.gz

按照正常流程对LuaJIT-2.0.1.tar.gz编译，make;make install
编译nginx
        export LUAJIT_LIB=/usr/local/lib
        export LUAJIT_INC=/usr/local/include/luajit-2.0
  ./configure --prefix=/usr/local/nginx --add-module=exp/lua-nginx-module/   其他模块参数略

此时会报告错误
checking for LuaJIT library in /usr/local/lib and /usr/local/include/luajit-2.0 (specified by the LUAJIT_LIB and LUAJIT_INC env) ... not found
        ./configure: error: the ngx_lua addon requires the lua or luajit library and LUAJIT_LIB is defined as /usr/local/lib and LUAJIT_INC /usr/local/include/luajit-2.0, but we cannot find LuaJIT there.

但是查看相应目录及文件都存在，对错误细节内容追踪，在 objs/autoconf.err 中包含

>> ----------------------------------------
>>   checking for LuaJIT library in /usr/local/lib and
>> /usr/local/include/luajit-2.0 (specified by the LUAJIT_LIB and LUAJIT_INC
>> env)
>>
>>   /usr/local/lib/libluajit-5.1.a(lj_clib.o): In function `lj_clib_unload':
>>   lj_clib.c:(.text+0x9d): undefined reference to `dlclose'
>>   /usr/local/lib/libluajit-5.1.a(lj_clib.o): In function `clib_error_':
>>   lj_clib.c:(.text+0xb5): undefined reference to `dlerror'
>>   /usr/local/lib/libluajit-5.1.a(lj_clib.o): In function `lj_clib_load':
>>   lj_clib.c:(.text+0x1bf): undefined reference to `dlopen'
>>   lj_clib.c:(.text+0x214): undefined reference to `dlerror'
>>   lj_clib.c:(.text+0x2ec): undefined reference to `dlopen'
>>   lj_clib.c:(.text+0x2fd): undefined reference to `dlerror'
>>   /usr/local/lib/libluajit-5.1.a(lj_clib.o): In function `lj_clib_index':
>>   lj_clib.c:(.text+0x47e): undefined reference to `dlsym'
>>   collect2: ld 返回 1

通过该提示，可以在 configure 后追加 --with-ld-opt=-ldl 解决编译问题，并能顺利通过，但是不建议自己指定-ldl选项，因为会导致其他问题。
那能否不指定这个选择，顺利完成编译呢？
通过对LuaJIT编译过程分析，发现LuaJIT在编译中未找到ldconfig，分析为此原因导致
编辑 Makefile文件，找到ldconfig位置（75行）
原内容是：LDCONFIG= ldconfig -n
修改为：LDCONFIG= /sbin/ldconfig -n

然后对LuaJIT重新make install

此时再编译nginx，一切顺利