Используйте ngx_http_limit_zone_module следующим образом прописав директив limit_zone и limit_conn в конфигурационном файле nginx.conf
http {
….
limit_zone one $binary_remote_addr 1m;
limit_conn one 8;
…
}
Ограничили число подключений до 8 с одного IP-адреса и выделили под это кэш размером в 1 мб. В кеше размером 1 мегабайт может разместиться до 32000 состояний размером по 32 байта. Подробнее тут http://sysoev.ru/nginx/docs/http/ngx_http_limit_zone_module.html