Nginx綜合實踐

今天我們將基于 Nginx 完成兩個比較有用的場景，但是用到的 Nginx 的配置非常簡單。

• 內(nèi)部 Yum 源搭建

• 內(nèi)部 Pip 源搭建

1. 實驗環(huán)境

• ceph1

  • centos 7.6
  • 內(nèi)網(wǎng)ip：172.16.0.8 公網(wǎng)ip：106.12.220.85
  • 功能：yum源地址、pip源地址

• ceph2

  • centos 7.6
  • 內(nèi)網(wǎng)ip：172.16.0.9 公網(wǎng)ip：106.12.195.156
  • 功能：模擬用戶端，訪問yum源和pip源

2. 內(nèi)部yum源搭建

熟悉 CentOS 操作系統(tǒng)的人都知道，CentOS 中默認的軟件包管理工具是 Yum ，安裝某個軟件，我們只需要輸入如下命令即可：

     $ sudo yum install 軟件包

使用 Yum 工具的好處就是，它能自動幫我們處理依賴關(guān)系，連同依賴包一起下載安裝。由于默認的是使用的國外的源，往往為了加快下載速度，我們會選擇使用國內(nèi)的 Yum 源。比較有名的有清華源、阿里源、163源等等。這些網(wǎng)站提供的軟件包都是凌晨從國外的最全的 Yum 源地址同步，然后更新索引，提供給國內(nèi)用戶免費使用。往往在生產(chǎn)環(huán)境上部署服務(wù)時，為了安全性，除了一臺虛擬機能聯(lián)通外網(wǎng)外，其余機器都處于內(nèi)網(wǎng)環(huán)境，是無法聯(lián)通外界網(wǎng)絡(luò)的，為了在這些機器上能統(tǒng)一安裝某些服務(wù)，我們還需要在內(nèi)網(wǎng)構(gòu)建自己的 Yum 源。

構(gòu)建 Yum 源的步驟非常簡單，按照如下步驟走：

• 準(zhǔn)備好yum源包

我們準(zhǔn)備好自己的rpm包，這些包可以通過下面的方式獲?。?/p>

     $ sudo yum install nginx --downloadonly --downloaddir=./

這樣會將 Yum 源對應(yīng)的 nginx包以及相關(guān)依賴下載下來，但并不安裝。我們要的就是所有這些 rpm 包。按照上面的方式，下載我們所有想要安裝軟件的 rpm 包，然后將其全部放入到目錄 yum_source 下，最后連同包和目錄壓縮成 yum_source.zip 文件。

• 上傳到某個服務(wù)器

上傳到 ceph1 的 /data 目錄(可以是任意地址)下，并解壓，又重新得到 yum_source 目錄，目錄下全是我們需要的 rpm 包，可以用目錄將這些 rpm 包分類，比如 ansible及其依賴包就放入 /data/yum_source/ansible目錄下，這樣看起來會比較清晰，而不是所有的包都混在同一個目錄下。這樣，我們的 yum 源其實就構(gòu)建好了，源地址就是 /data/yum_source。

• 構(gòu)建索引

接下來，我們使用 createrepo 這個命令來構(gòu)建 yum 源的索引。這個命令需要單獨安裝，所以首先需要找一臺能聯(lián)網(wǎng)的機器，將 createrepo 所依賴的 rpm 下載下來，然后將其放入到ceph1的 /data/yum_source/createrepo 目錄下。然后我們進入 /data/yum_source/createrepo 目錄，直接使用yum localinstall createrepo-xxx.noarch.rpm即可安裝該命令。

# 如果無權(quán)限進入，可以改下權(quán)限，或者后面得指令使用絕對路徑
$ cd /data/yum_source/createrepo/
# 根據(jù)下載的包對應(yīng)安裝
$ sudo yum localinstall createrepo-0.9.9-28.el7.noarch.rpm
# 如果沒有找到當(dāng)前目錄下的依賴，可以直接用rpm -ivh安裝這個目錄下的所有依賴包
$ sudo rpm -ivh *.rpm
# 有了createrepo命令，我們用-v參數(shù)來對yum源目錄建立索引
$ sudo createrepo -v /data/yum_source

下圖中的 repodata 就是 createrepo 命令給整個目錄生成的索引文件。

• Nginx作為靜態(tài)資源服務(wù)器

萬事俱備，只差 Nginx 作為靜態(tài)資源服務(wù)器來讓我們訪問到 yum 源中的資源。這對 Nginx 來說就是輕而易舉的事情。我們按照第6節(jié)的內(nèi)容安裝 Nginx ，修改 Nginx.conf 配置文件，內(nèi)容如下：

$ 進入nginx的配置文件目錄
$ cat nginx.conf

user  root;
# 根據(jù)探測機器cpu核數(shù)設(shè)置
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;

    server {
        listen       8089;
        server_name  localhost;

        root /data/yum_source;
        autoindex on;
        index index.html index.htm;
    }

}

最核心的地方，就是我們加了一個監(jiān)聽8089的端口配置，將8089端口過來的請求轉(zhuǎn)向 /data/yum_source 目錄下的靜態(tài)文件。我們本地訪問這個主機的8089端口，如下圖所示：

那么如何讓 ceph2 機器使用這個 yum 源呢？很簡單，只需要將 ceph2 的 /etc/yum.repos.d/ 目錄下的所有 repo 文件備份保存到其他位置，然后新建一個 repo 文件，將里面的地址指向這個 ceph1 即可。具體操作參考下面的 shell 命令：

$ mkdir /etc/yum.repos.d/bak
$ mv /etc/yum.repos.d/*.repo  /etc/yum.repos.d/bak
# 新建internal.repo文件，并寫入yum源地址
$ vim /etc/yum.repos.d/internal.repo
$ cat /etc/yum.repos.d/internal.repo
[Local-Yum]
name=internal yum
baseurl=http://172.16.0.8:8089/
enabled=1
priority=1
gpgcheck=0
gpgkey=http://172.16.0.8:8089/release.asc

注意這里我們將源名稱命名為Local-Yum，接下來我們在 ceph2 上使用 yum 命令安裝某個服務(wù)(要求 ceph1 中必須要有該軟件的 rpm 包)：

$ yum clean all  
$ yum install nginx  

從下圖中，可以看到我們的內(nèi)部源確實生效了，使用的是我們定義的內(nèi)部源 Local-Yum 。此外使用內(nèi)網(wǎng)源可以大大加快下載軟件的速度，提升工作效率。

3. 內(nèi)部pip源搭建

搭建好 yum 源之后，我們來看 pip 源的搭建過程，其實方式也是差不多。不過這里我們要使用一個開源的工具來幫我們做這件事情(類似于前面的 createrepo )，這樣會使得 pip 源的搭建非常方便。

• 下載開源工具

$ yum install git -y
# 如果機器無法聯(lián)網(wǎng)，則直接去下載最新的包，然后傳到主機上去
$ git clone https://github.com/wolever/pip2pi
$ cd pip2pi
$ python setup.py install

• 使用該工具

安裝好該工具后，有兩個非常好用的命令：

# 這樣子，會將python模塊連同依賴的模塊全部下載下來，這些文件構(gòu)成了我們pip源的一部分
$ pip2tgz /data/pip_source/ ansible -i https://pypi.tuna.tsinghua.edu.cn/simple              
$ pip2tgz /data/pip_source/ -r requirements.txt  -i https://pypi.tuna.tsinghua.edu.cn/simple

# 目前來看，好像是生成了一個simple目錄，然后有index.html
$ dir2pi  /data/pip_source/

注意：如果出現(xiàn) “TypeError: ‘module’ object is not callable” 這樣的錯誤信息，主要是pip版本太高導(dǎo)致的，需要將 pip 降級。解決方案如下：

# 卸載高版本的pip
$ python -m pip uninstall pip
# yum安裝舊版本的pip
$ yum install python-pip

就是簡簡單單的這幾個命令，pip 源文件已經(jīng)準(zhǔn)備好了。我們找臺能聯(lián)網(wǎng)的機器，部署該命令，然后下載我們想要的 python 模塊文件及其依賴。最后使用 dir2pi 給這個 pip 目錄生成索引以及 html 文件。

• 使用nginx做靜態(tài)資源服務(wù)器

最后就是將這個目錄打包并上傳到對應(yīng)的 ceph1 上去，放到 /data 目錄下，解壓得到 pip 源目錄 /data/pip_source。接下來，使用 nginx 作為靜態(tài)資源服務(wù)器，將某個端口的根路徑指向這里即可。為此，在 nginx 中在添加一個端口的配置：

# 這個和yum還不一樣，因為/data/pip_source下有生成了的index.html頁面，在simple目錄中
server {
    listen       8088;
    server_name  localhost;

    root /data/pip_source;
    autoindex on;
    autoindex_exact_size off;
    autoindex_localtime on;
    location /{

    }
}

修改 nginx 的配置后重啟，再訪問 ceph1 的8088端口，結(jié)果如下：

可以回過頭來，看看網(wǎng)上第三方 pip 源的地址，都是帶上了 simple ，比如：

• 清華源: https://pypi.tuna.tsinghua.edu.cn/simple
• 阿里源: https://mirrors.aliyun.com/pypi/simple
• 豆瓣源: http://pypi.douban.com/simple

這樣子的形式和我們搭建的 pip 源好像一致，難道她們也是用這樣的工具搭建 pip 源？

• 使用內(nèi)部pip源

使用方式和前面使用第三方 pip 源一樣，加上-i參數(shù)，指定 pip 源地址和端口，如下命令是在 ceph2 上用pip安裝 ansible 工具，使用的正是ceph1作為 pip 源。

$ pip install ansible -i http://172.16.0.8:8088/simple/ --trusted-host 172.16.0.8

從執(zhí)行結(jié)果看，我們成功使用內(nèi)部的 pip 源安裝了 ansible 工具，而且下載速度非?？?，達到了百兆每秒的速度，其下載速度瓶頸主要在于內(nèi)部的網(wǎng)絡(luò)帶寬。

4. 小結(jié)

今天我們講了 Nginx 作為靜態(tài)服務(wù)器的兩個非常典型的案例，這也是在生產(chǎn)中會經(jīng)常用到的。下兩個小結(jié)，我們將看到 Nginx 在請求轉(zhuǎn)發(fā)方面的相關(guān)應(yīng)用案例。