這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)PaddlePaddle動態(tài)圖是怎么實現(xiàn)Resnet，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

宜春ssl適用于網(wǎng)站、小程序/APP、API接口等需要進行數(shù)據(jù)傳輸應(yīng)用場景，ssl證書未來市場廣闊！成為成都創(chuàng)新互聯(lián)公司的ssl證書銷售渠道，可以享受市場價格4-6折優(yōu)惠！如果有意向歡迎電話聯(lián)系或者加微信：028-86922220（備注：SSL證書合作）期待與您的合作！

數(shù)據(jù)集：

查看數(shù)據(jù)集圖片 iChallenge-PM中既有病理性近視患者的眼底圖片，也有非病理性近視患者的圖片，命名規(guī)則如下：

病理性近視（PM）：文件名以P開頭

非病理性近視（non-PM）：

高度近似（high myopia）：文件名以H開頭

正常眼睛（normal）：文件名以N開頭

我們將病理性患者的圖片作為正樣本，標簽為1； 非病理性患者的圖片作為負樣本，標簽為0。從數(shù)據(jù)集中選取兩張圖片，通過LeNet提取特征，構(gòu)建分類器，對正負樣本進行分類，并將圖片顯示出來。

ResNet

ResNet是2015年ImageNet比賽的冠軍，將識別錯誤率降低到了3.6%，這個結(jié)果甚至超出了正常人眼識別的精度。

通過前面幾個經(jīng)典模型學(xué)習(xí)，我們可以發(fā)現(xiàn)隨著深度學(xué)習(xí)的不斷發(fā)展，模型的層數(shù)越來越多，網(wǎng)絡(luò)結(jié)構(gòu)也越來越復(fù)雜。那么是否加深網(wǎng)絡(luò)結(jié)構(gòu)，就一定會得到更好的效果呢？從理論上來說，假設(shè)新增加的層都是恒等映射，只要原有的層學(xué)出跟原模型一樣的參數(shù)，那么深模型結(jié)構(gòu)就能達到原模型結(jié)構(gòu)的效果。換句話說，原模型的解只是新模型的解的子空間，在新模型解的空間里應(yīng)該能找到比原模型解對應(yīng)的子空間更好的結(jié)果。但是實踐表明，增加網(wǎng)絡(luò)的層數(shù)之后，訓(xùn)練誤差往往不降反升。

Kaiming He等人提出了殘差網(wǎng)絡(luò)ResNet來解決上述問題，其基本思想如圖6所示。

圖6(a)：表示增加網(wǎng)絡(luò)的時候，將x映射成y=F(x)y=F(x)y=F(x)輸出。

圖6(b)：對圖6(a)作了改進，輸出y=F(x)+xy=F(x) + xy=F(x)+x。這時不是直接學(xué)習(xí)輸出特征y的表示，而是學(xué)習(xí)y?xy-xy?x。

如果想學(xué)習(xí)出原模型的表示，只需將F(x)的參數(shù)全部設(shè)置為0，則y=xy=xy=x是恒等映射。

F(x)=y?xF(x) = y - xF(x)=y?x也叫做殘差項，如果x→yx\rightarrow yx→y的映射接近恒等映射，圖6(b)中通過學(xué)習(xí)殘差項也比圖6(a)學(xué)習(xí)完整映射形式更加容易。

圖6：殘差塊設(shè)計思想

圖6(b)的結(jié)構(gòu)是殘差網(wǎng)絡(luò)的基礎(chǔ)，這種結(jié)構(gòu)也叫做殘差塊（residual block）。輸入x通過跨層連接，能更快的向前傳播數(shù)據(jù)，或者向后傳播梯度。殘差塊的具體設(shè)計方案如圖7 所示，這種設(shè)計方案也成稱作瓶頸結(jié)構(gòu)（BottleNeck）。

圖7：殘差塊結(jié)構(gòu)示意圖

下圖表示出了ResNet-50的結(jié)構(gòu)，一共包含49層卷積和1層全連接，所以被稱為ResNet-50。

圖8：ResNet-50模型網(wǎng)絡(luò)結(jié)構(gòu)示意圖

ResNet-50的具體實現(xiàn)如下代碼所示：

In[2]

import os

import numpy as np

import matplotlib.pyplot as plt

%matplotlib inline

from PIL import Image

DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'

# 文件名以N開頭的是正常眼底圖片，以P開頭的是病變眼底圖片

file1 = 'N0012.jpg'

file2 = 'P0095.jpg'

# 讀取圖片

img1 = Image.open(os.path.join(DATADIR, file1))

img1 = np.array(img1)

img2 = Image.open(os.path.join(DATADIR, file2))

img2 = np.array(img2)

# 畫出讀取的圖片

plt.figure(figsize=(16, 8))

f = plt.subplot(121)

f.set_title('Normal', fontsize=20)

plt.imshow(img1)

f = plt.subplot(122)

f.set_title('PM', fontsize=20)

plt.imshow(img2)

plt.show()

In[4]

# 查看圖片形狀

img1.shape, img2.shape

((2056, 2124, 3), (2056, 2124, 3))

In[3]

#定義數(shù)據(jù)讀取器

import cv2

import random

import numpy as np

# 對讀入的圖像數(shù)據(jù)進行預(yù)處理

def transform_img(img):

    # 將圖片尺寸縮放道 224x224

    img = cv2.resize(img, (224, 224))

    # 讀入的圖像數(shù)據(jù)格式是[H, W, C]

    # 使用轉(zhuǎn)置操作將其變成[C, H, W]

    img = np.transpose(img, (2,0,1))

    img = img.astype('float32')

    # 將數(shù)據(jù)范圍調(diào)整到[-1.0, 1.0]之間

    img = img / 255.

    img = img * 2.0 - 1.0

    return img

# 定義訓(xùn)練集數(shù)據(jù)讀取器

def data_loader(datadir, batch_size=10, mode = 'train'):

    # 將datadir目錄下的文件列出來，每條文件都要讀入

    filenames = os.listdir(datadir)

    def reader():

        if mode == 'train':

            # 訓(xùn)練時隨機打亂數(shù)據(jù)順序

            random.shuffle(filenames)

        batch_imgs = []

        batch_labels = []

        for name in filenames:

            filepath = os.path.join(datadir, name)

            img = cv2.imread(filepath)

            img = transform_img(img)

            if name[0] == 'H' or name[0] == 'N':

                # H開頭的文件名表示高度近似，N開頭的文件名表示正常視力

                # 高度近視和正常視力的樣本，都不是病理性的，屬于負樣本，標簽為0

                label = 0

            elif name[0] == 'P':

                # P開頭的是病理性近視，屬于正樣本，標簽為1

                label = 1

            else:

                raise('Not excepted file name')

            # 每讀取一個樣本的數(shù)據(jù)，就將其放入數(shù)據(jù)列表中

            batch_imgs.append(img)

            batch_labels.append(label)

            if len(batch_imgs) == batch_size:

                # 當(dāng)數(shù)據(jù)列表的長度等于batch_size的時候，

                # 把這些數(shù)據(jù)當(dāng)作一個mini-batch，并作為數(shù)據(jù)生成器的一個輸出

                imgs_array = np.array(batch_imgs).astype('float32')

                labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)

                yield imgs_array, labels_array

                batch_imgs = []

                batch_labels = []

        if len(batch_imgs) > 0:

            # 剩余樣本數(shù)目不足一個batch_size的數(shù)據(jù)，一起打包成一個mini-batch

            imgs_array = np.array(batch_imgs).astype('float32')

            labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)

            yield imgs_array, labels_array

    return reader

# 定義驗證集數(shù)據(jù)讀取器

def valid_data_loader(datadir, csvfile, batch_size=10, mode='valid'):

    # 訓(xùn)練集讀取時通過文件名來確定樣本標簽，驗證集則通過csvfile來讀取每個圖片對應(yīng)的標簽

    # 請查看解壓后的驗證集標簽數(shù)據(jù)，觀察csvfile文件里面所包含的內(nèi)容

    # csvfile文件所包含的內(nèi)容格式如下，每一行代表一個樣本，

    # 其中第一列是圖片id，第二列是文件名，第三列是圖片標簽，

    # 第四列和第五列是Fovea的坐標，與分類任務(wù)無關(guān)

    # ID,imgName,Label,Fovea_X,Fovea_Y

    # 1,V0001.jpg,0,1157.74,1019.87

    # 2,V0002.jpg,1,1285.82,1080.47

    # 打開包含驗證集標簽的csvfile，并讀入其中的內(nèi)容

    filelists = open(csvfile).readlines()

    def reader():

        batch_imgs = []

        batch_labels = []

        for line in filelists[1:]:

            line = line.strip().split(',')

            name = line[1]

            label = int(line[2])

            # 根據(jù)圖片文件名加載圖片，并對圖像數(shù)據(jù)作預(yù)處理

            filepath = os.path.join(datadir, name)

            img = cv2.imread(filepath)

            img = transform_img(img)

            # 每讀取一個樣本的數(shù)據(jù)，就將其放入數(shù)據(jù)列表中

            batch_imgs.append(img)

            batch_labels.append(label)

            if len(batch_imgs) == batch_size:

                # 當(dāng)數(shù)據(jù)列表的長度等于batch_size的時候，

                # 把這些數(shù)據(jù)當(dāng)作一個mini-batch，并作為數(shù)據(jù)生成器的一個輸出

                imgs_array = np.array(batch_imgs).astype('float32')

                labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)

                yield imgs_array, labels_array

                batch_imgs = []

                batch_labels = []

        if len(batch_imgs) > 0:

            # 剩余樣本數(shù)目不足一個batch_size的數(shù)據(jù)，一起打包成一個mini-batch

            imgs_array = np.array(batch_imgs).astype('float32')

            labels_array = np.array(batch_labels).astype('float32').reshape(-1, 1)

            yield imgs_array, labels_array

    return reader

In[5]

# 查看數(shù)據(jù)形狀

DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'

train_loader = data_loader(DATADIR,

                          batch_size=10, mode='train')

data_reader = train_loader()

data = next(data_reader)

data[0].shape, data[1].shape

((10, 3, 224, 224), (10, 1))

In[6]

!pip install xlrd

import pandas as pd

df=pd.read_excel('/home/aistudio/work/palm/PALM-Validation-GT/PM_Label_and_Fovea_Location.xlsx')

df.to_csv('/home/aistudio/work/palm/PALM-Validation-GT/labels.csv',index=False)

Looking in indexes: https://pypi.mirrors.ustc.edu.cn/simple/

Collecting xlrd

  Downloading https://mirrors.tuna.tsinghua.edu.cn/pypi/web/packages/b0/16/63576a1a001752e34bf8ea62e367997530dc553b689356b9879339cf45a4/xlrd-1.2.0-py2.py3-none-any.whl (103kB)

    |████████████████████████████████| 112kB 9.2MB/s eta 0:00:01

Installing collected packages: xlrd

Successfully installed xlrd-1.2.0

In[7]

#訓(xùn)練和評估代碼

import os

import random

import paddle

import paddle.fluid as fluid

import numpy as np

DATADIR = '/home/aistudio/work/palm/PALM-Training400/PALM-Training400'

DATADIR2 = '/home/aistudio/work/palm/PALM-Validation400'

CSVFILE = '/home/aistudio/work/palm/PALM-Validation-GT/labels.csv'

# 定義訓(xùn)練過程

def train(model):

    with fluid.dygraph.guard():

        print('start training ... ')

        model.train()

        epoch_num = 5

        # 定義優(yōu)化器

        opt = fluid.optimizer.Momentum(learning_rate=0.001, momentum=0.9)

        # 定義數(shù)據(jù)讀取器，訓(xùn)練數(shù)據(jù)讀取器和驗證數(shù)據(jù)讀取器

        train_loader = data_loader(DATADIR, batch_size=10, mode='train')

        valid_loader = valid_data_loader(DATADIR2, CSVFILE)

        for epoch in range(epoch_num):

            for batch_id, data in enumerate(train_loader()):

                x_data, y_data = data

                img = fluid.dygraph.to_variable(x_data)

                label = fluid.dygraph.to_variable(y_data)

                # 運行模型前向計算，得到預(yù)測值

                logits = model(img)

                # 進行l(wèi)oss計算

                loss = fluid.layers.sigmoid_cross_entropy_with_logits(logits, label)

                avg_loss = fluid.layers.mean(loss)

                if batch_id % 10 == 0:

                    print("epoch: {}, batch_id: {}, loss is: {}".format(epoch, batch_id, avg_loss.numpy()))

                # 反向傳播，更新權(quán)重，清除梯度

                avg_loss.backward()

                opt.minimize(avg_loss)

                model.clear_gradients()

            model.eval()

            accuracies = []

            losses = []

            for batch_id, data in enumerate(valid_loader()):

                x_data, y_data = data

                img = fluid.dygraph.to_variable(x_data)

                label = fluid.dygraph.to_variable(y_data)

                # 運行模型前向計算，得到預(yù)測值

                logits = model(img)

                # 二分類，sigmoid計算后的結(jié)果以0.5為閾值分兩個類別

                # 計算sigmoid后的預(yù)測概率，進行l(wèi)oss計算

                pred = fluid.layers.sigmoid(logits)

                loss = fluid.layers.sigmoid_cross_entropy_with_logits(logits, label)

                # 計算預(yù)測概率小于0.5的類別

                pred2 = pred * (-1.0) + 1.0

                # 得到兩個類別的預(yù)測概率，并沿第一個維度級聯(lián)

                pred = fluid.layers.concat([pred2, pred], axis=1)

                acc = fluid.layers.accuracy(pred, fluid.layers.cast(label, dtype='int64'))

                accuracies.append(acc.numpy())

                losses.append(loss.numpy())

            print("[validation] accuracy/loss: {}/{}".format(np.mean(accuracies), np.mean(losses)))

            model.train()

        # save params of model

        fluid.save_dygraph(model.state_dict(), 'mnist')

        # save optimizer state

        fluid.save_dygraph(opt.state_dict(), 'mnist')

# 定義評估過程

def evaluation(model, params_file_path):

    with fluid.dygraph.guard():

        print('start evaluation .......')

        #加載模型參數(shù)

        model_state_dict, _ = fluid.load_dygraph(params_file_path)

        model.load_dict(model_state_dict)

        model.eval()

        eval_loader = load_data('eval')

        acc_set = []

        avg_loss_set = []

        for batch_id, data in enumerate(eval_loader()):

            x_data, y_data = data

            img = fluid.dygraph.to_variable(x_data)

            label = fluid.dygraph.to_variable(y_data)

            # 計算預(yù)測和精度

            prediction, acc = model(img, label)

            # 計算損失函數(shù)值

            loss = fluid.layers.cross_entropy(input=prediction, label=label)

            avg_loss = fluid.layers.mean(loss)

            acc_set.append(float(acc.numpy()))

            avg_loss_set.append(float(avg_loss.numpy()))

        # 求平均精度

        acc_val_mean = np.array(acc_set).mean()

        avg_loss_val_mean = np.array(avg_loss_set).mean()

        print('loss={}, acc={}'.format(avg_loss_val_mean, acc_val_mean))

ResNet-50的具體實現(xiàn)如下代碼所示：

In[8]

# -*- coding:utf-8 -*-

# ResNet模型代碼

import numpy as np

import paddle

import paddle.fluid as fluid

from paddle.fluid.layer_helper import LayerHelper

from paddle.fluid.dygraph.nn import Conv2D, Pool2D, BatchNorm, FC

from paddle.fluid.dygraph.base import to_variable

# ResNet中使用了BatchNorm層，在卷積層的后面加上BatchNorm以提升數(shù)值穩(wěn)定性

# 定義卷積批歸一化塊

class ConvBNLayer(fluid.dygraph.Layer):

    def __init__(self,

                name_scope,

                num_channels,

                num_filters,

                filter_size,

                stride=1,

                groups=1,

                act=None):

        """

        name_scope, 模塊的名字

        num_channels, 卷積層的輸入通道數(shù)

        num_filters, 卷積層的輸出通道數(shù)

        stride, 卷積層的步幅

        groups, 分組卷積的組數(shù)，默認groups=1不使用分組卷積

        act, 激活函數(shù)類型，默認act=None不使用激活函數(shù)

        """

        super(ConvBNLayer, self).__init__(name_scope)

        # 創(chuàng)建卷積層

        self._conv = Conv2D(

            self.full_name(),

            num_filters=num_filters,

            filter_size=filter_size,

            stride=stride,

            padding=(filter_size - 1) // 2,

            groups=groups,

            act=None,

            bias_attr=False)

        # 創(chuàng)建BatchNorm層

        self._batch_norm = BatchNorm(self.full_name(), num_filters, act=act)

    def forward(self, inputs):

        y = self._conv(inputs)

        y = self._batch_norm(y)

        return y

# 定義殘差塊

# 每個殘差塊會對輸入圖片做三次卷積，然后跟輸入圖片進行短接

# 如果殘差塊中第三次卷積輸出特征圖的形狀與輸入不一致，則對輸入圖片做1x1卷積，將其輸出形狀調(diào)整成一致

class BottleneckBlock(fluid.dygraph.Layer):

    def __init__(self,

                name_scope,

                num_channels,

                num_filters,

                stride,

                shortcut=True):

        super(BottleneckBlock, self).__init__(name_scope)

        # 創(chuàng)建第一個卷積層 1x1

        self.conv0 = ConvBNLayer(

            self.full_name(),

            num_channels=num_channels,

            num_filters=num_filters,

            filter_size=1,

            act='relu')

        # 創(chuàng)建第二個卷積層 3x3

        self.conv1 = ConvBNLayer(

            self.full_name(),

            num_channels=num_filters,

            num_filters=num_filters,

            filter_size=3,

            stride=stride,

            act='relu')

        # 創(chuàng)建第三個卷積 1x1，但輸出通道數(shù)乘以4

        self.conv2 = ConvBNLayer(

            self.full_name(),

            num_channels=num_filters,

            num_filters=num_filters * 4,

            filter_size=1,

            act=None)

        # 如果conv2的輸出跟此殘差塊的輸入數(shù)據(jù)形狀一致，則shortcut=True

        # 否則shortcut = False，添加1個1x1的卷積作用在輸入數(shù)據(jù)上，使其形狀變成跟conv2一致

        if not shortcut:

            self.short = ConvBNLayer(

                self.full_name(),

                num_channels=num_channels,

                num_filters=num_filters * 4,

                filter_size=1,

                stride=stride)

        self.shortcut = shortcut

        self._num_channels_out = num_filters * 4

    def forward(self, inputs):

        y = self.conv0(inputs)

        conv1 = self.conv1(y)

        conv2 = self.conv2(conv1)

        # 如果shortcut=True，直接將inputs跟conv2的輸出相加

        # 否則需要對inputs進行一次卷積，將形狀調(diào)整成跟conv2輸出一致

        if self.shortcut:

            short = inputs

        else:

            short = self.short(inputs)

        y = fluid.layers.elementwise_add(x=short, y=conv2)

        layer_helper = LayerHelper(self.full_name(), act='relu')

        return layer_helper.append_activation(y)

# 定義ResNet模型

class ResNet(fluid.dygraph.Layer):

    def __init__(self, name_scope, layers=50, class_dim=1):

        """

        name_scope，模塊名稱

        layers, 網(wǎng)絡(luò)層數(shù)，可以是50, 101或者152

        class_dim，分類標簽的類別數(shù)

        """

        super(ResNet, self).__init__(name_scope)

        self.layers = layers

        supported_layers = [50, 101, 152]

        assert layers in supported_layers, \

            "supported layers are {} but input layer is {}".format(supported_layers, layers)

        if layers == 50:

            #ResNet50包含多個模塊，其中第2到第5個模塊分別包含3、4、6、3個殘差塊

            depth = [3, 4, 6, 3]

        elif layers == 101:

            #ResNet101包含多個模塊，其中第2到第5個模塊分別包含3、4、23、3個殘差塊

            depth = [3, 4, 23, 3]

        elif layers == 152:

            #ResNet50包含多個模塊，其中第2到第5個模塊分別包含3、8、36、3個殘差塊

            depth = [3, 8, 36, 3]

        # 殘差塊中使用到的卷積的輸出通道數(shù)

        num_filters = [64, 128, 256, 512]

        # ResNet的第一個模塊，包含1個7x7卷積，后面跟著1個最大池化層

        self.conv = ConvBNLayer(

            self.full_name(),

            num_channels=3,

            num_filters=64,

            filter_size=7,

            stride=2,

            act='relu')

        self.pool2d_max = Pool2D(

            self.full_name(),

            pool_size=3,

            pool_stride=2,

            pool_padding=1,

            pool_type='max')

        # ResNet的第二到第五個模塊c2、c3、c4、c5

        self.bottleneck_block_list = []

        num_channels = 64

        for block in range(len(depth)):

            shortcut = False

            for i in range(depth[block]):

                bottleneck_block = self.add_sublayer(

                    'bb_%d_%d' % (block, i),

                    BottleneckBlock(

                        self.full_name(),

                        num_channels=num_channels,

                        num_filters=num_filters[block],

                        stride=2 if i == 0 and block != 0 else 1, # c3、c4、c5將會在第一個殘差塊使用stride=2；其余所有殘差塊stride=1

                        shortcut=shortcut))

                num_channels = bottleneck_block._num_channels_out

                self.bottleneck_block_list.append(bottleneck_block)

                shortcut = True

        # 在c5的輸出特征圖上使用全局池化

        self.pool2d_avg = Pool2D(

            self.full_name(), pool_size=7, pool_type='avg', global_pooling=True)

        # stdv用來作為全連接層隨機初始化參數(shù)的方差

        import math

        stdv = 1.0 / math.sqrt(2048 * 1.0)

        # 創(chuàng)建全連接層，輸出大小為類別數(shù)目

        self.out = FC(self.full_name(),

                      size=class_dim,

                      param_attr=fluid.param_attr.ParamAttr(

                          initializer=fluid.initializer.Uniform(-stdv, stdv)))

    def forward(self, inputs):

        y = self.conv(inputs)

        y = self.pool2d_max(y)

        for bottleneck_block in self.bottleneck_block_list:

            y = bottleneck_block(y)

        y = self.pool2d_avg(y)

        y = self.out(y)

        return y

In[9]

with fluid.dygraph.guard():

    model = ResNet("ResNet")

train(model)

start training ...

epoch: 0, batch_id: 0, loss is: [0.83079195]

epoch: 0, batch_id: 10, loss is: [0.5477183]

epoch: 0, batch_id: 20, loss is: [0.87052524]

epoch: 0, batch_id: 30, loss is: [1.0255078]

[validation] accuracy/loss: 0.7450000047683716/0.5235034823417664

epoch: 1, batch_id: 0, loss is: [0.41455013]

epoch: 1, batch_id: 10, loss is: [0.54812586]

epoch: 1, batch_id: 20, loss is: [0.17374663]

epoch: 1, batch_id: 30, loss is: [0.30293828]

[validation] accuracy/loss: 0.887499988079071/0.27671539783477783

epoch: 2, batch_id: 0, loss is: [0.38499922]

epoch: 2, batch_id: 10, loss is: [0.29150736]

epoch: 2, batch_id: 20, loss is: [0.3396409]

[validation] accuracy/loss: 0.9274999499320984/0.17061272263526917

epoch: 3, batch_id: 0, loss is: [0.06969612]

epoch: 3, batch_id: 10, loss is: [0.0861987]

epoch: 3, batch_id: 20, loss is: [0.05332329]

epoch: 3, batch_id: 30, loss is: [0.46470308]

[validation] accuracy/loss: 0.9375/0.20805077254772186

epoch: 4, batch_id: 0, loss is: [0.38617897]

epoch: 4, batch_id: 10, loss is: [0.16854036]

epoch: 4, batch_id: 20, loss is: [0.05454079]

epoch: 4, batch_id: 30, loss is: [0.32432565]

[validation] accuracy/loss: 0.8600000143051147/0.3488900661468506

上述就是小編為大家分享的PaddlePaddle動態(tài)圖是怎么實現(xiàn)Resnet了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

當(dāng)前文章：PaddlePaddle動態(tài)圖是怎么實現(xiàn)Resnet
本文URL：http://aaarwkj.com/article48/iggghp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站營銷、企業(yè)建站、建站公司、關(guān)鍵詞優(yōu)化、網(wǎng)站排名、網(wǎng)站設(shè)計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)