郑州专业网站制作的公司哪家好,最大的免费网站建设,网站开发及服务器总共多少钱,关键词搜索排名工具今年5月#xff0c;Facebook AI研究院#xff08;FAIR#xff09;发表了他们的研究成果fairseq#xff0c;在fairseq中#xff0c;他们使用了一种新型的卷积神经网络来做语言翻译#xff0c;比循环神经网络的速度快了9倍#xff0c;而且准确性也是现有模型中最高的。此外… 今年5月Facebook AI研究院FAIR发表了他们的研究成果fairseq在fairseq中他们使用了一种新型的卷积神经网络来做语言翻译比循环神经网络的速度快了9倍而且准确性也是现有模型中最高的。此外他们在GitHub公布了fair序列建模工具包的源代码和训练好的系统其他的研究者可以在此基础上建立自己的关于翻译、文本总结和其他任务的模型。 详情可参见快9倍Facebook开源机器学习翻译项目fairseq一文。 日前Facebook AI研究团队又在GitHub上开源了fairseq PyTorch版本。 相关介绍 fairseq是Facebook AI研究院发布的一个序列到序列的学习工具它的原作者排名不分先后是Sergey Edunov、Myle Ott和Sam Gross。该工具包能实现 Convolutional Sequence to Sequence Learning地址https://arxiv.org/abs/1705.03122中描述的全卷积模型并能在一台机器上进行多GPU训练也能在CPU和GPU上快速产生束搜索(beam search)。在开源的数据中他们提供了英译法和英译德的预训练模型。 引用 如果你的论文中用了FAIR的相关代码可以这样引用 inproceedings{gehring2017convs2s,  author     {Gehring, Jonas, and Auli, Michael and Grangier, David and Yarats, Denis and Dauphin, Yann N},  title     {Convolutional Sequence to Sequence Learning},  booktitle {Proc. of ICML},  year       2017, } 工具和安装 macOS或是Linux系统的电脑 要是想训练新的模型需要用到NVIDIA GPU和NCCLhttps://github.com/NVIDIA/nccl Python 3.6 安装PyTorchhttp://pytorch.org/ 目前的fairseq-py需要从GitHub库中获得PyTorch有多种方式安装它。我们建议利用Miniconda3执行如下的步骤。 1、安装Miniconda3https://conda.io/miniconda.html激活 Python 3环境 2、安装PyTorch conda install gcc numpy cudnn nccl conda install magma-cuda80 -c soumith pip install cmake pip install cffi git clone https://github.com/pytorch/pytorch.git cd pytorch git reset --hard a03e5cb40938b6b3f3e6dbddf9cff8afdff72d1b git submodule update --init pip install -r requirements.txt NO_DISTRIBUTED1 python setup.py install 3、在GitHub中复制和执行如下代码来安装fairseq-py pip install -r requirements.txt python setup.py build python setup.py develop 快速开始 你将需要使用到如下的命令 python preprocess.py: 数据预处理: 构造词汇和二进制训练数据 python train.py: 在一个或多个GPU上训练新的模型 python generate.py: 用训练好的模型翻译预处理之后的数据 python generate.py -i:用训练好的模型翻译新的文本 python score.py: 通过与参考译文对比给出生成译文的BLEU分数 评估预训练模型 首先下载预训练好的模型和词汇 $ curl https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf - 模型中用的是BPE词汇https://arxiv.org/abs/1508.07909用户必须在翻译之前将编码应用到源文本。可以用apply_bpe.py 脚本中的wmt14.en-fr.fconv-cuda/bpecodes文件。是延续标记原始文本可以通过sed s/ //g来恢复此外把 --remove-bpe 标记传递到generate.py也有同样的作用。在生成BPE词汇之前。输入文本需要用mosesdecoder中的tokenizer.perl来标记。 下面是利用python generate.py -i产生翻译的例子 beam size为5 $ MODEL_DIRwmt14.en-fr.fconv-py $ python generate.py -i \ --path $MODEL_DIR/model.pt $MODEL_DIR \ --beam 5 | [en] dictionary: 44206 types | [fr] dictionary: 44463 types | model fconv_wmt_en_fr | loaded checkpoint /private/home/edunov/wmt14.en-fr.fconv-py/model.pt (epoch 37) Why is it rare to discover new marine mam mal species ? S       Why is it rare to discover new marine mam mal species ? O       Why is it rare to discover new marine mam mal species ? H       -0.08662842959165573    Pourquoi est-il rare de découvrir de nouvelles espèces de mammifères marins ? A       0 1 3 3 5 6 6 10 8 8 8 11 12 训练新模型 数据预处理 fairseq-py工具包中包含用于IWSLT 2014德转英语料库的一个预处理脚本样例。先将数据进行预处理和二进制编码 $ cd data/ $ bash prepare-iwslt14.sh $ cd .. $ TEXTdata/iwslt14.tokenized.de-en $ python preprocess.py --source-lang de --target-lang en \  --trainpref $TEXT/train --validpref $TEXT/valid --testpref $TEXT/test \  --thresholdtgt 3 --thresholdsrc 3 --destdir data-bin/iwslt14.tokenized.de-en 这将会得到能够用于训练模型的二进制数据。 训练 用python train.py来训练新的模型下面是能很好的适于 IWSLT 2014数据集中的一些样例设置。 $ mkdir -p checkpoints/fconv $ CUDA_VISIBLE_DEVICES0 python train.py data-bin/iwslt14.tokenized.de-en \  --lr 0.25 --clip-norm 0.1 --dropout 0.2 --max-tokens 4000 \  --arch fconv_iwslt_de_en --save-dir checkpoints/fconv 默认情况下python train.py会占用电脑中所有可用的GPU可以用CUDA_VISIBLE_DEVICES环境来选择特定的GPU或者改变使用的GPU数目。 有一点需要注意batch大小是基于每个batch的最大token数来设置的你需要基于系统中可用的GPU内存选取一个稍小的值。 生成翻译 模型训练好之后就能利用python generate.py用于二进制数据或python generate.py -i用于未处理文本生成翻译了。 $ python generate.py data-bin/iwslt14.tokenized.de-en \  --path checkpoints/fconv/checkpoint_best.pt \  --batch-size 128 --beam 5  | [de] dictionary: 35475 types  | [en] dictionary: 24739 types  | data-bin/iwslt14.tokenized.de-en test 6750 examples  | model fconv  | loaded checkpoint trainings/fconv/checkpoint_best.pt  S-721   danke .  T-721   thank you .  ... 如果只想用一个CPU加入--cpu标记。可以通过--remove-bpe移除掉BPE标记。 训练好的模型 目前开源的全卷积序列到序列模型如下 wmt14.en-fr.fconv-py.tar.bz2https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2: 用于WMT14英译法的模型包含词汇 wmt14.en-de.fconv-py.tar.bz2https://s3.amazonaws.com/fairseq-py/models/wmt14.en-de.fconv-py.tar.bz2: 用于WMT14英译德的模型包含词汇 针对以上模型已经预处理和编码过的测试集如下 wmt14.en-fr.newstest2014.tar.bz2https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.newstest2014.tar.bz2: 用于WMT14英译法的newstest2014测试集 wmt14.en-fr.ntst1213.tar.bz2https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.ntst1213.tar.bz2: 用于WMT14英译法的newstest2012和newstest2013测试集 wmt14.en-de.newstest2014.tar.bz2https://s3.amazonaws.com/fairseq-py/data/wmt14.en-de.newstest2014.tar.bz2: 用于WMT14英译德的newstest2014测试集 下面是在一块GTX-1080ti上利用测试集产生结果的样例英译德运行在batch模式下 $ curl https://s3.amazonaws.com/fairseq-py/models/wmt14.en-fr.fconv-py.tar.bz2 | tar xvjf - -C data-bin $ curl https://s3.amazonaws.com/fairseq-py/data/wmt14.en-fr.newstest2014.tar.bz2 | tar xvjf - -C data-bin $ python generate.py data-bin/wmt14.en-fr.newstest2014  \  --path data-bin/wmt14.en-fr.fconv-py/model.pt \  --beam 5 --batch-size 128 --remove-bpe | tee /tmp/gen.out ... | Translated 3003 sentences (95451 tokens) in 81.3s (1174.33 tokens/s) | Generate test with beam5: BLEU4 40.23, 67.5/46.4/33.8/25.0 (BP0.997, ratio1.003, syslen80963, reflen81194) # Scoring with score.py: $ grep ^H /tmp/gen.out | cut -f3- /tmp/gen.out.sys $ grep ^T /tmp/gen.out | cut -f2- /tmp/gen.out.ref $ python score.py --sys /tmp/gen.out.sys --ref /tmp/gen.out.ref BLEU4 40.23, 67.5/46.4/33.8/25.0 (BP0.997, ratio1.003, syslen80963, reflen81194) 本文作者Non 本文转自雷锋网禁止二次转载原文链接