wordpress类似网站,qq空间网站是多少,娄底市建设银行宣传部网站,seo 新旧网站 两个域名第 28 篇原创文章机器学习发展到现在#xff0c;已经积累了非常多的文章#xff0c;特别是深度学习火起来后#xff0c;每年新增加的论文非常多#xff0c;如果需要研究某个领域#xff0c;不仅需要阅读这个领域经典的论文#xff0c;也必须时刻关注最新的学术进展#… 第 28 篇原创文章机器学习发展到现在已经积累了非常多的文章特别是深度学习火起来后每年新增加的论文非常多如果需要研究某个领域不仅需要阅读这个领域经典的论文也必须时刻关注最新的学术进展比如最近两年特别火的 GAN不仅需要先了解它的第一篇开山之作--Generative Adversarial Nets也需要关注最新发表的该领域的论文。而查找论文除了直接谷歌搜索外通常都会到 arxiv 网站上查找下图显示的是在计算机视觉和模式识别这个类别下的最新论文不过从上图也可以知道这里仅仅展示了论文名字和作者、发表时间等信息如果是熟悉的作者比如一些大牛当然就值得我们一看但如果作者不熟悉就只能通过论文名字判断是否值得点击论文名字查看论文简介再通过论文简介判断是否值得下载 pdf 来精读或者泛读。如果可以我们当然希望在这个页面就可以展示论文简介这样可以减少一个步骤。所以今天推荐一个基于 arXiv 提供的 API 实现的更加易于阅读机器学习方面论文的网站网站如下所示网址http://www.arxiv-sanity.com/上图左上角可以这个网站目前收集了过去几年大约总共 62820 篇论文都是机器学习方面的论文然后下方有几个选项卡分别是most recent展示最新的论文。对于每篇论文都会展示名字、作者、发表时间论文的图示论文的简介然后可以下载 pdf并且还可以搜索相似论文和有讨论区。不过对于讨论区似乎因为使用人数不多或者是发表评论的人不多直接展示的论文基本都没有评论留言需要直接点击discussions这个选项卡才会展示有评论的论文但基本都是只有一条评论不多于两条评论。top recent根据登录用户收藏到其 library 的论文展示可以选择展示最近几天的范围包括最近一天、三天、一周、一个月、一年以及所有。top hype这主要是展示在 Twitter 上提及过的论文可以查看提及的用户以及发的 twitter 内容不过我看基本都是属于直接转发 arxiv 的官方twitter 发表的推文类似于我们直接转发微博。后面的几个选项卡除了discussions其余几个都是需要进行登录的friends就是展示你朋友的论文recommanded就是基于你收藏在你的library的论文来展示这里开发者还给出采用的方法是基于 SVM 算法。Github 项目这个网站的实现代码是开源在 Github 上的https://github.com/karpathy/arxiv-sanity-preserver其中通过 Arxiv API 查找论文的代码文件是fetch_papers.py可以在这个代码中改变希望查找的论文类别不仅仅是机器学习。对于 Arxiv API 可以查看说明文档文档地址https://arxiv.org/help/api/user-manual#detailed_examples代码结构根据作者介绍代码主要分为两部分:查询代码通过 Arxiv API 来下载指定类别的最新论文并提取每篇论文的内容来提取文字创建tfidf向量这部分代码需要考虑的就是后端爬取和计算方面的功能建立一个 arxiv 论文的数据库计算内容向量生成略缩图给用户计算 SVMs等等用户界面这部分是一个网页端的服务器(基于 Flask/Tornado/sqlite)实现通过数据库查询论文根据相似性来过滤用户等功能。依赖库需要的依赖库包括numpyfeedparser--解析 xml 文件scikit learn--处理 tfidef 向量并实现 SVM 算法flask--展示结果flask_limitertornadodateutilscipysqlite3上述依赖库可以通过下列命令来安装$ virtualenv env                # optional: use virtualenv $ source env/bin/activate       # optional: use virtualenv $ pip install -r requirements.txt 除此外还需要ImageMagick和pdftotext在Ubuntu可以通过命令安装:sudo apt-get install imagemagick poppler-utils 但这个命令会还需要继续安装其他依赖库运行流程整个项目的运行流程需要依次运行好几个脚本文件这里最好仔细查看每个脚本代码它们包含不少设置这些设置可能是你希望修改的。按如下顺序来依次执行下列代码fetch_papers.py通过 arxiv API 进行查询并创建一个包含每篇论文所有信息的文件db.p。这份代码可以修改你想查询的内容比如不是查询机器学习而是其他计算机内容如数据库等类别。这里需要注意一次性查询太多论文会受到 arxiv 的限制所以最好分批运行这份代码并通过参数--start-index来设置每次重新运行时的起始位置download_pdfs.py下载论文并保存到文件夹pdfparse_pdf_to_text.py输出所有 pdfs 中的文字部分保存到txt文件夹thumb_pdf.py生成 pdfs 的略缩图保存到文件夹thumbanalyze.py基于bigrams来计算所有文档的tfidf向量生成文件tfidf.p,tfidf_meta.p,sim_dict.pbuildsvm.py对所有用户训练 SVMs 并输出文件user_sim.pmake_cache.py主要是进行预处理来加快服务器启动的速度如果是第一次运行该代码需要确保执行命令sqlite3 as.db lt; schema.sql来初始化一个空的数据库在后台开启一个mongodb守护进程。Mongodb可以通过这篇教程来安装--https://docs.mongodb.com/tutorials/install-mongodb-on-ubuntu/sudo service mongod start命令开启 mongodb 服务确定服务在后台运行在文件/var/log/mongodb/mongod.log中最后一行必须是[initandlisten] waiting for connections on port 运行serve.py代码来开启flask服务。通过访问localhost:5000来查看最终运行的效果另外也可以运行twitter_daemon.py来启动一个屏幕会话它会采用你的twitter API保存在文件twitter.txt来查找在 Twitter 上被提及到的在数据库中的论文并保存结果到文件twitter.p。作者写了一个简单的命令行脚本依次执行上述代码每天都会运行依次这个脚本来抓取新的论文并保存到现有数据库中然后重新计算所有的tfidf向量或分类器。注意对于代码analyze.py它利用numpy来做很多计算工资这里推荐安装BLAS比如OpenBLAS方面的库来提高计算速度安装后对于 25000 篇论文和 5000 多个用户仅需要几个小时即可完成计算。在线运行如果希望在线运行flask服务器比如在 AWS 上运行命令python serve.py --prod。另外你还需要创建一个密钥文件secret_key.txt并添加随机的文字具体做法可以查看server.py代码当前工作流程目前对于该网站还不能实现全自动需要每天都手动运行部分代码来获取最新的论文这里作者给出刚刚提到的脚本文件内容python fetch_papers.py python download_pdfs.py python parse_pdf_to_text.py python thumb_pdf.py python analyze.py python buildsvm.py python make_cache.py 然后会通过一个屏幕会话运行服务这需要执行命令screen -S serve来创建会话或者参数-r来重新连接然后运行下列命令python serve.py --prod --port 80 那么服务器会载入新的文件并展示在网站上。不过有些系统可能需要加上命令sudo才可以使用 80 端口这里有两个解决办法一个是使用iptables来变更端口或者采用setcap来提高你的python解释器的权限参考文章http://stackoverflow.com/questions/413807/is-there-a-way-for-non-root-processes-to-bind-to-privileged-ports-1024-on-l但对于这个方法需要谨慎使用最好是采用virtualenv等虚拟环境。小结最后再次给出网站和项目的地址http://www.arxiv-sanity.com/https://github.com/karpathy/arxiv-sanity-preserver点击原文也可以直接跳转到 Github 上。也可以在后台留言获取网站和项目地址以及打包好的代码步骤如下关注机器学习与计算机视觉公众号回复关键词arxiv欢迎关注我的微信公众号--机器学习与计算机视觉或者扫描下方的二维码大家一起交流学习和进步另外今天还有第二条推送转载自机器之心的一篇文章介绍 GAN 在超分辨率方面的最新成果可以实现将画质不好的图片变得更加清晰效果是真的很棒有兴趣的可以点击看看。之前分享的资源和教程文章有推荐几本数据结构算法书籍和课程[资源分享] Github上八千Star的深度学习500问教程[资源分享] 吴恩达最新《机器学习训练秘籍》中文版可以免费下载了[资源分享] TensorFlow 官方中文版教程来了必读的AI和深度学习博客[教程]一份简单易懂的 TensorFlow 教程[资源]推荐一些Python书籍和教程入门和进阶的都有