网站如何备案,微信小程序开发商家,做网站的总结,推荐一个做淘客网站最近在处理一批数据#xff0c;10的8次方#xff0c;处理完毕大概要一个月#xff0c;并且这个程序占用的CPU只有一个#xff08;我从来没有注意到这个问题啊啊啊#xff09;。 突然师兄提醒我可以把10的8次方条数据拆成10个10的7次方#xff0c;作为10条任务并行处理10的8次方处理完毕大概要一个月并且这个程序占用的CPU只有一个我从来没有注意到这个问题啊啊啊。 突然师兄提醒我可以把10的8次方条数据拆成10个10的7次方作为10条任务并行处理我艹三天就跑完了啊坑爹呢这是我之前怎么没想到呢混蛋 以后单任务的程序一定要注意下CPU的使用情况。 并行处理也有个简单的方法就是把原始文件给切割后提交让队列调度程序给你并行调度就ok了。大家不要拍砖啊这个玩意儿还是挺有用处的。 下面这个破脚本哦是perl脚本用来切割文件的。我这里讲某个文件切割成每4000条数据一个文件每1000个文件一个文件夹闲话少说上酸菜 Perl代码   #!/usr/bin/perl -w  # Program name: filter_pro.pl  # Author      : bbsunchen  # Contact     : bbsunchen at gm*il.com  # Date        : 11/10/2011  # Last Update : 11/10/2011  # Reference   : Please cite our following papers when you are using this script.    # Description :     #  use warnings;  use strict;  use Getopt::Long;  use Cwd qw(abs_path);  use File::Basename qw(dirname);    my %opts;  GetOptions(\%opts,dir:s);  my $usage USAGE;      Program: $0      INPUT:          -dir        full path of file        OUTPUT:  USAGE  die $usage unless ($opts{dir}  -e $opts{dir});    my $cwd;  if ($opts{dir} ~ m{^/})  {    $cwd  dirname($opts{dir});  }  else  {    $cwd  dirname(abs_path($opts{dir}));  }  open DIR, $opts{dir};  my $seq_num  0;  my $title  ;  my $data  ;  while(DIR)  {      $seq_num;      if($seq_num % 2 ! 0)      {          $title  $_;          next;      }else      {          $data  $_;       }      my $decide_path  0;      if($seq_num % 2  0)      {          $decide_path  $seq_num / 2;       }else      {          $decide_path  int($seq_num / 2)  1;      }            my $file_name  int($decide_path / 4000);      my $path_name  int($file_name / 1000);      my $temp_path  $cwd/$path_name;      mkdir $temp_path,0775 unless (-e $temp_path);      die $! unless ($opts{dir}  -e $opts{dir});      open OUT,  $temp_path/$file_name.fa;      print OUT $title;      print OUT $data;      close OUT;  }  close DIR;