R语言doParallel+foreach 并行计算初试牛刀「建议收藏」

R语言doParallel+foreach 并行计算初试牛刀「建议收藏」前言 因为我学习的需要,要做模拟,需要用到前人写好的函数,然后又需要大量的循环(模拟一百次,每次生成500条曲线,450条训练,50条做预测)。每次做个运算要半个小时左右,实在是受不了了之后,找了很多的博客和也下载了cran的帮助文档来看。最后终于一遍遍的试出来了。包的安装 首先需要将doParallel的包安装带上去,而doParallel的包基于foreach,iterators和par…

大家好,又见面了,我是你们的朋友全栈君。

前言

 因为我学习的需要,要做模拟,需要用到前人写好的函数,然后又需要大量的循环(模拟一百次,每次生成500条曲线,450条训练,50条做预测)。每次做个运算要半个小时左右,实在是受不了了之后,找了很多的博客和也下载了cran的帮助文档来看。最后终于一遍遍的试出来了。

包的安装

 首先需要将doParallel的包安装带上去,而doParallel的包基于foreach,iteratorsparallel,parallel是R语言内置的包,所以要实际安装的包总共有三个。

正文

  首先还是检测电脑的核心数,既然要搞并行计算,肯定要利用多核心;要检测电脑核心数,就需要用到detecCores()函数,对于Windows系统下的intel I5intel I7处理器,一般要用detecCores(logical = F)来获得实际的物理核心。我用的是学校配备的8700,所以检测出来的就是6个。

library(doParallel)
library(foreach)
cl.cores = detecCores(logical = F)
cl <- makeCluster(cl.cores)
registerDoparallel(cl)  # 我调用了所有的核心,也可以(cl-1),少调用一个核心

 以上是前期设置,下面是我自己模拟代码的部分展示,其中要注意的是我的ffunopare.knn.gcv函数调用了内存中另外两个函数,分别是semmimetric.pcaquadratic,这个很重要。

func <- function(ii){
    result.pred <- ffunopare.knn.gcv(a,b,v,5,kind.of.kernel="quadratic",semimetric="pca")
    Response.predicted <- result.pred$Predicted.values
    ase.reg[i] <- round(sum((pi/3)*(1/100)*(abs(Response2-Response.predicted))),8)
    }
  RE<-mean(ase.reg)
  return(RE)
}

参数解读(参考链接1 )


  • %do%: 严格按照顺序执行任务(所以,也就非并行计算),%dopar%并行执行任务,%do%时候就像sapplylapply%dopar%就是并行启动器

  • .combine:运算之后结果的显示方式,default是list,“c”返回vector, cbind和rbind返回矩阵,”+“和”“可以返回rbind之后的“+”或者“”,帮你把数据整合起来,太良心了!!
    .init:.combine函数的第一个变量

  • .final:返回最后结果

  • .inorder:TRUE则返回和原始输入相同顺序的结果(对结果的顺序要求严格的时候),FALSE返回没有顺序的结果(可以提高运算效率)。这个参数适合于设定对结果顺序没有需求的情况。

  • .muticombine:设定.combine函数的传递参数,default是FALSE表示其参数是2,TRUE可以设定多个参数

  • .maxcombine:设定.combine的最大参数

  • .errorhandling:如果循环中出现错误,对错误的处理方法

  • .packages:指定在%dopar%运算过程中依赖的package(%do%会忽略这个选项),用于并行一些机器学习算法。

  • .export:在编译函数的时候需要预先加载一些内容进去,类似parallel的clusterExport


下面就是并行计算的主函数部分,也就是调用foreach的部分。#因为ffunopare.knn.gcv要加载内存中的semimetric.pcaquadratic两个函数,所以要在.export参数中设置一下,有文章说要用list,笔者没有用,不过下面参考链接[1]中会给出。要注意,参数要使用%dopar%而不能使用%do%,后者就不是并行计算了。

x <- foreach(ii=1:100,.combine = "c",.export = c("semimetric.pca","quadratic"))%dopar% func(ii)

 最后要做的就是关闭集群

stopCluster(cl)

最后奉上结果,如下图,左图为并行计算,右图为非并行计算,也就是使用最基础的for循环的结果。请不要吐槽我的print(time)

并行计算 for循环
并行计算是27分钟 非并行计算是1个多小时

参考链接

  1. R︱foreach+doParallel并行+联用迭代器优化内存+并行机器学习算法.
  2. R︱并行计算以及提高运算效率的方式(parallel包、clusterExport函数、SupR包简介)
  3. R语言的并行运算(CPU多核)
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/161821.html原文链接:https://javaforall.net

(0)
上一篇 2022年7月19日 上午6:36
下一篇 2022年7月19日 上午6:46


相关推荐

  • java 堆栈的声明_Java 堆栈[通俗易懂]

    java 堆栈的声明_Java 堆栈[通俗易懂]Java堆栈堆栈是一种线性数据结构,用于存储对象的集合。它基于先进先出(LIFO)。Java集合框架提供了许多接口和类来存储对象的集合。其中之一是Stack类,它提供了不同的操作,例如推,弹出,搜索等。在本节中,我们将讨论JavaStack类,其方法和实现在Java中的堆栈数据结构程序。但是在转到JavaStack类之前,请先快速了解堆栈的工作原理。堆栈数据结构具有两个最重要的操作,分别…

    2022年7月7日
    22
  • python进程

    python进程

    2021年9月13日
    56
  • c语言尖括号什么意思,请教尖括号里面含有尖括号是什么意思

    c语言尖括号什么意思,请教尖括号里面含有尖括号是什么意思当前位置 我的异常网 C 请教尖括号里面含有尖括号是什么意思请教尖括号里面含有尖括号是什么意思 www myexceptions net 网友分享于 2013 11 19 浏览 55 次请问尖括号里面含有尖括号是什么意思 voidcv resize InputArray src OutputArray dst Sizedsize doubleinv scale x d

    2026年3月17日
    1
  • createfile调用失败_CreateFile 函数说明

    createfile调用失败_CreateFile 函数说明CreateFile 函数说明简介 创建或打开文件或 I O 设备 常用的 I O 设备有 文件 文件流 目录 物理磁盘 卷 控制台缓冲区 磁带驱动器 通信资源 邮筒和管道 该函数返回一个句柄 该句柄可用于根据文件或设备以及指定的标志和属性访问文件或设备以获取各种类型的 I O 语法格式 参数 lpFileName 要创建或打开的文件或设备的名称 可以在这个名字中使用正斜杠 或反斜杠 注意

    2026年3月17日
    2
  • 一文看懂全球首个企业级通用智能体实在Agent,比Manus早2年诞生

    一文看懂全球首个企业级通用智能体实在Agent,比Manus早2年诞生

    2026年3月16日
    2
  • python中的换行符是什么_python的换行符是什么?_后端开发

    python中的换行符是什么_python的换行符是什么?_后端开发python换行符是什么?python换行符是“\n”。Windows换行符是’\r\n’,Unix/Linux的换行符为’\n’,Mac的换行符为’\r’,在python中,对换行符举行了一致处置惩罚,定义为“\n”。运用“\”举行换行输入:1、在python中,Python用反斜线(“\”)作为续行符(换行符),这里以python3.5为例。起首运转终端或许cmd敕令行(windows…

    2022年10月19日
    5

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号