羁鸟博客|羁鸟Blog
    羁鸟 September 29th, 2022 at 09:15 pm

    https://aws.amazon.com/cn/blogs/china/spark-job-ptimization-practice-on-emr/

    羁鸟博客|羁鸟Blog
    羁鸟 September 29th, 2022 at 09:12 pm

    --driver-memory : driver内存大小

    --executor-memory : 每个executor的内存

    --num-executors : 总共申请的executor数目

    --executor-cores : 每个executor内的核数,即每个executor中的可并行的任务task数

    --spark.default.parallelism : join、reduceByKey、parallelize等转换返回RDD中的默认分区数

    --spark.sql.shuffle.partitions:sparks SQL join、聚合等进行数据shuffling会使用的分区数

    --spark.dynamicAllocation.enabled : 设置是否开启动态资源配置

    --spark.executor.memoryOverhead : 分配给每个executor的堆外内存量

    羁鸟博客|羁鸟Blog
    羁鸟 September 2nd, 2022 at 07:30 pm

    羁鸟博客|羁鸟Blog
    羁鸟 July 19th, 2022 at 03:06 pm

    虚拟机镜像https://archive.kernel.org/centos-vault/7.6.1810/isos/x86_64/

    羁鸟博客|羁鸟Blog
    羁鸟 June 24th, 2022 at 04:07 pm

    回家

    羁鸟博客|羁鸟Blog
    羁鸟 June 8th, 2022 at 07:40 pm

    代码和人,有一个能跑就行,hhhhhhh

    羁鸟博客|羁鸟Blog
    羁鸟 May 31st, 2022 at 12:04 pm

    我滴任务完成了~

    羁鸟博客|羁鸟Blog
    羁鸟 May 29th, 2022 at 07:55 pm

    阳光男孩

    羁鸟博客|羁鸟Blog
    羁鸟 May 16th, 2022 at 08:34 pm

    科三真刺激

    羁鸟博客|羁鸟Blog
    羁鸟 May 8th, 2022 at 01:36 am

    敲代码解决bug过的总是很快啊,就像考试做题,不会的时候感觉时间完全不够用啊,不知不觉已经这么晚了

联系方式

关于我

  • 朋友圈只是人设 我心里的风声 从未有人听说 那些不敢公之于众的 才是我的生活