22 条评论

羁鸟 December 21st, 2022 at 12:48 pm
先前，我总觉得，思念二字太过俗气，从遇见你，我才自知是个俗人，我常常和风谈论你，因为它总是先我一步去见你，有道是，南风知我意。若到了花季，请稍上我的简讯，给你带过去
 0 发自微信公众号

羁鸟 September 29th, 2022 at 09:15 pm
https://aws.amazon.com/cn/blogs/china/spark-job-ptimization-practice-on-emr/
 0 发自Windows 10

羁鸟 September 29th, 2022 at 09:12 pm
--driver-memory : driver内存大小
--executor-memory : 每个executor的内存
--num-executors : 总共申请的executor数目
--executor-cores : 每个executor内的核数，即每个executor中的可并行的任务task数
--spark.default.parallelism ： join、reduceByKey、parallelize等转换返回RDD中的默认分区数
--spark.sql.shuffle.partitions：sparks SQL join、聚合等进行数据shuffling会使用的分区数
--spark.dynamicAllocation.enabled : 设置是否开启动态资源配置
--spark.executor.memoryOverhead ： 分配给每个executor的堆外内存量
 0 发自Windows 10

羁鸟 September 2nd, 2022 at 07:30 pm

 0 发自微信公众号

羁鸟 July 19th, 2022 at 03:06 pm
虚拟机镜像https://archive.kernel.org/centos-vault/7.6.1810/isos/x86_64/
 1 发自Windows 10

羁鸟 June 24th, 2022 at 04:07 pm
回家

 0 发自微信公众号

羁鸟 June 8th, 2022 at 07:40 pm
代码和人，有一个能跑就行，hhhhhhh
 0 发自微信公众号

羁鸟 May 31st, 2022 at 12:04 pm
我滴任务完成了～

 0 发自微信公众号

羁鸟 May 29th, 2022 at 07:55 pm
阳光男孩

 0 发自微信公众号

羁鸟 May 16th, 2022 at 08:34 pm
科三真刺激

 0 发自微信公众号