timebusker的博客

[置顶] 交易的道与术（一）

Posted by timebusker on 2025-07-19

[置顶] 经典图形笔记

做票需要分析市场主线、环境、能量以及四面（基本面、技术面、消息面、政策面），选择好目标后在趋势内要保持好耐心，快不如慢明显资金控盘交易的本质要走到大众情绪的对立面，识别市场情绪、大众情绪，跟随市场情绪，反向大众情绪做交易跟随。时分情绪回暖 K线趋势图时分量价背离...

Posted by timebusker on 2024-12-05

[置顶] 经典美句收录集合

赞美美句我想不出任何你需要改变的地方，我爱你的全部。普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场。励志美句 ...

Posted by timebusker on 2022-08-10

Spark笔记(七)-Spark运行流程

基本概念 Application：客户端应用程序 Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContex...

Posted by timebusker on 2018-06-25

Spark笔记(六)-Spark的广播变量和累加器

概述在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是...

Posted by timebusker on 2018-06-25

Spark笔记(五)-Spark之RDD-算子API使用（二）

算法实例 workCount TopN 多主键排序 package com.timebusker import org.apache.spark.{Partitioner, SparkConf, SparkContext} import scala.collection...

Posted by timebusker on 2018-06-25

Spark笔记(五)-Spark之RDD-算子API使用（一）

Transformation算子 map(func()) 对于多层集合嵌套，需要确保函数能够处理当前迭代元素输入分区与输出分区一对一，即：有多少个输入分区，就有多少个输出分区。接收一个函数，对于RDD中的每一个元素执行此函数操作，结果返回到原集合中。 // 单层集合 val ...

Posted by timebusker on 2018-06-25

Spark笔记(四)-Spark之RDD-持久化机制和Checkpoint机制

持久化机制所谓RDD的持久化，其实就是对RDD进行缓存，它是Spark重要的优化手段之一。为什么需要对RDD进行缓存呢？这与Spark作业的执行机制有关，我们知道，Spark程序只有遇到action算子的时候才会执行程序，具体的执行算法大致如下： Spark会以actionRDD为起点，...

Posted by timebusker on 2018-06-25

Spark笔记(四)-Spark之RDD-分区

基础知识分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。为什么要进行分区数据分区，...

Posted by timebusker on 2018-06-25

Spark笔记(三)-Spark之RDD

RDD的概述 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。...

Posted by timebusker on 2018-06-25

Spark笔记(二)-Spark安装使用

安装基础 JDK安装成功(必须，Spark使用scala语言编写，运行在JVM上) zookeeper安装成功（非必须，基于ZK配置Spark高可用） hadoop2.7.5 HA安装成功（非必须，启动spark服务，sc变量可直接读取...

Posted by timebusker on 2018-06-25

Spark笔记(一)-初识Spark

Spark介绍 Apache Spark™是用于大规模数据处理的统一分析引擎。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的Map...

Posted by timebusker on 2018-06-25

MySQL学习笔记（三）— MySQL异常解决办法

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 (内存信息超过限制额)Container is running beyond memory limits # 异常信息： Application application_1545595549057_0003 failed 2 times...

Posted by timebusker on 2018-06-25

MySQL学习笔记（二）—MySQL常用配置

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 MySQL本机免密登陆注：密码配置到文件以后是有安全隐患的，请根据自己的实际需求来配置。 # 编辑配置文件后保存即可实现 # vim /root/.my.cnf [client] host=localhost user=root pas...

Posted by timebusker on 2018-06-24

大数据学习姿势

大数据学习姿势：循序渐进…. 前言三个发展方向平台搭建、优化、运维、监控大数据开发、设计、架构数据分析、挖掘大数据的4大特征数据量大：TB->PB 数据类型繁多：结构化、非结构化文本、日志、视频、图片、地理位置等商业价值高：但是这种...

Posted by timebusker on 2018-06-15

Hadoop学习笔记 — Hadoop2.0架构新特性

Hadoop2.0新特性 NameNode HA NameNode Federation HDFS快照 HDFS缓存 HDFS ACL NameNode HA 背景 Hadoop 1.0中NameNode在整个HDFS中只有一个，存在单点故障风险,一旦Na...

Posted by timebusker on 2018-06-14

Linux（CentOS）让进程在后台可靠运行的几种方法

Linux（CentOS）让进程在后台可靠运行的几种方法 blog Linux 技巧：让进程在后台可靠运行的几种方法常用命令组合 # 标准输出到文件myout.file，并把标准错误输出重定向到标准输出中，写入文件 nohup command > myout.file 2&...

Posted by timebusker on 2018-06-06

IDEA打包JAR的多种方式

IDEA打包JAR的多种方式用IDEA自带的打包形式用maven-shade-plugin打包 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifac...

Posted by timebusker on 2018-06-06