终于，要对并行计算下手了哈哈哈。
一直讲大数据大数据，我单次数据处理量大概在1t上下，是过亿级的轨迹数据。 用python调用multiprogress编写的代码，用多线程也要一个多月跑完。 我对这个效率不太满意，希望能快一点再快一点，这是学习Spark的前提。
安装过程见： spark出pyspark了，可直接用python调用。但是我想接触下scala。所以先装scala试试。
博客园：windows上安装和运行spark scala Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中
下面采用的是博客园的步骤。先IDEA，再saprk、hadoop、scala。 第二个微信链接，是先scala、hadoop，再spark。都可以
安装jdk 安装intelj IDEA，配置scala插件wechat文章：2023最新版IntelliJ IDEA安装教程（非常详细）从零基础入门到精通，看完这一篇就够了
安装spark https://archive.apache.org/dist/spark/spark-3.5.0/ 官网下也可以 这里需要注意的是验证部门，也就是解压完spark文件后，官方提醒要验证一下下载包是否有错。参考下面链接step4 How to Install Apache Spark on Windows 10：https://phoenixnap.com/kb/install-spark-on-windows-10 安装hadoop https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.6/hadoop-3.3.6-src.tar.gz 需要注意的是，带【src.tar.gz】下载解压后的hadoop没有bin文件，要去https://gitcode.net/mirrors/cdarlint/winutils/-/tree/master/hadoop-3.3.5/bin选择版本下载补充。（我不理解为什么） 3.3.6是最新版本hadoop，但是上面gitcode库中，bin更新到3.3.5，所以注意版本 https://downloads.apache.org/hadoop/common/hadoop-3.3.5/另一个方法是在https://downloads.apache.org/hadoop/common/hadoop-3.3.6/，选择【tar.gz】结尾的文件，也就是几百兆的那个，很大的。里面自带bin文件 具体可见Spark简单介绍，Windows下安装Scala+Hadoop+Spark运行环境，集成到IDEA中 中安装hadoop的如果在cmd验证时，输入hadoop，显示有一个错误是Error: JAVA_HOME is incorrectly set。解决方法一： Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\hadoop-env.cmd解决方法。 环境变量设置java_home办法：JAVA_HOME环境变量的配置（Win10系统） 随后关掉cmd再重新打开输入hadoop，不会报错了。 安装scala SDKscala和spark版本对应，看这个链接：https://mvnrepository.com/artifact/org.apache.spark/spark-core 我3.5对应scala的2.12或者2.13。然后去官网下载，配好环境变量就行 https://www.scala-lang.org/download/all.html
安装Maven我没有装，有需要再来
我的综合版本： IDE:Intelij IDEA 2023.2.2 spark-3.5.0-bin-hadoop3 hadoop-3.3.6-tar.gz Scala 2.13.12
验证scala在IDEA中新建项目。2023版本跟网上的一些之前版本例子不一样，尤其是在【build system】这里，选择红框的。 这样新建的项目中才可以生成新的scala类。
