PySpark_命令sc(SparkContext)與spark(SparkSession)_SparkSQL跟DataFrameAPI比較

-
 


進到core spark入口(建立SparkContext)
指令如下:
sc
若是要進入到SparkSession
指令如下
spark

  • SparkSession封裝了SparkSession的執行環境，為所有Spark SQL程式進入點。
  • 是在Spark1.6時候引入，允許不同使用者在使用不同config、暫存表情況下，共享同一個cluster環境。
  • 一個Spark Application只可擁有一個SparkContext，但可有多個SparkSession。


Using Python version 2.7.5 (default, Apr  2 2020 13:16:51)
SparkSession available as 'spark'.
>>> sc
<SparkContext master=yarn appName=PySparkShell>
>>> dir(sc)
['PACKAGE_EXTENSIONS', '__class__', '__delattr__', '__dict__', '__doc__', '__enter__', '__exit__', '__format__', '__getattribute__', '__getnewargs__', '__hash__', '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_accumulatorServer', '_active_spark_context', '_batchSize', '_callsite', '_checkpointFile', '_conf', '_dictToJavaMap', '_do_init', '_encryption_enabled', '_ensure_initialized', '_gateway', '_getJavaStorageLevel', '_initialize_context', '_javaAccumulator', '_jsc', '_jvm', '_lock', '_next_accum_id', '_pickled_broadcast_vars', '_python_includes', '_repr_html_', '_serialize_to_jvm', '_temp_dir', '_unbatched_serializer', 'accumulator', 'addFile', 'addPyFile', 'appName', 'applicationId', 'binaryFiles', 'binaryRecords', 'broadcast', 'cancelAllJobs', 'cancelJobGroup', 'defaultMinPartitions', 'defaultParallelism', 'dump_profiles', 'emptyRDD', 'environment', 'getConf', 'getLocalProperty', 'getOrCreate', 'hadoopFile', 'hadoopRDD', 'master', 'newAPIHadoopFile', 'newAPIHadoopRDD', 'parallelize', 'pickleFile', 'profiler_collector', 'pythonExec', 'pythonVer', 'range', 'runJob', 'sequenceFile', 'serializer', 'setCheckpointDir', 'setJobDescription', 'setJobGroup', 'setLocalProperty', 'setLogLevel', 'setSystemProperty', 'show_profiles', 'sparkHome', 'sparkUser', 'startTime', 'statusTracker', 'stop', 'textFile', 'uiWebUrl', 'union', 'version', 'wholeTextFiles']
>>> spark
<pyspark.sql.session.SparkSession object at 0x7f99a0c3cdd0>
>>> dir(spark)
['Builder', '__class__', '__delattr__', '__dict__', '__doc__', '__enter__', '__exit__', '__format__', '__getattribute__', '__hash__', '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_convert_from_pandas', '_createFromLocal', '_createFromRDD', '_create_from_pandas_with_arrow', '_create_shell_session', '_get_numpy_record_dtype', '_inferSchema', '_inferSchemaFromList', '_instantiatedSession', '_jsc', '_jsparkSession', '_jvm', '_jwrapped', '_repr_html_', '_sc', '_wrapped', 'builder', 'catalog', 'conf', 'createDataFrame', 'newSession', 'range', 'read', 'readStream', 'sparkContext', 'sql', 'stop', 'streams', 'table', 'udf', 'version']
>>> dir(spark.read)
['__class__', '__delattr__', '__dict__', '__doc__', '__format__', '__getattribute__', '__hash__', '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_df', '_jreader', '_set_opts', '_spark', 'csv', 'format', 'jdbc', 'json', 'load', 'option', 'options', 'orc', 'parquet', 'schema', 'table', 'text']
>>>

DataFrame封裝豐富的諸多API

>>> dir(empDF)
['__class__', '__delattr__', '__dict__', '__doc__', '__format__', '__getattr__', '__getattribute__', '__getitem__', '__hash__', '__init__', '__module__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', '__weakref__', '_collectAsArrow', '_jcols', '_jdf', '_jmap', '_jseq', '_lazy_rdd', '_repr_html_', '_sc', '_schema', '_sort_cols', '_support_repr_html', 'agg', 'alias', 'approxQuantile', 'cache', 'checkpoint', 'coalesce', 'colRegex', 'collect', 'columns', 'corr', 'count', 'cov', 'createGlobalTempView', 'createOrReplaceGlobalTempView', 'createOrReplaceTempView', 'createTempView', 'crossJoin', 'crosstab', 'cube', 'describe', 'distinct', 'drop', 'dropDuplicates', 'drop_duplicates', 'dropna', 'dtypes', 'exceptAll', 'explain', 'fillna', 'filter', 'first', 'foreach', 'foreachPartition', 'freqItems', 'groupBy', 'groupby', 'head', 'hint', 'intersect', 'intersectAll', 'isLocal', 'isStreaming', 'is_cached', 'join', 'limit', 'localCheckpoint', 'na', 'orderBy', 'persist', 'printSchema', 'randomSplit', 'rdd', 'registerTempTable', 'repartition', 'repartitionByRange', 'replace', 'rollup', 'sample', 'sampleBy', 'schema', 'select', 'selectExpr', 'show', 'sort', 'sortWithinPartitions', 'sql_ctx', 'stat', 'storageLevel', 'subtract', 'summary', 'take', 'toDF', 'toJSON', 'toLocalIterator', 'toPandas', 'union', 'unionAll', 'unionByName', 'unpersist', 'where', 'withColumn', 'withColumnRenamed', 'withWatermark', 'write', 'writeStream']
>>> type(empDF)
<class 'pyspark.sql.dataframe.DataFrame'>
>>>

假使我們有emp.csv具有表頭。


DataFrame中讀取跟顯示(從CSV檔案產生DataFrame)
spark.read.csv()預設為header=False，表示整個csv內容都是資料。

>>> empDF = spark.read.csv('emp.csv')
>>> empDF.show()
+-----+------+---------+----+---------+----+----+------+
|  _c0|   _c1|      _c2| _c3|      _c4| _c5| _c6|   _c7|
+-----+------+---------+----+---------+----+----+------+
|EMPNO| ENAME|      JOB| MGR| HIREDATE| SAL|COMM|DEPTNO|
| 7839|  KING|PRESIDENT|null|17-NOV-81|5000|null|    10|
| 7698| BLAKE|  MANAGER|7839|01-MAY-81|2850|null|    30|
| 7782| CLARK|  MANAGER|7839|09-JUN-81|2450|null|    10|
| 7566| JONES|  MANAGER|7839|02-APR-81|2975|null|    20|
| 7788| SCOTT|  ANALYST|7566|19-APR-87|3000|null|    20|
| 7902|  FORD|  ANALYST|7566|03-DEC-81|3000|null|    20|
| 7369| SMITH|    CLERK|7902|17-DEC-80| 800|null|    20|
| 7499| ALLEN| SALESMAN|7698|20-FEB-81|1600| 300|    30|
| 7521|  WARD| SALESMAN|7698|22-FEB-81|1250| 500|    30|
| 7654|MARTIN| SALESMAN|7698|28-SEP-81|1250|1400|    30|
| 7844|TURNER| SALESMAN|7698|08-SEP-81|1500|   0|    30|
| 7876| ADAMS|    CLERK|7788|23-MAY-87|1100|null|    20|
| 7900| JAMES|    CLERK|7698|03-DEC-81| 950|null|    30|
| 7934|MILLER|    CLERK|7782|23-JAN-82|1300|null|    10|
+-----+------+---------+----+---------+----+----+------+

>>>

Schema推論列印
>>> empDF.printSchema()
root
 |-- _c0: string (nullable = true)
 |-- _c1: string (nullable = true)
 |-- _c2: string (nullable = true)
 |-- _c3: string (nullable = true)
 |-- _c4: string (nullable = true)
 |-- _c5: string (nullable = true)
 |-- _c6: string (nullable = true)
 |-- _c7: string (nullable = true)

>>>

SparkSQL查找欄位對照
(起初先透過DataFrame暫存一個View)
使用empDF(dataframe)產生emp_tmptable(view)，起初並沒有儲存定義於hive metadata。


>>> spark.sql('show tables').show()
+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| default|sample_07|      false|
| default|sample_08|      false|
| default| web_logs|      false|
+--------+---------+-----------+

>>> spark.sql('show databases').show()
+------------+
|databaseName|
+------------+
|     default|
+------------+

>>> 




>>> empDF.createOrReplaceTempView("emp_tmptable")
>>> spark.sql('show tables').show()
+--------+------------+-----------+
|database|   tableName|isTemporary|
+--------+------------+-----------+
| default|   sample_07|      false|
| default|   sample_08|      false|
| default|    web_logs|      false|
|        |emp_tmptable|       true|
+--------+------------+-----------+

>>> spark.sql("select * from emp_tmptable")
DataFrame[_c0: string, _c1: string, _c2: string, _c3: string, _c4: string, _c5: string, _c6: string, _c7: string]
>>> spark.sql("select * from emp_tmptable").show()
+-----+------+---------+----+---------+----+----+------+
|  _c0|   _c1|      _c2| _c3|      _c4| _c5| _c6|   _c7|
+-----+------+---------+----+---------+----+----+------+
|EMPNO| ENAME|      JOB| MGR| HIREDATE| SAL|COMM|DEPTNO|
| 7839|  KING|PRESIDENT|null|17-NOV-81|5000|null|    10|
| 7698| BLAKE|  MANAGER|7839|01-MAY-81|2850|null|    30|
| 7782| CLARK|  MANAGER|7839|09-JUN-81|2450|null|    10|
| 7566| JONES|  MANAGER|7839|02-APR-81|2975|null|    20|
| 7788| SCOTT|  ANALYST|7566|19-APR-87|3000|null|    20|
| 7902|  FORD|  ANALYST|7566|03-DEC-81|3000|null|    20|
| 7369| SMITH|    CLERK|7902|17-DEC-80| 800|null|    20|
| 7499| ALLEN| SALESMAN|7698|20-FEB-81|1600| 300|    30|
| 7521|  WARD| SALESMAN|7698|22-FEB-81|1250| 500|    30|
| 7654|MARTIN| SALESMAN|7698|28-SEP-81|1250|1400|    30|
| 7844|TURNER| SALESMAN|7698|08-SEP-81|1500|   0|    30|
| 7876| ADAMS|    CLERK|7788|23-MAY-87|1100|null|    20|
| 7900| JAMES|    CLERK|7698|03-DEC-81| 950|null|    30|
| 7934|MILLER|    CLERK|7782|23-JAN-82|1300|null|    10|
+-----+------+---------+----+---------+----+----+------+

>>>

empDF=spark.read.format('csv').option('header','true').load('emp.csv')



DataFrame具有表頭的讀取寫法(兩種)
header=True:將第一行的值,以逗號當作分隔,當作欄位名字


>>> empDF=spark.read.format('csv').option('header','true').load('emp.csv')
>>> empDF.show()
+-----+------+---------+----+---------+----+----+------+
|EMPNO| ENAME|      JOB| MGR| HIREDATE| SAL|COMM|DEPTNO|
+-----+------+---------+----+---------+----+----+------+
| 7839|  KING|PRESIDENT|null|17-NOV-81|5000|null|    10|
| 7698| BLAKE|  MANAGER|7839|01-MAY-81|2850|null|    30|
| 7782| CLARK|  MANAGER|7839|09-JUN-81|2450|null|    10|
| 7566| JONES|  MANAGER|7839|02-APR-81|2975|null|    20|
| 7788| SCOTT|  ANALYST|7566|19-APR-87|3000|null|    20|
| 7902|  FORD|  ANALYST|7566|03-DEC-81|3000|null|    20|
| 7369| SMITH|    CLERK|7902|17-DEC-80| 800|null|    20|
| 7499| ALLEN| SALESMAN|7698|20-FEB-81|1600| 300|    30|
| 7521|  WARD| SALESMAN|7698|22-FEB-81|1250| 500|    30|
| 7654|MARTIN| SALESMAN|7698|28-SEP-81|1250|1400|    30|
| 7844|TURNER| SALESMAN|7698|08-SEP-81|1500|   0|    30|
| 7876| ADAMS|    CLERK|7788|23-MAY-87|1100|null|    20|
| 7900| JAMES|    CLERK|7698|03-DEC-81| 950|null|    30|
| 7934|MILLER|    CLERK|7782|23-JAN-82|1300|null|    10|
+-----+------+---------+----+---------+----+----+------+

>>> empDF=spark.read.csv('/user/cloudera/emp.csv',header=True)
>>> empDF.show()
+-----+------+---------+----+---------+----+----+------+
|EMPNO| ENAME|      JOB| MGR| HIREDATE| SAL|COMM|DEPTNO|
+-----+------+---------+----+---------+----+----+------+
| 7839|  KING|PRESIDENT|null|17-NOV-81|5000|null|    10|
| 7698| BLAKE|  MANAGER|7839|01-MAY-81|2850|null|    30|
| 7782| CLARK|  MANAGER|7839|09-JUN-81|2450|null|    10|
| 7566| JONES|  MANAGER|7839|02-APR-81|2975|null|    20|
| 7788| SCOTT|  ANALYST|7566|19-APR-87|3000|null|    20|
| 7902|  FORD|  ANALYST|7566|03-DEC-81|3000|null|    20|
| 7369| SMITH|    CLERK|7902|17-DEC-80| 800|null|    20|
| 7499| ALLEN| SALESMAN|7698|20-FEB-81|1600| 300|    30|
| 7521|  WARD| SALESMAN|7698|22-FEB-81|1250| 500|    30|
| 7654|MARTIN| SALESMAN|7698|28-SEP-81|1250|1400|    30|
| 7844|TURNER| SALESMAN|7698|08-SEP-81|1500|   0|    30|
| 7876| ADAMS|    CLERK|7788|23-MAY-87|1100|null|    20|
| 7900| JAMES|    CLERK|7698|03-DEC-81| 950|null|    30|
| 7934|MILLER|    CLERK|7782|23-JAN-82|1300|null|    10|
+-----+------+---------+----+---------+----+----+------+

>>>

DataFrame具有表頭的讀取且schema依資料自行推論
默認都會是string
inferSchema=True:欄位資料型態以推論方式決定


>>> empDF = spark.read.csv('/user/cloudera/emp.csv',header='true',inferSchema='true')
>>> empDF.printSchema()
root
 |-- EMPNO: integer (nullable = true)
 |-- ENAME: string (nullable = true)
 |-- JOB: string (nullable = true)
 |-- MGR: integer (nullable = true)
 |-- HIREDATE: string (nullable = true)
 |-- SAL: integer (nullable = true)
 |-- COMM: integer (nullable = true)
 |-- DEPTNO: integer (nullable = true)

>>>






留言

張貼留言

這個網誌中的熱門文章

何謂淨重(Net Weight)、皮重(Tare Weight)與毛重(Gross Weight)

-
圖片
當談到貨物的重量時，往往會分成所謂的淨重(Net Weight)與毛重(Gross Weight)。 會有以下公式關係存在 淨重=毛重-皮重(包裝物的重量) 毛重=淨重+皮重 淨重( Net Weight 縮寫為N.W.) 指物品本身的重量，不包括容器或包裝材料的重量。 凈重是國際貿易中最常見的計重辦法。 例如，如果運輸原材料，原材料的重量就是所運輸貨物的淨重。包裝原材料的容器或包裝不計入淨重。同樣地，當我們考慮一罐豆子時，罐子內所含物品的重量就算作淨重。因此，淨重將包括豆子、罐頭里的任何液體，以及保存豆子所含的物品。 大多數 以重量為計價的貨物買賣 ，採用此計價方法。 若合同中並未明確規範以何種方式計量和計價時，按慣例以凈重計價。 毛重( Gross Weight 縮寫G.W.) 貨物連同它的包裝的重量，是你托運的所有物品的總重量。 皮重(Tare Weight) 指商品外包裝材料的重量(即運輸包裝的重量)，不包括內包裝材料和襯墊物的重量。 比方一個空的貨櫃、容器、或任何包裝材料的重量。 Net Net Weight純淨重 (指從Net Weight中扣除內包裝後的重量) 進出口商品為了因應運輸及消費需求, 一般都有內包裝與外包裝。 一般在買賣合同與信用狀中,通常只要求於裝箱單上註明Gross Weight和Net Weight即可, 但有些L/C 要求 Net Net Weight,大多是海關徵收從量稅時的依據 運輸重量對於航運業或者航空運輸等各自都通用這些術語 為何特別在意重量? 主要就在於會影響像是傳輸安全乘載限制。 就運輸層面(不同方式的運輸) 航空運輸：對機長而言，毛重包括皮重、產品淨重以及飛機、燃料、乘客和機組人員的重量。 公路/鐵路運輸:對於火車車長而言，毛重包括產品淨重、皮重和運輸車輛的重量。 水路航運運輸：對船長而言，毛重就是淨重和皮重之和。 就公司ERP成本角度 成本一般都會採用 "淨重" 主要是因為若用毛重，可能會有輔材不可控因素存在 比方一個 5cm 固定塑膠件，今天用一個 10cm 紙箱測重，明天用一個 100cm 紙箱測重，那可能就容易導致ERP資料比較會失真。 就物流層面來探討 通常還會有一名詞即所謂「實際重量」(Actual Weight) 根據稱重(過磅)所得到的重量，實際重量分為實際毛重(Gross Weig...
閱讀完整內容

Architecture(架構) 和 Framework(框架) 有何不同?_軟體設計前的事前規劃的藍圖概念

-
圖片
一個應用程式(軟體) 不管是  互動拍照 也好、 投影也好、車牌偵測... 舞台演唱會後方電視牆的互動應用程序、 粒子特效、3D或2D遊戲  等等 開發者通常都需要在一開始做規劃 ㄟ  假設我今天要寫 跟影像有關 可能需要偵測、可能需要提取前景、可能需要偵測圓形 之類的 我有  emgucv 、AForge.Net、 opencv 等等可以用 但是 假設我今天要做的應用程序是需要有視窗介面的~~ emgucv 跟 C# windows form 媒合性 就很高 而且直接在 visual studio 做開發 opencv 我可能還需要依賴 Qt 之類等等  framework 假設我今天是要寫一個 演唱會電視牆互動粒子特效 可能就會挑   openframeworks  、 processing 、kinect 來寫互動 Achitecture  --->全稱 :  Software Architecture   軟體架構 Achitecture   由好多 framework 組成 軟體架構（Software Architecture）是一種軟體在開發前的設計藍圖， 用來告訴軟體的結構，功能，介面，用法，與其他系統的構連以及資料交換等等規範， 但它並沒有叫你要用什麼方式實作， 因此軟體架構通常會產生文件，圖樣，原型以及規格等， 就是沒有可用的程式碼，因為那不是軟體架構應該有的東西， 就像蓋房子時是給你藍圖，而不是一幢蓋好的房子。 軟體框架（Framework):是一個已經成形的方法，而且有程式碼實體 （例如鋼構工法也是要有鋼材才能做），並且會告訴你要如何使用它 （即 Framework Documentation，MSDN Library 即為一最佳例子）
閱讀完整內容

經得起原始碼資安弱點掃描的程式設計習慣培養(五)_Missing HSTS Header

-
圖片
  接續前幾篇系列 經得起原始碼資安弱點掃描的程式設計習慣培養(一)_OWASP Top 10(十大網站安全風險)_學習寫更安全程式碼的網站推薦 經得起原始碼資安弱點掃描的程式設計習慣培養(二)_8.Insecure Deserialization ：不安全的反序列化漏洞ASP.NET處理方式 經得起原始碼資安弱點掃描的程式設計習慣培養(三)_7.Cross Site Scripting(XSS)_Stored XSS_Reflected XSS All Clients 經得起原始碼資安弱點掃描的程式設計習慣培養(四)_1.Injection注入攻擊_SQL Injection)_order by 語句正確參數化套入 最近又遇到被若安掃描到高風險要修正的程式碼啦.... 一看這還真是搞不懂該怎麼修呢 HSTS(HTTP Strict Transport Security)  主要是一份國際標準規格 (RFC 6797) 的網際網路瀏覽安全機制， 用於宣告瀏覽器與伺服器之間通訊方式必須強制採用 TLS/SSL 加密通道。 只要從伺服器端送出一個 Strict-Transport-Security 標頭 (Header) 給瀏覽器，即可告知瀏覽器於未來的某段時間內一律使用 SSL 來和該網站連接 (設定可涵蓋所有子域名網站)， 一旦發生憑證失效情況，使用者將無法再瀏覽該網站，如此一來便可大幅減少中間人攻擊的問題發生。 再更白話一點 HSTS Header 就是負責將 http 強制轉為 https CheckMarx掃碼報告給的說明 ============================================================ 風險: 如果web config沒有設置HSTS表頭、"max-age"(有效期)不足一年， 或沒有設定"includeSubDomains"(包含所有子網域)，可能會使用戶容易遭受中間人攻擊。 發生原因: 許多使用者只要在瀏覽器的網址列輸入網域名稱(Domain Name)即可瀏覽網站， 並沒有輸入協定(Protocol)的名稱。 瀏覽器會自動假設使用者使用的是HTTP協定而不是有加密機制的HTTPS協定。 在第一次發出前往特定網站的請求時，攻擊者可以執行中間人攻擊並將用戶轉址到...
閱讀完整內容