城鄉規劃大數據應用基礎知識
近十年來,隨著信息技術的迅速發展與移動互聯網的廣泛普及,大數據技術的應用與規劃行業的結合,為現代城鄉規劃發展帶來了前所未有的機遇和挑戰。鑒于新事物的特點,規劃編制與管理者在實際的工作中常常遇到一些新概念、新方法及新應用領域問題,本文擬從常用術語、數據來源以及數據處理三個方面進行簡單介紹,希望能對實際工作者理解大數據在規劃領域的應用有所幫助。
△常用術語及含義
(1)POI(PointOfInterest),興趣點,是指各類地表設施的位置和屬性信息集合而成的地理空間數據,每個POI一般包括名稱、類別、業務描述、經緯度等方面信息,多來源于百度、高德、新浪等互聯網公司。
(2)SoLoMo,Social-Location-Mobile的簡稱,即社交本地移動。其中Social表示社交網絡,用于幫助人們建立社交性的互聯網應用服務,比如微博、微信、Facebook等。Location表示基于位置的服務,獲取個體的空間位置和行為,實現各類與位置相關的業務,比如微博、微信中的實時位置。Mobile,表示以平板電腦和智能手機等為代表的移動互聯網應用,是實時、動態跟蹤用戶行為的基礎。
(3)API(ApplicationProgrammingInterface),應用程序編程接口,開放的API使開發人員不用訪問源代碼或者理解內部工作機制的細節,就可以高效地調用該程序的相應功能。
(4)OSM(OpenStreetMap),開源街道地圖,是一個內容自由且所有人可編輯的地圖。OSM數據開源,可自由下載使用,拓展了規劃師的矢量空間數據來源,如城市道路網等。
(5)手機數據,包括信令數據和話單數據,基本原理是手機信號需要定時和最近的通信基站發生聯系,且通信基站是空間固定的且具有經緯度坐標。信令數據,依托運營商建立的信令監測平臺,記錄手機匿名ID、事件類別、時間、基站編號等信息;話單數據,依托運營商建立的計費系統,記錄手機匿名ID、計費有關的通話、短信事件信息、發生時間、基站編號等信息。
(6)數據庫,當數據量過大,為了準確、快捷、人性化的管理所有數據,就需要用到數據庫,可分為關系型數據庫和非關系型數據庫。關系型數據是指把所有數據通過二維表格的形式表示出來,比如Oracle、MicrosoftSQLServer和MySQL等數據庫軟件;非關系型數據庫(NoSQL=NotOnlySQL),意即“不僅僅是SQL”,用于超大規模文檔等數據的存儲,NoSQL數據庫軟件有MongoDB、CouchDB等,谷歌和Facebook每天萬億比特[1]的用戶數據即是采用NoSQL數據庫存儲的。
(7)云計算(CloudComputing),把分散在世界各地的高性能計算機連接起來構成具有強大計算處理能力的資源池,用戶可按需付費、按需使用,是處理大數據的未來發展趨勢。Hadoop作為當前常用的基礎云計算平臺,是一個開源的分布式系統基礎框架,適合大數據集的高速運算與存儲,目前已廣泛應用于包括Facebook、Twitter和Yahoo!等公司。
△城鄉規劃中大數據來源主要包括互聯網和智慧設施數據
(1)互聯網數據,包括導航地圖類POI(百度地圖、高德地圖等)、大眾點評類POI、微博數據(新浪微博POI、簽到數據)、游記文本數據(攜程網、螞蜂窩、去哪兒網、同程網和藝龍網等旅游網站)、人口熱圖數據(百度熱力圖、騰訊熱力圖等)、房價數據(鏈家、搜房網、安居客等)和企業基礎數據(龍信企業數據)等。
(2)智慧設施數據,包括公交刷卡、出租車GPS、智能水電氣表、手機數據(含手機信令、手機話單、手機上網)等。
△城鄉規劃中大數據常用技術處理方法主要包括數據獲取和數據分析兩個方面
(1)數據獲取方法:一是對于大眾點評類POI數據、游記文本數據、人口熱圖數據和房價數據等,可以通過網絡爬蟲的方式獲取。網絡爬蟲,又稱網頁蜘蛛,指的是程序員基于python、Java等計算機語言編寫程序或腳本,能夠自動地訪問互聯網并將網站內容下載下來。另外,有些網站數據由于規律性較強,也可通過成熟的爬取軟件(如火車頭、八爪魚)獲取。二是對于導航類地圖POI數據(百度地圖POI、高德地圖POI等)和微博數據(新浪微博POI和簽到數據)等,必須通過編程調用官方開放的API接口獲取。三是智慧設施數據通過相關部門或官方開放網站獲取。
(2)數據分析方法:一是數據預處理,比如數據清洗、數據變換等。其中,數據清洗是按照一定的規則把“臟數據”“洗掉”,發現并糾正數據文件中可識別的錯誤;數據變換即把原始數據轉換成適合數據分析的形式,比如多種坐標系的統一,通常獲取的數據為火星坐標系(GCJ-02)、百度坐標系(BD-09)、地球坐標系(WGS84)等,在具體的數據分析過程中,需要進行坐標轉換統一至相同的空間平臺。二是數據挖掘,將數據提煉為信息和價值的提升過程,主要包括統計分析、模式識別、機器學習和深度學習等處理方法,通過研究算法、確定模型、編寫程序等方式,從大量數據中探索隱藏其中的信息、規律、分布特征等。
編輯:lianqi
相關閱讀
蘭州理工大學建筑與城鄉規劃專業展開幕
5月26日上午,蘭州理工大學【詳細】
鄉村規劃師的人才困局:有情懷缺歸屬感
原本城市才有的規劃工作,8年前就走進了成都的鄉村。今年4月,成都第八批鄉村規劃師開始招募了。【詳細】
素描在設計表現中的應用
不管是紀實性的攝影還是創作性的攝影,攝影師都要學會組織畫面。新聞攝影的選材在于角度和距離,而策劃性的攝影在于組織人物和道具。速寫也是這樣的。畫家的眼睛不是照相機的鏡頭而是像一個調度員,選取合適的、對應【詳細】
摩拜大數據:開啟城市規劃新想象
為城市統籌規劃提供依據【詳細】