143
个编辑
更改
创建页面，内容为“{{cquote|一千多个CPU进入了满负荷，内存里广阔的电子世界中，逻辑的台风在呼啸，数据大洋上浊浪淘天……|《混沌蝴蝶》|刘…”
{{cquote|一千多个CPU进入了满负荷，内存里广阔的电子世界中，逻辑的台风在呼啸，数据大洋上浊浪淘天……|《混沌蝴蝶》|刘慈欣}}
局部天气项目希望设计一个基于[[气象雷达]]的高精度1小时天气预报程序，地点精确到1公里，时间精确到1分钟。
[[File:radar_google_map.png|thumb|气象雷达显示在谷歌地图上]]
原理基于这篇文章: [http://y234.cn/?p=5429 人人都是天气专家：亲自预报几点几分下雨！]
==主要数据来源==
* [http://cdc.cma.gov.cn/home.do 中国气象科学数据共享服务网]
* [http://www.nmc.gov.cn/publish/radar/stationindex.htm 中央气象台气象雷达]
* [http://www.moc.cma.gov.cn/1?p_p_id=moc_radar_WAR_moc_portlet_INSTANCE_vqfu&p_p_lifecycle=0&p_p_state=normal&p_p_mode=view&p_p_col_id=column-1&p_p_col_pos=1&p_p_col_count=2&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_struts_action=%2Fmoc%2Fradar%2Fview&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_station=Z9010&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_generalType=radar&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_showTreeParam=show_station 中央气象局气象探测中心]
* [http://www.metservice.com/maps-radar/rain-radar/wellington 新西兰metservice]
==界面设计初稿==
===ipad与网页版===
[[File:彩云天气界面设计初稿.png|800px]]
[[Category:旧词条迁移]]
==第一个版本的任务分解==
第一个版本的目标是实时气象雷达观测
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| 采集数据 || 1d || 已部署到swarma.net:/data/nowCasting，缺报警、测试、大数据转移
|-
| 整理数据 || 2d || 程序完成
|-
| 融合地图 || 2d || 程序功能测试完成，地标不准确，缺少分省数据
|-
| 测试地图数据 || 1d || 发现bug，延后处理
|-
| 网页前端 || 3d || 部分完成
|-
| 移动前端 || 3d || 部分完成
|-
| 前端测试 || 2d || 部分完成
|}
目前北京实时气象雷达移动版和网页版均已可以使用了。
前端任务剩余：
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| splash优化 || 0.1d ||
|-
| 增加设置按钮 || 1d ||
|-
| slider全屏滑动 || 0.5d ||
|-
| 选择城市功能 || 1d ||
|}
后台任务剩余：
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| 标注城市经纬度 || 5d ||
|-
| 处理非256色图片 || 1d || 已经由立夏完成，实际消耗3天
|-
| 优化数据更新脚本 || 0.5d ||
|}
==第二个版本的任务分解==
第二个版本的目标是预测一个小时内的天气情况，因为forecast.io的压力，我需要尽快知道我能否做预测。
[[机器学习暴雨竞猜挑战赛]]
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| 数据预处理：去噪音，90%的准确率 || 5d || 此任务已由立夏接手
|-
| 数据预处理：矩阵化 || 0.5d || 完成
|-
| 构造训练测试集 || 1d || 完成
|-
| 基本回归方案测试 || 1d || 完成，三十分钟预测准确率90%
|-
| conv+mlp实验（如果LR的准确度超过60%） || 3d || 肖达和行远进行中
|-
| 计算风速 || 3d || 完成
|-
| 线性外推法预估降雨量 || 2d || 第一版完成
|}
已经确定无论外推法还是回归法都可以做预测，调研基本结束。
==整理数据==
====原始图像例子====
http://wiki.swarma.net/images/f/f4/SEVP_AOC_RDCP_SLDAS_EBREF_AZ9010_L88_PI_20130811095000000.GIF
===把气象雷达数据做一个模糊===
{| class="wikitable"
|-
! 总有效像素点 !! 确切数值像素点 !! 确切像素比率
|-
| 142456 || 124750 || 87.6%
|}
====处理前====
[[File:radar_raw.png|400px]]
====处理后====
[[File:radar_blur.png|400px]]
====来一张全景图====
http://wiki.swarma.net/images/f/f1/SEVP_AOC_RDCP_SLDAS_EBREF_AZ9010_L88_PI_20130811095000000.blur.gif
==融合地图==
* [http://labs.swarma.net/wp/data/server_Radar_256.kml kml格式气象雷达数据样例(google earth可以直接打开)]
[[File:kml_googleearth.png|400px|thumb|none|效果图]]
* [http://labs.swarma.net/wp/ 气象雷达融合地图]
[[File:radar_google_map.png|400px|thumb|none|气象雷达融合谷歌地图效果图]]
===地图中心点===
* 北京市大兴区气象局 39.809789,116.476701
<math>
c_{earth} = 40075
</math>
<math>
\delta_{Latitude} = \frac{230}{\frac{c_{earth}}{360}} = 2.0661
</math>
<math>
\delta_{Longitude} = \frac{230}{\frac{c_{earth}}{360} cos(\alpha)}= 2.6896
</math>
实际北京地区的气象雷达范围应该是[37.7437, 41.8759] x [113.7871, 119.1663]
==动画效果==
* [http://caiyunapp.com 演示地址]
<html>
<iframe src="http://caiyunapp.com/map" width="600" height="500" frameborder="0" scrolling="no"></iframe>
</html>
==降雨带移动速度和降雨量强弱变化率==
[[File:云层移动速度和强弱变化率.png|none|thumb|400px|云层移动速度和强弱变化率]]
==外推法第一版效果==
===6分钟相对误差===
预测向量和实际向量的二范数相对误差
<math>
e=\frac{\vert y-y_{pre} \vert }{\vert y \vert}=35.70%
</math>
预估错误（误差超过10%）的像素占总像素的比例
<math>
e'=\frac{ErrorGreaterThanTenPersent(y-y_{pre}) }{length(y)}=6.73%
</math>
===12分钟相对误差===
<math>
e=\frac{\vert y-y_{pre} \vert }{\vert y \vert}=39.59%
</math>
===六分钟图像===
[[File:Rainguess baseline1 actual1.png|thumb|300px|实际图像|none]]
[[File:Rainguess baseline1 predict1.png|thumb|300px|预测图像|none]]
==LR第一版效果==
===30分钟预测二值正确率90%===
set_size(train:valid:test) = 1300:200:200
Optimization complete with best validation score of 8.000000 %,with test performance 12.500000 %
==神经网络MLP、卷积网络、外推法效果对比==
{| class="wikitable"
|-
! 方法 !! 测试集和训练集样本尺寸 !! MSE !! 相邻两帧MSE || MSE比值
|-
| 光流线性外推法 ||3x300x300->1x280x280 || 0.00191384156812 || 0.00219730936579 || 87%
|-
| rect MLP+LR || 3x20x20->1x6x6, (3x20x20范围内的降雨量之和>0.01) || 0.00297222222 || 0.0048611111 || 60%
|-
| simple conv || 3x60x60->1x40x40 || 0.0015 || 0.0024 || 62%
|-
| simple conv || 2x160x160->1x140x140 || 0.00199 || 0.00288 || 69%
|}
==参考资料==
* [http://y234.cn/?p=5429 人人都是天气专家：亲自预报几点几分下雨！]
* http://en.wikipedia.org/wiki/Numerical_weather_prediction
* http://en.wikipedia.org/wiki/Weather_forecasting#Nowcasting
* http://www.atmos.washington.edu/~cliff/BAMSNowcast7.11.pdf
* http://udini.proquest.com/view/nowcasting-for-a-high-resolution-goid:839772013/
* https://www.eumetsat.int/cs/idcplg?IdcService=GET_FILE&dDocName=pdf_conf_p57_s7_01_derosa_p&allowInterrupt=1&noSaveAs=1&RevisionSelectionMethod=LatestReleased
* [https://developers.google.com/maps/documentation/javascript/overlays?hl=zh-cn google map api]
* [http://blog.jackadam.net/2011/how-dark-sky-works/ how dark sky works]
* [http://www.diva-portal.org/smash/get/diva2:273847/FULLTEXT01.pdf Two-Frame Motion Estimation Based on Polynomial Expansion]
* [http://aaaipress.org/Papers/AAAI/2007/AAAI07-321.pdf 医学图像预测]
* [https://www.google.com/patents/CN100521689 Location-based weather nowcast system and method]
* [http://www.weather.gov.hk/publica/reprint/r1056.pdf 香港天文台定点降雨预报] [http://www.hko.gov.hk/publica/reprint/r860.pdf 多尺度光流变分法]
* [http://www.adv-geosci.net/7/97/2006/adgeo-7-97-2006.pdf Artificial neural-network technique for precipitation nowcasting from satellite imagery]
* [http://219.234.83.5/ch/reader/create_pdf.aspx?file_no=20080701&year_id=2008&quarter_id=7&falg=1 天气雷达回波外推技术应用研究]
* [http://novel.ict.ac.cn/ychen/pdf/DaDianNao.pdf 深度学习芯片]
===数据接口===
* [http://www.cnlamp.org/other/526.html 国家气象局数据接口说明]
* [http://adamwhitcroft.com/climacons/ 天气图标]
===参考app===
* [http://itunes.apple.com/us/app/dark-sky-weather-radar-hyperlocal/id517329357 dark sky] 和 [http://forecast.io forecast.io]
* [https://itunes.apple.com/us/app/radarnow!-weather-radar/id634139673?mt=8 RardarNow!]
* [https://play.google.com/store/apps/details?id=com.Elecont.WeatherClock 天气手表]
* [http://7timer.y234.cn/index.php?lang=zh-CN 晴天钟]
局部天气项目希望设计一个基于[[气象雷达]]的高精度1小时天气预报程序，地点精确到1公里，时间精确到1分钟。
[[File:radar_google_map.png|thumb|气象雷达显示在谷歌地图上]]
原理基于这篇文章: [http://y234.cn/?p=5429 人人都是天气专家：亲自预报几点几分下雨！]
==主要数据来源==
* [http://cdc.cma.gov.cn/home.do 中国气象科学数据共享服务网]
* [http://www.nmc.gov.cn/publish/radar/stationindex.htm 中央气象台气象雷达]
* [http://www.moc.cma.gov.cn/1?p_p_id=moc_radar_WAR_moc_portlet_INSTANCE_vqfu&p_p_lifecycle=0&p_p_state=normal&p_p_mode=view&p_p_col_id=column-1&p_p_col_pos=1&p_p_col_count=2&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_struts_action=%2Fmoc%2Fradar%2Fview&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_station=Z9010&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_generalType=radar&_moc_radar_WAR_moc_portlet_INSTANCE_vqfu_showTreeParam=show_station 中央气象局气象探测中心]
* [http://www.metservice.com/maps-radar/rain-radar/wellington 新西兰metservice]
==界面设计初稿==
===ipad与网页版===
[[File:彩云天气界面设计初稿.png|800px]]
[[Category:旧词条迁移]]
==第一个版本的任务分解==
第一个版本的目标是实时气象雷达观测
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| 采集数据 || 1d || 已部署到swarma.net:/data/nowCasting，缺报警、测试、大数据转移
|-
| 整理数据 || 2d || 程序完成
|-
| 融合地图 || 2d || 程序功能测试完成，地标不准确，缺少分省数据
|-
| 测试地图数据 || 1d || 发现bug，延后处理
|-
| 网页前端 || 3d || 部分完成
|-
| 移动前端 || 3d || 部分完成
|-
| 前端测试 || 2d || 部分完成
|}
目前北京实时气象雷达移动版和网页版均已可以使用了。
前端任务剩余：
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| splash优化 || 0.1d ||
|-
| 增加设置按钮 || 1d ||
|-
| slider全屏滑动 || 0.5d ||
|-
| 选择城市功能 || 1d ||
|}
后台任务剩余：
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| 标注城市经纬度 || 5d ||
|-
| 处理非256色图片 || 1d || 已经由立夏完成，实际消耗3天
|-
| 优化数据更新脚本 || 0.5d ||
|}
==第二个版本的任务分解==
第二个版本的目标是预测一个小时内的天气情况，因为forecast.io的压力，我需要尽快知道我能否做预测。
[[机器学习暴雨竞猜挑战赛]]
{| class="wikitable"
|-
! 任务 !! 时间 !! 状态
|-
| 数据预处理：去噪音，90%的准确率 || 5d || 此任务已由立夏接手
|-
| 数据预处理：矩阵化 || 0.5d || 完成
|-
| 构造训练测试集 || 1d || 完成
|-
| 基本回归方案测试 || 1d || 完成，三十分钟预测准确率90%
|-
| conv+mlp实验（如果LR的准确度超过60%） || 3d || 肖达和行远进行中
|-
| 计算风速 || 3d || 完成
|-
| 线性外推法预估降雨量 || 2d || 第一版完成
|}
已经确定无论外推法还是回归法都可以做预测，调研基本结束。
==整理数据==
====原始图像例子====
http://wiki.swarma.net/images/f/f4/SEVP_AOC_RDCP_SLDAS_EBREF_AZ9010_L88_PI_20130811095000000.GIF
===把气象雷达数据做一个模糊===
{| class="wikitable"
|-
! 总有效像素点 !! 确切数值像素点 !! 确切像素比率
|-
| 142456 || 124750 || 87.6%
|}
====处理前====
[[File:radar_raw.png|400px]]
====处理后====
[[File:radar_blur.png|400px]]
====来一张全景图====
http://wiki.swarma.net/images/f/f1/SEVP_AOC_RDCP_SLDAS_EBREF_AZ9010_L88_PI_20130811095000000.blur.gif
==融合地图==
* [http://labs.swarma.net/wp/data/server_Radar_256.kml kml格式气象雷达数据样例(google earth可以直接打开)]
[[File:kml_googleearth.png|400px|thumb|none|效果图]]
* [http://labs.swarma.net/wp/ 气象雷达融合地图]
[[File:radar_google_map.png|400px|thumb|none|气象雷达融合谷歌地图效果图]]
===地图中心点===
* 北京市大兴区气象局 39.809789,116.476701
<math>
c_{earth} = 40075
</math>
<math>
\delta_{Latitude} = \frac{230}{\frac{c_{earth}}{360}} = 2.0661
</math>
<math>
\delta_{Longitude} = \frac{230}{\frac{c_{earth}}{360} cos(\alpha)}= 2.6896
</math>
实际北京地区的气象雷达范围应该是[37.7437, 41.8759] x [113.7871, 119.1663]
==动画效果==
* [http://caiyunapp.com 演示地址]
<html>
<iframe src="http://caiyunapp.com/map" width="600" height="500" frameborder="0" scrolling="no"></iframe>
</html>
==降雨带移动速度和降雨量强弱变化率==
[[File:云层移动速度和强弱变化率.png|none|thumb|400px|云层移动速度和强弱变化率]]
==外推法第一版效果==
===6分钟相对误差===
预测向量和实际向量的二范数相对误差
<math>
e=\frac{\vert y-y_{pre} \vert }{\vert y \vert}=35.70%
</math>
预估错误（误差超过10%）的像素占总像素的比例
<math>
e'=\frac{ErrorGreaterThanTenPersent(y-y_{pre}) }{length(y)}=6.73%
</math>
===12分钟相对误差===
<math>
e=\frac{\vert y-y_{pre} \vert }{\vert y \vert}=39.59%
</math>
===六分钟图像===
[[File:Rainguess baseline1 actual1.png|thumb|300px|实际图像|none]]
[[File:Rainguess baseline1 predict1.png|thumb|300px|预测图像|none]]
==LR第一版效果==
===30分钟预测二值正确率90%===
set_size(train:valid:test) = 1300:200:200
Optimization complete with best validation score of 8.000000 %,with test performance 12.500000 %
==神经网络MLP、卷积网络、外推法效果对比==
{| class="wikitable"
|-
! 方法 !! 测试集和训练集样本尺寸 !! MSE !! 相邻两帧MSE || MSE比值
|-
| 光流线性外推法 ||3x300x300->1x280x280 || 0.00191384156812 || 0.00219730936579 || 87%
|-
| rect MLP+LR || 3x20x20->1x6x6, (3x20x20范围内的降雨量之和>0.01) || 0.00297222222 || 0.0048611111 || 60%
|-
| simple conv || 3x60x60->1x40x40 || 0.0015 || 0.0024 || 62%
|-
| simple conv || 2x160x160->1x140x140 || 0.00199 || 0.00288 || 69%
|}
==参考资料==
* [http://y234.cn/?p=5429 人人都是天气专家：亲自预报几点几分下雨！]
* http://en.wikipedia.org/wiki/Numerical_weather_prediction
* http://en.wikipedia.org/wiki/Weather_forecasting#Nowcasting
* http://www.atmos.washington.edu/~cliff/BAMSNowcast7.11.pdf
* http://udini.proquest.com/view/nowcasting-for-a-high-resolution-goid:839772013/
* https://www.eumetsat.int/cs/idcplg?IdcService=GET_FILE&dDocName=pdf_conf_p57_s7_01_derosa_p&allowInterrupt=1&noSaveAs=1&RevisionSelectionMethod=LatestReleased
* [https://developers.google.com/maps/documentation/javascript/overlays?hl=zh-cn google map api]
* [http://blog.jackadam.net/2011/how-dark-sky-works/ how dark sky works]
* [http://www.diva-portal.org/smash/get/diva2:273847/FULLTEXT01.pdf Two-Frame Motion Estimation Based on Polynomial Expansion]
* [http://aaaipress.org/Papers/AAAI/2007/AAAI07-321.pdf 医学图像预测]
* [https://www.google.com/patents/CN100521689 Location-based weather nowcast system and method]
* [http://www.weather.gov.hk/publica/reprint/r1056.pdf 香港天文台定点降雨预报] [http://www.hko.gov.hk/publica/reprint/r860.pdf 多尺度光流变分法]
* [http://www.adv-geosci.net/7/97/2006/adgeo-7-97-2006.pdf Artificial neural-network technique for precipitation nowcasting from satellite imagery]
* [http://219.234.83.5/ch/reader/create_pdf.aspx?file_no=20080701&year_id=2008&quarter_id=7&falg=1 天气雷达回波外推技术应用研究]
* [http://novel.ict.ac.cn/ychen/pdf/DaDianNao.pdf 深度学习芯片]
===数据接口===
* [http://www.cnlamp.org/other/526.html 国家气象局数据接口说明]
* [http://adamwhitcroft.com/climacons/ 天气图标]
===参考app===
* [http://itunes.apple.com/us/app/dark-sky-weather-radar-hyperlocal/id517329357 dark sky] 和 [http://forecast.io forecast.io]
* [https://itunes.apple.com/us/app/radarnow!-weather-radar/id634139673?mt=8 RardarNow!]
* [https://play.google.com/store/apps/details?id=com.Elecont.WeatherClock 天气手表]
* [http://7timer.y234.cn/index.php?lang=zh-CN 晴天钟]