Merge 3 columns into 1 with multiple nested select - sql
I have some data that i need to display on a path layer on deckgl inside super set, the format of the data has to be very specific or else it throws errors, the format is as such
[[],[],[]] anything else will throw errors. My data is in long and lat format which i was able to transform in to proper form, except that some lines are multistring which has this format [[[],[]],[[]]]. i am able to get it into proper format separately in 3 different columns, how do i merge these 3 into 1? tried union distinct by basing my self on this example, with an error "Expected keyword JOIN but got "," at [3:98]" how do i solve this?
SELECT * FROM Employee_Asia UNION DISTINCT SELECT * from
Employee_Europe
****
select * from(
(select replace(substring(geo,1),"[[[", "[[") as ngeo union
DISTINCT
(select replace
(substring(geo,1),"]]]", "]]")) union DISTINCT select replace
(substring(geo,1),"]],[[" ,"], [")), from(
****
select replace(substring(geo,1),"[[[", "[[") as ngeo, (select replace
(substring(geo,1),"]]]", "]]"))as xgeo, (select replace (substring(geo,1),"]],[[" ,"],
["))as zgeo,from(
select geo from (
SELECT
routeID , json_extract(st_asgeojson(st_makeline( array_agg(st_geogpoint(locs.lon,
locs.lat) order by locs.date))),'$.coordinates') as geo,
FROM
howardcounty.routebatches
cross join UNNEST(locations) as locs
where locs.date between {{start_date}} and {{end_date}}
group by routeID
order by routeID
limit 7
)where length(geo)-length(replace(geo,"]","")) > 1+4
)
here is a the result from the query without union, am also limited to select only.
[[-76.832895,39.20946],[-76.8328744528093,39.2094841310634],
[-76.8327537674778,39.2096258661087],[-76.8327516666667,39.2096283333333],
[-76.8326516666667,39.20973],[-76.8326416666667,39.2098316666667],
[-76.8327033333333,39.2099316666667],[-76.83284,39.2099916666667],
[-76.8329033333333,39.210025],[-76.8331,39.2101616666667],
[-76.8332383333333,39.2102366666667],[-76.8333933333333,39.2103233333333],
[-76.8335416666667,39.2103883333333],[-76.8336783333333,39.21044],
[-76.8338,39.2104816666667],[-76.83389,39.2105533333333],
[-76.83389633091,39.2105767090203],[-76.8339113352774,39.2106321097435],
[-76.8339116666667,39.2106333333333],[-76.8338887881129,39.2106764906686],
[-76.8338383333333,39.2107716666667],[-76.8337783333333,39.2108866666667],
[-76.8337710512136,39.2110192012812],[-76.83377,39.2110383333333],
[-76.8338232468397,39.2111109427531],[-76.83388,39.2111883333333],
[-76.8340466666667,39.2111883333333],[-76.834145,39.211135],
[-76.8341866666667,39.2110433333333],[-76.8342116666667,39.2110016666667],
[-76.83428,39.2108766666667],[-76.8343283333333,39.210795],[-76.83439,39.2107266666667],
[-76.8344492363899,39.2106641394387],[-76.83451,39.2106],[-76.834715,39.21045],
[-76.8349033333333,39.2103033333333],[-76.83497,39.21014],[-76.8349733333333,39.21006],
[-76.834985,39.21022],[-76.834865,39.2104133333333],[-76.83476,39.21059],
[-76.8347916666667,39.21075],[-76.8350466666667,39.2108316666667],
[-76.8352283333333,39.2107116666667],[-76.83532,39.2105266666667],
[-76.8354483333333,39.2103633333333],[-76.83555,39.21017],
[-76.8356666666667,39.2100466666667],[-76.8358216666667,39.21004],
[-76.8358733333333,39.2101316666667],[-76.8358316666667,39.2102883333333],
[-76.8359,39.210425],[-76.8358689842204,39.2104852071477],[-76.8358433333333,39.210535],
[-76.8356983333333,39.210565],[-76.8357383333333,39.210475],
[-76.8358689842204,39.2104852071477],[-76.8359516666667,39.2104916666667],
[-76.8360516666667,39.210455],[-76.8361533333333,39.2102916666667],
[-76.836285,39.210175],[-76.8364766666667,39.21023],[-76.8366683333333,39.21028],
[-76.8368166666667,39.210305],[-76.836955,39.2103233333333],
[-76.83699,39.2103183333333],[-76.8373016666667,39.2103166666667],
[-76.8374566666667,39.2103016666667],[-76.8376066666667,39.21029],
[-76.8377616666667,39.2103016666667],[-76.83795,39.210335],
[-76.8381333333333,39.2104033333333],[-76.83831,39.2105133333333],
[-76.8384333333333,39.2106416666667],[-76.8385183333333,39.210785],
[-76.8385616666667,39.210935],[-76.838585,39.2110366666667],
[-76.8386083333334,39.2111266666667],[-76.83865,39.211245],
[-76.8387166666667,39.211505],[-76.838855,39.2116916666667],
[-76.839035,39.2118216666667],[-76.8392,39.2119766666667],[-76.8393516666667,39.212125],
[-76.83948,39.21218],[-76.8395733333333,39.2121633333333],
[-76.8398377180994,39.212155736099],[-76.839863333316,39.2121550000005],
[-76.8398633333333,39.212155],[-76.839866248213,39.2121550000002],
[-76.8398683333333,39.212155],[-76.839885,39.212155]],
[[-76.839863333316,39.2121550000005],[-76.83984,39.212155],
[-76.8398377180994,39.212155736099],[-76.839685,39.212205],
[-76.8395033333333,39.212245],[-76.83924,39.2121616666667],
[-76.8390316666667,39.2119483333333],[-76.8388216666667,39.2117766666667],
[-76.8387066666667,39.21161],[-76.838545,39.21148],[-76.8383866666667,39.211435],
[-76.8381966666667,39.2114216666667],[-76.8380266666667,39.21142],
[-76.8378533333333,39.2114133333333],[-76.8376933333333,39.2114116666667],
[-76.837545,39.2113983333333],[-76.837365,39.2114166666667],
[-76.837145,39.2113883333333],[-76.83696,39.2113683333333],[-76.8368116666667,39.21135],
[-76.8366616666667,39.211345],[-76.8365166666667,39.21134],
[-76.836395,39.2113383333333],[-76.83635,39.21134],[-76.8361416666667,39.21133],
[-76.8359466666667,39.2112916666667],[-76.8358183333333,39.2112233333333],
[-76.8357733333333,39.2111683333333],[-76.8357366666667,39.211055],
[-76.8356816666667,39.2109716666667],[-76.83552,39.211005],
[-76.8353483333333,39.2109983333333],[-76.8351966666667,39.2109416666667],
[-76.835055,39.210885],[-76.8349033333333,39.21081],[-76.83475,39.2107766666667],
[-76.834625,39.2107333333333],[-76.83449,39.2106866666667],
[-76.8344492363899,39.2106641394387],[-76.8343633333333,39.2106166666667],
[-76.834205,39.21054],[-76.8340283333333,39.2105483333333],
[-76.833938122743,39.2106129286176],[-76.8339113352774,39.2106321097435],
[-76.8338933333333,39.210645],[-76.8338216666667,39.2107666666667],
[-76.83377,39.2108516666667],[-76.8337333333333,39.2109116666667],
[-76.8337122666612,39.2109696000596],[-76.8336933333333,39.2110216666667],
[-76.8337276727651,39.2110803760451],[-76.833745,39.21111],
[-76.8338232468397,39.2111109427531],[-76.8338833333333,39.2111116666667],
[-76.83392,39.211055],[-76.8339716666667,39.2109833333333],
[-76.8340783333333,39.2108283333333],[-76.8340766666667,39.210725],
[-76.8339833333333,39.2106566666667],[-76.8339611067922,39.2106613270793],
[-76.8338887881129,39.2106764906686],[-76.83388,39.2106783333333],
[-76.8338083333333,39.2108016666667],[-76.83373,39.2109366666667],
[-76.8337122666612,39.2109696000596],[-76.83366,39.2110666666667],
[-76.8335933333333,39.21119],[-76.8335266666667,39.211375],[-76.83353,39.2116183333333],
[-76.833635,39.2118683333333],[-76.8338283333333,39.212085],
[-76.8340583333333,39.2123116666667],[-76.8342483333333,39.21253],[-76.834345,39.21274],
[-76.8344233333333,39.212935],[-76.8343933333333,39.21316],
[-76.8345383333333,39.2133166666667],[-76.8347266666667,39.213195],
[-76.8345933333333,39.2129983333333],[-76.834455,39.2127816666667],
[-76.8343833333333,39.212615],[-76.834365,39.2125766666667],
[-76.83429,39.2124883333333],[-76.83412,39.21229],[-76.8339066666667,39.2120766666667],
[-76.8337066666667,39.21187],[-76.8336,39.2116516666667],
[-76.8335816666667,39.2114666666667],[-76.8336083333333,39.211325],
[-76.8336516666667,39.2112016666667],[-76.8337066666667,39.21111],
[-76.8337276727651,39.2110803760451],[-76.8337710512136,39.2110192012812],
[-76.8337716666667,39.2110183333333],[-76.8338516666667,39.2109],
[-76.83392,39.2108133333333],[-76.83396,39.2107166666667],
[-76.8339611067922,39.2106613270793],[-76.8339616666667,39.2106333333333],
[-76.833938122743,39.2106129286176],[-76.83389633091,39.2105767090203],
[-76.8338866666667,39.2105683333333],[-76.833715,39.2105016666667],
[-76.833595,39.2104533333333],[-76.83358,39.21045],[-76.833405,39.2103716666667],
[-76.83337,39.210365],[-76.8332116666667,39.2103166666667],[-76.8330966666667,39.21027],
[-76.83299,39.2102233333333],[-76.83286,39.2101766666667],
[-76.8327283333333,39.2101333333333],[-76.8325683333333,39.2100616666667],
[-76.832535,39.2100016666667],[-76.8325183333333,39.2098966666667],
[-76.8325066666667,39.2097333333333],[-76.8324919958592,39.209720248584],
[-76.8323833333333,39.2096233333333],[-76.8321633333333,39.2095333333333],
[-76.8320825997553,39.20948763515],[-76.8319866666667,39.2094333333333],
[-76.8319816666667,39.2092766666667],[-76.83207,39.2091466666667],[-76.832225,39.20905],
[-76.8323483333333,39.2091416666667],[-76.8322416666667,39.2093283333333],
[-76.8321066666667,39.209475],[-76.8320825997553,39.20948763515],
[-76.8319733333333,39.209545],[-76.831862668414,39.20954057341],
[-76.8318483333334,39.20954],[-76.8318415539569,39.2095171966764],
[-76.8318116666667,39.2094166666667],[-76.8318683333333,39.2093033333333],
[-76.8319233333333,39.209195],[-76.8318483333334,39.2091033333333],
[-76.8317466666667,39.2090916666667],[-76.8317216666667,39.209135],
[-76.8317866666667,39.2093583333333],[-76.83182,39.2094933333333],
[-76.8318415539569,39.2095171966764],[-76.831862668414,39.20954057341],
[-76.8319133333333,39.2095966666667],[-76.8318683333333,39.2097],
[-76.8318416666667,39.2097383333333],[-76.8318116666667,39.2098966666667],
[-76.8319366666667,39.2099516666667],[-76.832085,39.21],[-76.83213,39.21008],
[-76.8322416666667,39.2101083333333],[-76.832365,39.2100483333333],
[-76.8324283333333,39.20996],[-76.832475,39.209885],[-76.83249,39.20984],
[-76.8324919958592,39.209720248584],[-76.8324924676826,39.2096919391536],
[-76.8324933333333,39.20964],[-76.8325983333333,39.2094983333333],
[-76.8326833333333,39.2093466666667],[-76.83268,39.2091916666667],
[-76.8324833333333,39.2091266666667],[-76.8323283333333,39.2092133333333],
[-76.83233,39.209355],[-76.8323516666667,39.209475],
[-76.8323933333333,39.2096216666667],[-76.8324924676826,39.2096919391536],
[-76.832525,39.209715],[-76.8326783333333,39.2096816666667],
[-76.8327537674778,39.2096258661087],[-76.8328,39.2095916666667],
[-76.8328766666667,39.2095216666667],[-76.8329,39.20949],
[-76.8328744528093,39.2094841310634],[-76.8327766666667,39.2094616666667],
[-76.8327466666667,39.2095066666667],[-76.832685,39.209635],
[-76.83268,39.2096466666667]]] [[[-76.832895,39.20946],
[-76.8328744528093,39.2094841310634],[-76.8327537674778,39.2096258661087],
[-76.8327516666667,39.2096283333333],[-76.8326516666667,39.20973],
[-76.8326416666667,39.2098316666667],[-76.8327033333333,39.2099316666667],
[-76.83284,39.2099916666667],[-76.8329033333333,39.210025],[-76.8331,39.2101616666667],
[-76.8332383333333,39.2102366666667],[-76.8333933333333,39.2103233333333],
[-76.8335416666667,39.2103883333333],[-76.8336783333333,39.21044],
[-76.8338,39.2104816666667],[-76.83389,39.2105533333333],
[-76.83389633091,39.2105767090203],[-76.8339113352774,39.2106321097435],
[-76.8339116666667,39.2106333333333],[-76.8338887881129,39.2106764906686],
[-76.8338383333333,39.2107716666667],[-76.8337783333333,39.2108866666667],
[-76.8337710512136,39.2110192012812],[-76.83377,39.2110383333333],
[-76.8338232468397,39.2111109427531],[-76.83388,39.2111883333333],
[-76.8340466666667,39.2111883333333],[-76.834145,39.211135],
[-76.8341866666667,39.2110433333333],[-76.8342116666667,39.2110016666667],
[-76.83428,39.2108766666667],[-76.8343283333333,39.210795],[-76.83439,39.2107266666667],
[-76.8344492363899,39.2106641394387],[-76.83451,39.2106],[-76.834715,39.21045],
[-76.8349033333333,39.2103033333333],[-76.83497,39.21014],[-76.8349733333333,39.21006],
[-76.834985,39.21022],[-76.834865,39.2104133333333],[-76.83476,39.21059],
[-76.8347916666667,39.21075],[-76.8350466666667,39.2108316666667],
[-76.8352283333333,39.2107116666667],[-76.83532,39.2105266666667],
[-76.8354483333333,39.2103633333333],[-76.83555,39.21017],
[-76.8356666666667,39.2100466666667],[-76.8358216666667,39.21004],
[-76.8358733333333,39.2101316666667],[-76.8358316666667,39.2102883333333],
[-76.8359,39.210425],[-76.8358689842204,39.2104852071477],[-76.8358433333333,39.210535],
[-76.8356983333333,39.210565],[-76.8357383333333,39.210475],
[-76.8358689842204,39.2104852071477],[-76.8359516666667,39.2104916666667],
[-76.8360516666667,39.210455],[-76.8361533333333,39.2102916666667],
[-76.836285,39.210175],[-76.8364766666667,39.21023],[-76.8366683333333,39.21028],
[-76.8368166666667,39.210305],[-76.836955,39.2103233333333],
[-76.83699,39.2103183333333],[-76.8373016666667,39.2103166666667],
[-76.8374566666667,39.2103016666667],[-76.8376066666667,39.21029],
[-76.8377616666667,39.2103016666667],[-76.83795,39.210335],
[-76.8381333333333,39.2104033333333],[-76.83831,39.2105133333333],
[-76.8384333333333,39.2106416666667],[-76.8385183333333,39.210785],
[-76.8385616666667,39.210935],[-76.838585,39.2110366666667],
[-76.8386083333334,39.2111266666667],[-76.83865,39.211245],
[-76.8387166666667,39.211505],[-76.838855,39.2116916666667],
[-76.839035,39.2118216666667],[-76.8392,39.2119766666667],[-76.8393516666667,39.212125],
[-76.83948,39.21218],[-76.8395733333333,39.2121633333333],
[-76.8398377180994,39.212155736099],[-76.839863333316,39.2121550000005],
[-76.8398633333333,39.212155],[-76.839866248213,39.2121550000002],
[-76.8398683333333,39.212155],[-76.839885,39.212155]],
[[-76.839863333316,39.2121550000005],[-76.83984,39.212155],
[-76.8398377180994,39.212155736099],[-76.839685,39.212205],
[-76.8395033333333,39.212245],[-76.83924,39.2121616666667],
[-76.8390316666667,39.2119483333333],[-76.8388216666667,39.2117766666667],
[-76.8387066666667,39.21161],[-76.838545,39.21148],[-76.8383866666667,39.211435],
[-76.8381966666667,39.2114216666667],[-76.8380266666667,39.21142],
[-76.8378533333333,39.2114133333333],[-76.8376933333333,39.2114116666667],
[-76.837545,39.2113983333333],[-76.837365,39.2114166666667],
[-76.837145,39.2113883333333],[-76.83696,39.2113683333333],[-76.8368116666667,39.21135],
[-76.8366616666667,39.211345],[-76.8365166666667,39.21134],
[-76.836395,39.2113383333333],[-76.83635,39.21134],[-76.8361416666667,39.21133],
[-76.8359466666667,39.2112916666667],[-76.8358183333333,39.2112233333333],
[-76.8357733333333,39.2111683333333],[-76.8357366666667,39.211055],
[-76.8356816666667,39.2109716666667],[-76.83552,39.211005],
[-76.8353483333333,39.2109983333333],[-76.8351966666667,39.2109416666667],
[-76.835055,39.210885],[-76.8349033333333,39.21081],[-76.83475,39.2107766666667],
[-76.834625,39.2107333333333],[-76.83449,39.2106866666667],
[-76.8344492363899,39.2106641394387],[-76.8343633333333,39.2106166666667],
[-76.834205,39.21054],[-76.8340283333333,39.2105483333333],
[-76.833938122743,39.2106129286176],[-76.8339113352774,39.2106321097435],
[-76.8338933333333,39.210645],[-76.8338216666667,39.2107666666667],
[-76.83377,39.2108516666667],[-76.8337333333333,39.2109116666667],
[-76.8337122666612,39.2109696000596],[-76.8336933333333,39.2110216666667],
[-76.8337276727651,39.2110803760451],[-76.833745,39.21111],
[-76.8338232468397,39.2111109427531],[-76.8338833333333,39.2111116666667],
[-76.83392,39.211055],[-76.8339716666667,39.2109833333333],
[-76.8340783333333,39.2108283333333],[-76.8340766666667,39.210725],
[-76.8339833333333,39.2106566666667],[-76.8339611067922,39.2106613270793],
[-76.8338887881129,39.2106764906686],[-76.83388,39.2106783333333],
[-76.8338083333333,39.2108016666667],[-76.83373,39.2109366666667],
[-76.8337122666612,39.2109696000596],[-76.83366,39.2110666666667],
[-76.8335933333333,39.21119],[-76.8335266666667,39.211375],[-76.83353,39.2116183333333],
[-76.833635,39.2118683333333],[-76.8338283333333,39.212085],
[-76.8340583333333,39.2123116666667],[-76.8342483333333,39.21253],[-76.834345,39.21274],
[-76.8344233333333,39.212935],[-76.8343933333333,39.21316],
[-76.8345383333333,39.2133166666667],[-76.8347266666667,39.213195],
[-76.8345933333333,39.2129983333333],[-76.834455,39.2127816666667],
[-76.8343833333333,39.212615],[-76.834365,39.2125766666667],
[-76.83429,39.2124883333333],[-76.83412,39.21229],[-76.8339066666667,39.2120766666667],
[-76.8337066666667,39.21187],[-76.8336,39.2116516666667],
[-76.8335816666667,39.2114666666667],[-76.8336083333333,39.211325],
[-76.8336516666667,39.2112016666667],[-76.8337066666667,39.21111],
[-76.8337276727651,39.2110803760451],[-76.8337710512136,39.2110192012812],
[-76.8337716666667,39.2110183333333],[-76.8338516666667,39.2109],
[-76.83392,39.2108133333333],[-76.83396,39.2107166666667],
[-76.8339611067922,39.2106613270793],[-76.8339616666667,39.2106333333333],
[-76.833938122743,39.2106129286176],[-76.83389633091,39.2105767090203],
[-76.8338866666667,39.2105683333333],[-76.833715,39.2105016666667],
[-76.833595,39.2104533333333],[-76.83358,39.21045],[-76.833405,39.2103716666667],
[-76.83337,39.210365],[-76.8332116666667,39.2103166666667],[-76.8330966666667,39.21027],
[-76.83299,39.2102233333333],[-76.83286,39.2101766666667],
[-76.8327283333333,39.2101333333333],[-76.8325683333333,39.2100616666667],
[-76.832535,39.2100016666667],[-76.8325183333333,39.2098966666667],
[-76.8325066666667,39.2097333333333],[-76.8324919958592,39.209720248584],
[-76.8323833333333,39.2096233333333],[-76.8321633333333,39.2095333333333],
[-76.8320825997553,39.20948763515],[-76.8319866666667,39.2094333333333],
[-76.8319816666667,39.2092766666667],[-76.83207,39.2091466666667],[-76.832225,39.20905],
[-76.8323483333333,39.2091416666667],[-76.8322416666667,39.2093283333333],
[-76.8321066666667,39.209475],[-76.8320825997553,39.20948763515],
[-76.8319733333333,39.209545],[-76.831862668414,39.20954057341],
[-76.8318483333334,39.20954],[-76.8318415539569,39.2095171966764],
[-76.8318116666667,39.2094166666667],[-76.8318683333333,39.2093033333333],
[-76.8319233333333,39.209195],[-76.8318483333334,39.2091033333333],
[-76.8317466666667,39.2090916666667],[-76.8317216666667,39.209135],
[-76.8317866666667,39.2093583333333],[-76.83182,39.2094933333333],
[-76.8318415539569,39.2095171966764],[-76.831862668414,39.20954057341],
[-76.8319133333333,39.2095966666667],[-76.8318683333333,39.2097],
[-76.8318416666667,39.2097383333333],[-76.8318116666667,39.2098966666667],
[-76.8319366666667,39.2099516666667],[-76.832085,39.21],[-76.83213,39.21008],
[-76.8322416666667,39.2101083333333],[-76.832365,39.2100483333333],
[-76.8324283333333,39.20996],[-76.832475,39.209885],
[-76.83233,39.209355],[-76.8323516666667,39.209475],
[-76.8323933333333,39.2096216666667],[-76.8324924676826,39.2096919391536],
[-76.832525,39.209715],[-76.8326783333333,39.2096816666667],
[-76.8327537674778,39.2096258661087],[-76.8328,39.2095916666667],
[-76.8328766666667,39.2095216666667],[-76.8329,39.20949],
[-76.8328744528093,39.2094841310634],[-76.8327766666667,39.2094616666667],
[-76.8327466666667,39.2095066666667],[-76.832685,39.209635],
[-76.83268,39.2096466666667]] [[[-76.832895,39.20946],
[-76.8328744528093,39.2094841310634],[-76.8327537674778,39.2096258661087],
[-76.8327516666667,39.2096283333333],[-76.8326516666667,39.20973],
[-76.8326416666667,39.2098316666667],[-76.8327033333333,39.2099316666667],
[-76.83284,39.2099916666667],[-76.8329033333333,39.210025],[-76.8331,39.2101616666667],
[-76.8332383333333,39.2102366666667],[-76.8333933333333,39.2103233333333],
[-76.8335416666667,39.2103883333333],[-76.8336783333333,39.21044],
[-76.8338,39.2104816666667],[-76.83389,39.2105533333333],
[-76.83389633091,39.2105767090203],[-76.8339113352774,39.2106321097435],
[-76.8339116666667,39.2106333333333],[-76.8338887881129,39.2106764906686],
[-76.8338383333333,39.2107716666667],[-76.8337783333333,39.2108866666667],
[-76.8337710512136,39.2110192012812],[-76.83377,39.2110383333333],
[-76.8338232468397,39.2111109427531],[-76.83388,39.2111883333333],
[-76.8340466666667,39.2111883333333],[-76.834145,39.211135],
[-76.8341866666667,39.2110433333333],[-76.8342116666667,39.2110016666667],
[-76.83428,39.2108766666667],[-76.8343283333333,39.210795],[-76.83439,39.2107266666667],
[-76.8344492363899,39.2106641394387],[-76.83451,39.2106],[-76.834715,39.21045],
[-76.8349033333333,39.2103033333333],[-76.83497,39.21014],[-76.8349733333333,39.21006],
[-76.834985,39.21022],[-76.834865,39.2104133333333],[-76.83476,39.21059],
[-76.8347916666667,39.21075],[-76.8350466666667,39.2108316666667],
[-76.8352283333333,39.2107116666667],[-76.83532,39.2105266666667],
[-76.8354483333333,39.2103633333333],[-76.83555,39.21017],
[-76.8356666666667,39.2100466666667],[-76.8358216666667,39.21004],
[-76.8358733333333,39.2101316666667],[-76.8358316666667,39.2102883333333],
[-76.8359,39.210425],[-76.8358689842204,39.2104852071477],[-76.8358433333333,39.210535],
[-76.8356983333333,39.210565],[-76.8357383333333,39.210475],
[-76.8358689842204,39.2104852071477],[-76.8359516666667,39.2104916666667],
[-76.8360516666667,39.210455],[-76.8361533333333,39.2102916666667],
[-76.836285,39.210175],[-76.8364766666667,39.21023],[-76.8366683333333,39.21028],
[-76.8368166666667,39.210305],[-76.836955,39.2103233333333],
[-76.83699,39.2103183333333],[-76.8373016666667,39.2103166666667],
[-76.8374566666667,39.2103016666667],[-76.8376066666667,39.21029],
[-76.8377616666667,39.2103016666667],[-76.83795,39.210335],
[-76.8381333333333,39.2104033333333],[-76.83831,39.2105133333333],
[-76.8384333333333,39.2106416666667],[-76.8385183333333,39.210785],
[-76.8385616666667,39.210935],[-76.838585,39.2110366666667],
[-76.8386083333334,39.2111266666667],[-76.83865,39.211245],
[-76.8387166666667,39.211505],[-76.838855,39.2116916666667],
[-76.839035,39.2118216666667],[-76.8392,39.2119766666667],[-76.8393516666667,39.212125],
[-76.83948,39.21218],[-76.8395733333333,39.2121633333333],
[-76.8398377180994,39.212155736099],[-76.839863333316,39.2121550000005],
[-76.8398633333333,39.212155],[-76.839866248213,39.2121550000002],
[-76.8398683333333,39.212155],[-76.839885,39.212155],
[-76.839863333316,39.2121550000005],[-76.83984,39.212155],
[-76.8398377180994,39.212155736099],[-76.839685,39.212205],
[-76.8395033333333,39.212245],[-76.83924,39.2121616666667],
[-76.8390316666667,39.2119483333333],[-76.8388216666667,39.2117766666667],
[-76.8387066666667,39.21161],[-76.838545,39.21148],[-76.8383866666667,39.211435],
[-76.8381966666667,39.2114216666667],[-76.8380266666667,39.21142],
[-76.8378533333333,39.2114133333333],[-76.8376933333333,39.2114116666667],
[-76.837545,39.2113983333333],[-76.837365,39.2114166666667],
[-76.837145,39.2113883333333],[-76.83696,39.2113683333333],[-76.8368116666667,39.21135],
[-76.8366616666667,39.211345],[-76.8365166666667,39.21134],
[-76.836395,39.2113383333333],[-76.83635,39.21134],[-76.8361416666667,39.21133],
[-76.8359466666667,39.2112916666667],[-76.8358183333333,39.2112233333333],
[-76.8357733333333,39.2111683333333],[-76.8357366666667,39.211055],
[-76.8356816666667,39.2109716666667],[-76.83552,39.211005],
[-76.8353483333333,39.2109983333333],[-76.8351966666667,39.2109416666667],
[-76.835055,39.210885],[-76.8349033333333,39.21081],[-76.83475,39.2107766666667],
[-76.834625,39.2107333333333],[-76.83449,39.2106866666667],
[-76.8344492363899,39.2106641394387],[-76.8343633333333,39.2106166666667],
[-76.834205,39.21054],[-76.8340283333333,39.2105483333333],
[-76.833938122743,39.2106129286176],[-76.8339113352774,39.2106321097435],
[-76.8338933333333,39.210645],[-76.8338216666667,39.2107666666667],
[-76.83377,39.2108516666667],[-76.8337333333333,39.2109116666667],
[-76.8337122666612,39.2109696000596],[-76.8336933333333,39.2110216666667],
[-76.8337276727651,39.2110803760451],[-76.833745,39.21111],
[-76.8338232468397,39.2111109427531],[-76.8338833333333,39.2111116666667],
[-76.83392,39.211055],[-76.8339716666667,39.2109833333333],
[-76.8340783333333,39.2108283333333],[-76.8340766666667,39.210725],
[-76.8339833333333,39.2106566666667],[-76.8339611067922,39.2106613270793],
[-76.8338887881129,39.2106764906686],[-76.83388,39.2106783333333],
[-76.8338083333333,39.2108016666667],[-76.83373,39.2109366666667],
[-76.8337122666612,39.2109696000596],[-76.83366,39.2110666666667],
[-76.8335933333333,39.21119],[-76.8335266666667,39.211375],[-76.83353,39.2116183333333],
[-76.833635,39.2118683333333],[-76.8338283333333,39.212085],
[-76.8340583333333,39.2123116666667],[-76.8342483333333,39.21253],[-76.834345,39.21274],
[-76.8344233333333,39.212935],[-76.8343933333333,39.21316],
[-76.8345383333333,39.2133166666667],[-76.8347266666667,39.213195],
[-76.8345933333333,39.2129983333333],[-76.834455,39.2127816666667],
[-76.8343833333333,39.212615],[-76.834365,39.2125766666667],
[-76.83429,39.2124883333333],[-76.83412,39.21229],[-76.8339066666667,39.2120766666667],
[-76.8337066666667,39.21187],[-76.8336,39.2116516666667],
[-76.8335816666667,39.2114666666667],[-76.8336083333333,39.211325],
[-76.8336516666667,39.2112016666667],[-76.8337066666667,39.21111],
[-76.8337276727651,39.2110803760451],[-76.8337710512136,39.2110192012812],
[-76.8337716666667,39.2110183333333],[-76.8338516666667,39.2109],
[-76.83392,39.2108133333333],[-76.83396,39.2107166666667],
[-76.8339611067922,39.2106613270793],[-76.8339616666667,39.2106333333333],
[-76.833938122743,39.2106129286176],[-76.83389633091,39.2105767090203],
[-76.8338866666667,39.2105683333333],[-76.833715,39.2105016666667],
[-76.833595,39.2104533333333],[-76.83358,39.21045],[-76.833405,39.2103716666667],
[-76.83337,39.210365],[-76.8332116666667,39.2103166666667],[-76.8330966666667,39.21027],
[-76.83299,39.2102233333333],[-76.83286,39.2101766666667],
[-76.8327283333333,39.2101333333333],[-76.8325683333333,39.2100616666667],
[-76.832535,39.2100016666667],[-76.8325183333333,39.2098966666667],
[-76.8325066666667,39.2097333333333],[-76.8324919958592,39.209720248584],
[-76.8323833333333,39.2096233333333],[-76.8321633333333,39.2095333333333],
[-76.8320825997553,39.20948763515],[-76.8319866666667,39.2094333333333],
[-76.8319816666667,39.2092766666667],[-76.83207,39.2091466666667],[-76.832225,39.20905],
[-76.8323483333333,39.2091416666667],[-76.8322416666667,39.2093283333333],
[-76.8321066666667,39.209475],[-76.8320825997553,39.20948763515],
[-76.8319733333333,39.209545],[-76.831862668414,39.20954057341],
[-76.8318483333334,39.20954],[-76.8318415539569,39.2095171966764],
[-76.8318116666667,39.2094166666667],[-76.8318683333333,39.2093033333333],
[-76.8319233333333,39.209195],[-76.8318483333334,39.2091033333333],
[-76.8317466666667,39.2090916666667],[-76.8317216666667,39.209135],
[-76.8317866666667,39.2093583333333],[-76.83182,39.2094933333333],
[-76.8318415539569,39.2095171966764],[-76.831862668414,39.20954057341],
[-76.8319133333333,39.2095966666667],[-76.8318683333333,39.2097],
[-76.8318416666667,39.2097383333333],[-76.8318116666667,39.2098966666667],
[-76.8319366666667,39.2099516666667],[-76.832085,39.21],[-76.83213,39.21008],
[-76.8322416666667,39.2101083333333],[-76.832365,39.2100483333333],
[-76.8324283333333,39.20996],[-76.832475,39.209885],[-76.83249,39.20984],
[-76.8324919958592,39.209720248584],[-76.8324924676826,39.2096919391536],
[-76.8324933333333,39.20964],[-76.8325983333333,39.2094983333333],
[-76.8326833333333,39.2093466666667],[-76.83268,39.2091916666667],
[-76.8324833333333,39.2091266666667],[-76.8323283333333,39.2092133333333],
[-76.83233,39.209355],[-76.8323516666667,39.209475],
[-76.8323933333333,39.2096216666667],[-76.8324924676826,39.2096919391536],
[-76.832525,39.209715],[-76.8326783333333,39.2096816666667],
[-76.8327537674778,39.2096258661087],[-76.8328,39.2095916666667],
[-76.8328766666667,39.2095216666667],[-76.8329,39.20949],
[-76.8328744528093,39.2094841310634],[-76.8327766666667,39.2094616666667],
[-76.8327466666667,39.2095066666667],[-76.832685,39.209635],
[-76.83268,39.2096466666667]]]
ok found the answer, will put it here in case some one else has the same issue.
the trick is to do nested replace instead separate ones. just change this line
select * from(
(select replace(substring(geo,1),"[[[", "[[") as ngeo union
DISTINCT
(select replace
(substring(geo,1),"]]]", "]]")) union DISTINCT select replace
(substring(geo,1),"]],[[" ,"], ["))
with
select replace(replace(replace(substring(geo,1),"[[[", "[["),"]]]",
"]]"),"]],[[" ,"],[" ) as ngeo
Related
Searching a range when using like %
I'm searching SQL Server using the following and I want to find a way to reduce the query size when it comes to the range of postal codes being searched: SELECT TOP (100) * FROM XXXX (NOLOCK) WHERE (Request like '%<BillCountry>US</BillCountry>%') AND (Request like '%<BillPostal>83%' OR Request like '%<BillPostal>84%' OR Request like '%<BillPostal>85%' OR Request like '%<BillPostal>86%' OR Request like '%<BillPostal>87%' OR Request like '%<BillPostal>91%' OR Request like '%<BillPostal>92%' OR Request like '%<BillPostal>93%' OR Request like '%<BillPostal>94%') AND (CreatedUTC between '2022-02-01' and '2022-03-01') ORDER BY CreatedUTC DESC The <BillPostal>XXXXX</BillPostal> is deep inside a saved XML response. I'm searching for a range of BillPostal such as 83XXX-87XXX and 91XXX-94XXX. Maybe this is the only way?
In Sql Server you can use a character class [] in the pattern syntax for LIKE/PATINDEX. So the criteria for Request can be golfcoded SELECT TOP (100) * FROM XXXX WHERE (Request like '%<BillCountry>US</BillCountry>%') AND (Request like '%<BillPostal>8[3-7]%' OR Request like '%<BillPostal>9[1-4]%') AND (CreatedUTC between '2022-02-01' and '2022-03-01') ORDER BY CreatedUTC DESC;
You could offload the bulk of your criteria to an exists check with the lookup terms in a separate table. An example would be: with lookups as ( select '<BillPostal>83' term union all select '<BillPostal>84' union all select '<BillPostal>85' ), testdata as ( select '<xml><element><BillPostal>85</billpostal></element></xml>' col union all select '<xml><element><BillPostal>81</billpostal></element></xml>' union all select '<xml><element><BillPostal>86</billpostal></element></xml>' union all select '<xml><element><BillPostal>84</billpostal></element></xml>' ) select * from testdata where exists (select * from lookups where CharIndex(term,col) > 0);
need to hardcode a column in Hive with a custom word appending along with a column_name from a table
select distinct 'CART-data-map_val.role_name' as ProdMN from VRN_544.RLT_001 AS mk_roles JOIN VRMM.map_valxx AS map_val ON ( Upper(Trim(map_val.role_name)) = Upper(Trim(mk_roles.rltx_02)) ) so, CART-data is the word which should append to the role_name into ProdMN column ProdMN column Example - CART-data-map_val.role_name - 1- CART-data-reducer-role 2- CART-data-modular-role
how about using concat ?:
select distinct concat('CART-data-',map_val.role_name) as ProdMN
from VRN_544.RLT_001 AS mk_roles
JOIN VRMM.map_valxx AS map_val
ON ( Upper(Trim(map_val.role_name)) = Upper(Trim(mk_roles.rltx_02)) )
Regex extract in BigQuery issue
I'm trying to simplify a column in BigQuery by using BigQuery extract on it but I am having a bit of an issue.
Here are two examples of the data I'm extracting from:
dc_pre=CLXk_aigyOMCFQb2dwod4dYCZw;gtm=2wg7f1;gcldc=;gclaw=;gac=UA-5815571-8:;auiddc=;u1=OVERDRFT;u2=undefined;u3=undefined;u4=undefined;u5=SSA;u6=undefined;u7=na;u8=undefined;u9=undefined;u10=undefined;u11=undefined;~oref=https://www.online.bank.co.za/onlineContent/ga_bridge.html
dc_pre=COztt4-tyOMCFcji7Qod440PCw;gtm=2wg7f1;gcldc=;gclaw=;gac=UA-5815571-8:;auiddc=;u1=DDA13;u2=undefined;u3=undefined;u4=undefined;u5=SSA;u6=undefined;u7=na;u8=undefined;u9=undefined;u10=undefined;u11=undefined;~oref=https://www.online.support.co.za/onlineContent/ga_bridge.html
I want to extract the portion between ;u1= and ;u2
Running the following legacy SQL Query
SELECT
Date(Event_Time),
Activity_ID,
REGEXP_EXTRACT(Other_Data, r'(?<=u1=)(.*\n?)(?=;u2)')
FROM
[sprt-data-transfer:dtftv2_sprt.p_activity_166401]
WHERE
Activity_ID in ('8179851')
AND Site_ID_DCM NOT IN ('2134603','2136502','2539719','2136304','2134604','2134602','2136701','2378406')
AND Event_Time BETWEEN 1563746400000000 AND 1563832799000000
I get the error...
Failed to parse regular expression "(?<=u1=)(.*\n?)(?=;u2)": invalid
perl operator: (?<
And this is where my talent runs out, is the error being caused because I'm using legacy SQL? Or is an unsupported format for REGEX?
Just tried this, and it worked, but with "Standart SQL" enabled. select other_data, regexp_extract(other_data, ';u1=(.+?);u2') as some_part from unnest([ 'dc_pre=CLXk_aigyOMCFQb2dwod4dYCZw;gtm=2wg7f1;gcldc=;gclaw=;gac=UA-5815571-8:;auiddc=;u1=OVERDRFT;u2=undefined;u3=undefined;u4=undefined;u5=SSA;u6=undefined;u7=na;u8=undefined;u9=undefined;u10=undefined;u11=undefined;~oref=https://www.online.bank.co.za/onlineContent/ga_bridge.html', 'dc_pre=COztt4-tyOMCFcji7Qod440PCw;gtm=2wg7f1;gcldc=;gclaw=;gac=UA-5815571-8:;auiddc=;u1=DDA13;u2=undefined;u3=undefined;u4=undefined;u5=SSA;u6=undefined;u7=na;u8=undefined;u9=undefined;u10=undefined;u11=undefined;~oref=https://www.online.support.co.za/onlineContent/ga_bridge.html' ]) as other_data
Not using regex but it still works... with test as ( select 1 as id, 'dc_pre=CLXk_aigyOMCFQb2dwod4dYCZw;gtm=2wg7f1;gcldc=;gclaw=;gac=UA-5815571-8:;auiddc=;u1=OVERDRFT;u2=undefined;u3=undefined;u4=undefined;u5=SSA;u6=undefined;u7=na;u8=undefined;u9=undefined;u10=undefined;u11=undefined;~oref=https://www.online.bank.co.za/onlineContent/ga_bridge.html' as my_str UNION ALL select 2 as id, 'dc_pre=COztt4-tyOMCFcji7Qod440PCw;gtm=2wg7f1;gcldc=;gclaw=;gac=UA-5815571-8:;auiddc=;u1=DDA13;u2=undefined;u3=undefined;u4=undefined;u5=SSA;u6=undefined;u7=na;u8=undefined;u9=undefined;u10=undefined;u11=undefined;~oref=https://www.online.support.co.za/onlineContent/ga_bridge.html' ), temp as ( select id, split(my_str,';') as items from test ), flattened as ( select id, split(i,'=')[SAFE_OFFSET(0)] as left_side, split(i,'=')[SAFE_OFFSET(1)] as right_side from temp left join unnest(items) i ) select * from flattened where left_side = 'u1'
How do I add static data to an excel sql-query?
I have a running query in Excel which gets data from an sql-server. I need to add static data in order to correct old data. I have tried with Union but Excel returns "Incorrect syntax near '.'." My thought was to use Union: SELECT column1, column2 FROM table1 UNION SELECT "Trying" as column1, "Testing" as coulmn2 FROM table1; But the data "Trying" and "Testing" are not really coming from table1 since I add it myself. Maybe this can't be done? SELECT ft.ArtNr, ft.FaktRadSumma, ft.ordtyp, ft.ForetagKod, ft.FtgNr, ft.Period, ft.Redovisnar, fr.FtgNamn, ft.KundKategoriKod, kus.kundklass, ft.Date, ft.FaktTB, ft.FaktTG, ar.ArtKod, ar.artprodkonto, xm.arttypbeskr, x1kk.kundklassbeskr, ft.faktradkost FROM IRISJEV01.dbo.ft ft UNION SELECT '51143' as ft.ArtNr, 0.001 as ft.FaktRadSumma, 1 as ft.ordtyp, 10 as ft.ForetagKod, '100622-02' as ft.FtgNr, 11 as ft.Period, 2018 as ft.Redovisnar, 'Stockholm' as fr.FtgNamn, 0 as ft.KundKategoriKod, 'SC' as kus.kundklass, '2018-11-07 00:00:00' as ft.Date, 2,24E+06 as ft.FaktTB, 2,23 as ft.FaktTG, 22 as ar.ArtKod, STD as ar.artprodkonto, 'Klockor & timers' as xm.arttypbeskr, 'Syncentral' as x1kk.kundklassbeskr, -2238058 as ft.faktradkost FROM IRISJEV01.dbo.ft ft I expect to get all lines from the part above Union and the one line from below Union with the data specified, e.g. 51143, 0.001, etc... Excel returns "Incorrect syntax near '.'."
SQL UNION Query with Extra Field in Results
I have a SQL query that is working well except I would like to bring the results of another column in the first db with it. This is what I currently have: SELECT parts1.PART_NBR, parts1.NIIN FROM parts1 WHERE parts1.PART_NBR='$pn' UNION SELECT parts2.REFERENCE_NUMBER, parts2.NIIN FROM parts2 WHERE parts2.REFERENCE_NUMBER='$pn' This is what I basically want (of course this wont work): SELECT parts1.PART_NBR, parts1.NIIN, parts1.ANOTHER_FIELD FROM parts1 WHERE parts1.PART_NBR='$pn' UNION SELECT parts2.REFERENCE_NUMBER, parts2.NIIN FROM parts2 WHERE parts2.REFERENCE_NUMBER='$pn' How do I write the query so that it does the same thing but actually brings back the extra field in the results?
Create an empty field, returning NULL SELECT parts1.PART_NBR, parts1.NIIN, parts1.ANOTHER_FIELD FROM parts1 WHERE parts1.PART_NBR='$pn' UNION ALL SELECT parts2.REFERENCE_NUMBER, parts2.NIIN, NULL AS ANOTHER_FIELD FROM parts2 WHERE parts2.REFERENCE_NUMBER='$pn' EDIT: From your comment you are seeing the results as Part Number: 21223 NIIN: 008194914 Name: CAPACITOR Part Number: 21223 NIIN: 011241926 Name: HEAT SINK Part Number: 21223 NIIN: 003901600 Name: KNIFE Part Number: 21223 NIIN: 003901600 Name: Part Number: 21223 NIIN: 008194914 Name: Part Number: 21223 NIIN: 011241926 Name: The first results are coming from the table parts1 the second from parts2, the blank Name fields are where you are returning NULL. From the information you have given I don't see why you are using a UNION to get the results from these two tables as they seem to contain the same information except the first table also has the Name field. Would it not be better to JOIN the tables on the Part/Reference number in order to select the name? EDIT: As you said in your comment, previously you were getting a DISTINCT result set because of using UNION. With the NULL field the rows are no longer unique and the query returns all the rows. I said in a comment that I do not see what the current UNION statement is doing for you as it seems the same information is both tables. Is there more to this query than what you have told us?
SELECT parts.PART_NBR, parts.NIIN, parts1.ANOTHER_FIELD FROM ( SELECT parts1.PART_NBR, parts1.NIIN FROM parts1 WHERE parts1.PART_NBR = '$pn' UNION SELECT parts2.REFERENCE_NUMBER, parts2.NIIN FROM parts2 WHERE parts2.REFERENCE_NUMBER = '$pn' ) AS parts(PART_NBR, NIIN) LEFT OUTER JOIN parts1 ON parts.PART_NBR = parts1.PART_NBR AND parts.NIIN = parts1.NIIN
You have to have matching columns, however you can place a "fake" column in the second one that comes back null or whatever default value you want. SELECT parts1.PART_NBR, parts1.NIIN, parts1.ANOTHER_FIELD FROM parts1 WHERE parts1.PART_NBR='$pn' UNION SELECT parts2.REFERENCE_NUMBER, parts2.NIIN, NULL AS ANOTHER_FIELD FROM parts2 WHERE parts2.REFERENCE_NUMBER='$pn'
Simple as below: select part_number, niin, max(field) from ( SELECT parts1.PART_NBR part_number, parts1.NIIN niin, parts1.ANOTHER_FIELD field FROM parts1 WHERE parts1.PART_NBR='$pn' UNION SELECT parts2.REFERENCE_NUMBER part_number, parts2.NIIN niin, "" field FROM parts2 WHERE parts2.REFERENCE_NUMBER='$pn') group by part_number, niin You just need to accommodate a placeholder in the second query to match the extra field location of the first.