Scraping Lazada getting strange results - selenium

Question

I am looking for some hints about http://lazada.co.th
I have search links I need to scrape, but the results are inconsistent. Even manually Safari brings up different results from Chrome for the same link (number of items)
For example
https://www.lazada.co.th/shop-womens-sunglasses/?service=FS&location=local&price=5000-&rating=4
Shows me in Safari 31 items and in Chrome - 0
As for scraping I get totally different results from different approaches and from same approaches in time. I mean that BS4 and Selenium return different quantities and BS4 itself and Selenium itself are not consistent during even couple of hours. I can get results similar to Safari one time and similar to Chrome another time.
Playing with timeouts didn't help.
Any hints will be highly appreciated ))

Answer 1

The data is embedded within the page in Json form. You can use re/json module to extract it. The caveat is, that the page sometimes returns 0 results (this is completely random - I presume the coding is bad on their side).
This script will retry the loading until the data is available:
import json
import requests
from time import sleep
url = 'https://www.lazada.co.th/shop-womens-sunglasses/?service=FS&location=local&price=5000-&rating=4'
while True:
txt = requests.get(url).text
data = json.loads(re.search(r'window\.pageData=(.*?);?<', txt).group(1))
if 'listItems' not in data['mods']:
sleep(1)
continue
break
#uncomment next line to print all data:
#print(json.dumps(data, indent=4))
for i, item in enumerate(data['mods']['listItems'], 1):
print('{:<3} {:>12} {:>15} {}'.format(i, item['price'], item['itemId'], item['name']))
Prints:
1 5390 390780925 Ray-Ban Square Sunglasses- RB1971 9150AC แว่นตากันแดด
2 5390.00 390796431 Ray-Ban Square Sunglasses- RB1971 9149AD แว่นตากันแดด
3 19290.00 100916363 GUCCI แว่นกันแดด รุ่น GG3660/K/S UD28ED/57
4 12000.00 275621098 Marc Jacobs แว่นตากันแดด รุ่น MJ457/F/S 35HEU ( Brown )
5 16900.00 7663524 Dior Mirrored Sunglasses- Rose Gold
6 9999.00 161253056 ic! berlin Malgorzata Rose Gold แว่นกันแดดกรอบสแตนเลส หรูหรา น้ำหนักเบาสุดๆ ของแท้ ฟรีแก้ว
7 38900.00 100133011 แว่นกันแดด DIOR SUN รุ่น silver matte peach/dark grey (RCM/BN)
8 7250.00 10928606 Ray-Ban Erika Polarized - RB4171F 710/T5 แว่นตากันแดด rayban
9 19990.00 100915722 GUCCI แว่นกันแดด รุ่น GG2245/S SJ5GXS/59
10 17890.00 100924756 GUCCI แว่นกันแดด รุ่น GG3754/F/S UKCLHA/58 (Black Black)
11 22790.00 101448214 GUCCI แว่นตากันแดด รุ่น GG3760/F/S U2ENHD/57
12 22790.00 100924670 GUCCI แว่นกันแดด รุ่น GG3727/F/S UILW6J/58 (Black Gold)
13 20290.00 100916203 GUCCI แว่นกันแดด รุ่น GG3635/N/F/S UZ9X0J/57
14 6990.00 100524937 GUESS แว่นกันแดด รุ่น GU7448 32B #52
15 5590.00 100525280 GUESS แว่นกันแดด รุ่น GU7460 M32B #60
16 22790.00 100924776 GUCCI แว่นกันแดด รุ่น GG3760/F/S U2EZHA/57 (Brown Black)
17 20290.00 101448302 GUCCI แว่นตากันแดด รุ่น GG4273/S S3YGMI/52
18 19990.00 100915356 GUCCI แว่นกันแดด รุ่น GG2245/S S006R3/61
19 5390.00 100516633 GUESS แว่นกันแดด รุ่น GU 6725 32C
20 18590.00 100924679 GUCCI แว่นกันแดด รุ่น GG3735/F/S UCHYUZ/57 (Red Brown)
21 26290.00 100883133 GUCCI แว่นตากันแดด GG2235/S SKJ1LG/59
22 5590.00 100525330 GUESS แว่นกันแดด รุ่น GU7460 M05B #60
23 20290.00 101443274 GUCCI แว่นตากันแดด GG3635/N/F/S UZ99HA/57
24 29790.00 101448179 GUCCI แว่นตากันแดด รุ่น GG3706/F/S U2ZXHA/58
25 7490.00 100524727 GUESS แว่นกันแดด รุ่น GU7434 02D #56
26 7200.00 100408876 Gucci GG 3504/S D28/BN(Grey Black
27 6990.00 100524871 GUESS แว่นกันแดด รุ่น GU7448 02B #52
28 5390.00 100881696 GUESS แว่นกันแดด รุ่น GU6850 49G #54
29 6990.00 100525084 GUESS แว่นกันแดด รุ่น GU7448 09C #52
30 5390.00 100881586 GUESS แว่นกันแดด รุ่น GU6850 02B #54
31 27900.00 7765890 Dior Reflected Pink M2Q