durnas klausimas dėl duomenų kaupimo / raš ymo

Teisybes Dele, 10th Dec 2022 4:00 pm GMT+0200 permalink

Sveiki,

bandau žaisti su Python, bet praktikos 0.

turiu txt failą su įrenginių IP adresais (adresų iki 50),
nuskaitau visus adresus iš karto,
tada suku ciklą kuriame nuskaitau kiekvino įranginio duomenis
(duomenys: 10 vnt. tipo 'OK!' arba '99,9%'); duomenis dedu į list.

kilo klausimas kuris variantas teisingesnis:
1. po kiekvieno įrenginio nuskaitymo įrašyti eilutę į CSV failą
ar
2. kaupti visas 50 eilučių atmintyje ir baigus visų įrenginių duomenų
nuskaitymą, įrašyti viską į failą?

O jei įrenginių 500?

Laimis, 10th Dec 2022 4:55 pm GMT+0200 permalink

Teisybes Dele rašė:

Sveiki,

bandau žaisti su Python, bet praktikos 0.

turiu txt failą su įrenginių IP adresais (adresų iki 50),
nuskaitau visus adresus iš karto,
tada suku ciklą kuriame nuskaitau kiekvino įranginio duomenis
(duomenys: 10 vnt. tipo 'OK!' arba '99,9%'); duomenis dedu į list.

kilo klausimas kuris variantas teisingesnis:
1. po kiekvieno įrenginio nuskaitymo įrašyti eilutę į CSV failą
ar
2. kaupti visas 50 eilučių atmintyje ir baigus visų įrenginių duomenų
nuskaitymą, įrašyti viską į failą?

O jei įrenginių 500?

O koks tikslas? Išsaugoti duomenis faile? Tada du momentai:
1) pagalvočiau jau ne apie csv, o apie json (patogiau ir paprasčiau
apdoroti, o net ir skaityti, kai nereikia skaičiuoti stulpelių, ką kuris
reiškia);
2) Nėra esminio/jokio skirtumo, kaip tai darysi (rašysi porcijomis ar
viską iš karto), net jei įrenginių 500. Kol tai telpa į atmintį. Ne
penki milijonai gi (ir tai viskas tilptų atmintyje dar)
- Attachments:
- signature.asc (834 Byte)
- Teisybes Dele, 10th Dec 2022 7:47 pm GMT+0200 permalink
  
  On 12/10/2022 4:55 PM, Laimis wrote:
  
  O koks tikslas? Išsaugoti duomenis faile? Tada du momentai:
  
  tikslas turėti istoriją faile/db kad būtų galima (pa)stebėti parametrų
  pasikeitimą ir kitimo greitį. Na tai jau kitas etapas.
  
  supratau, json ir iki 5 000 000 :-) eilučių bandau rašyti viską urmu.
  
  Ačiū.
- Grzegorz Brzęczyszczykiewicz, 11th Dec 2022 6:32 pm GMT+0200 permalink
  
  2022-12-10 16:55, Laimis rašė:
  
  O koks tikslas? Išsaugoti duomenis faile? Tada du momentai:
  1) pagalvočiau jau ne apie csv, o apie json (patogiau ir paprasčiau
  apdoroti, o net ir skaityti, kai nereikia skaičiuoti stulpelių, ką kuris
  reiškia);
  2) Nėra esminio/jokio skirtumo, kaip tai darysi (rašysi porcijomis ar
  viską iš karto), net jei įrenginių 500. Kol tai telpa į atmintį. Ne
  penki milijonai gi (ir tai viskas tilptų atmintyje dar)
  
  gal verta pagalvoti apie kažkurią DB?
  CSV saugojims nelabai draugiškas duomenų apdorojimui.
  
  Plius ta iš esmės asinchroninis procesas, vieni įrenginai atsakys
  greičįau, kiti - lėčiau. Dar kiti bus mirę ir blokuos visą programos darbą.
  
  --
  Grzegorz
  
  Chrząszczyrzewoszyce, powiat Łękołody
  - Laimis, 11th Dec 2022 7:28 pm GMT+0200 permalink
    
    Grzegorz Brzęczyszczykiewicz rašė:
    
    gal verta pagalvoti apie kažkurią DB?
    CSV saugojims nelabai draugiškas duomenų apdorojimui.
    
    Patikslintai užduočiai apskritai RRDtool reikia, matyt:
    https://oss.oetiker.ch/rrdtool/
    - Attachments:
    - signature.asc (834 Byte)
    - Laimis, 11th Dec 2022 7:35 pm GMT+0200 permalink
      
      Laimis rašė:
      
      Patikslintai užduočiai apskritai RRDtool reikia, matyt:
      https://oss.oetiker.ch/rrdtool/
      
      Tik jau tada reikia pradėti nuo viso sprendimo:
      https://www.cacti.net/
      
      Attachments:
      
      signature.asc (834 Byte)
      - Grzegorz Brzęczyszczykiewicz, 11th Dec 2022 7:47 pm GMT+0200 permalink
        
        2022-12-11 19:35, Laimis rašė:
        
        Laimis rašė:
        
        Patikslintai užduočiai apskritai RRDtool reikia, matyt:
        https://oss.oetiker.ch/rrdtool/
        
        Tik jau tada reikia pradėti nuo viso sprendimo:
        https://www.cacti.net/
        MQTTY?
        
        --
        Grzegorz
        
        Chrząszczyrzewoszyce, powiat Łękołody
      - Teisybes Dele, 11th Dec 2022 8:24 pm GMT+0200 permalink
        
        On 12/11/2022 7:35 PM, Laimis wrote:
        
        Laimis rašė:
        
        Patikslintai užduočiai apskritai RRDtool reikia, matyt:
        https://oss.oetiker.ch/rrdtool/
        
        Tik jau tada reikia pradėti nuo viso sprendimo:
        https://www.cacti.net/
        
        ne, grafikai gerai, bet ne esmė, neatsidarinėsiu gi kas dieną 50 ar 500
        grafikų. Yra Zabbix, Grafana grafikams.
        
        Cacti buvo, iškeliavo į dausas.
        
        Laimis, 11th Dec 2022 9:18 pm GMT+0200 permalink
        
        Teisybes Dele rašė:
        
        ne, grafikai gerai, bet ne esmė, neatsidarinėsiu gi kas dieną 50 ar 500
        grafikų. Yra Zabbix, Grafana grafikams.
        
        Tau geriau matyt, bet RRDTool/Cacti ne tik ir ne tiek apie grafikus, o
        apskritai apie monitoring'ą, kurį paminėjai. Ten gi ir visokie alarm'ai
        galimi.
        
        Cacti buvo, iškeliavo į dausas.
        
        Tada nesuprantu, ką bandai padaryti geriau, jei tik neišrasti dviratį
        mokantis python'o... :-)
        
        Attachments:
        
        signature.asc (834 Byte)
        
        Teisybes Dele, 11th Dec 2022 10:19 pm GMT+0200 permalink
        
        On 12/11/2022 9:18 PM, Laimis wrote:
        
        Tada nesuprantu, ką bandai padaryti geriau,
        
        noriu kad skriptas "stebėtų grafikus" ir praneštų apie anomalijas.
        
        nes paprasti aliarmai pasiekus nustatytą ribą kartais gali suveikti tik
        po ilgo laiko. Pvz, į aušinimo sistemą pakliuvo šiukšlės, įranga kaista
        bet nepasiekė ribinės temperatūros, ventiliatoriai kaukia iš visų jėgų,
        o kad kažkas negerai pamatysiu po mėnesio, kai iššoks perkaitimo aliarmas.
        
        O stebint parametrų pasikeitimus, to pasikeitimo greitį būtų galima
        reaguoti anksčiau, kai tik įvyks staigus temperatūros pokytis.
        
        ABLomas, 11th Dec 2022 10:31 pm GMT+0200 permalink
        
        On 2022-12-11 22:19, Teisybes Dele wrote:
        
        noriu kad skriptas "stebėtų grafikus" ir praneštų apie anomalijas.
        
        Nu tai jei yra grafana, tai jinai moka alertint. Kriokt emailan ar
        skriptus executint.
        Jei nėr frontendo, bet yra koks nors backendas grafanai (infliūksas ar
        viktorija ar whatever), tai vis tiek kur kas lengviau trigerius kabint
        ten, nei kad kept šalia dar vieną tekstinę DB.
        
        O stebint parametrų pasikeitimus, to pasikeitimo greitį būtų galima
        reaguoti anksčiau, kai tik įvyks staigus temperatūros pokytis.
        
        Nu vėlgi, ta pati grafana turi trendo trigerį, t.y. kai užsitrigerina
        nebūtinai nuo "out of range" reikšmių, o dėl netipinio elgesio.
        Tiesa, nežinau kaip tiksliai veikia, bet tokį trigerį mačiau. Nevalitas? =)
        
        Teisybes Dele, 11th Dec 2022 10:50 pm GMT+0200 permalink
        
        On 12/11/2022 10:31 PM, ABLomas wrote:
        >
        
        Nu tai jei yra grafana, tai jinai moka alertint. Kriokt emailan ar
        skriptus executint.
        
        ne visus įrenginius grafana stebi.
        Nes teoriškai kai kuriems įranginiams nėra iš ko grafikus braižyti.
        
        bet būna pvz, kad nusimuša nustatymai , mano skriptas tai pastebėtų.
        
        Laimis, 11th Dec 2022 11:32 pm GMT+0200 permalink
        
        Teisybes Dele rašė:
        
        On 12/11/2022 9:18 PM, Laimis wrote:
        
        Tada nesuprantu, ką bandai padaryti geriau,
        
        noriu kad skriptas "stebėtų grafikus" ir praneštų apie anomalijas.
        
        Ok, reiškia nori sukurti custom analitiką?
        
        nes paprasti aliarmai pasiekus nustatytą ribą kartais gali suveikti tik
        po ilgo laiko. Pvz, į aušinimo sistemą pakliuvo šiukšlės, įranga kaista
        bet nepasiekė ribinės temperatūros, ventiliatoriai kaukia iš visų jėgų,
        o kad kažkas negerai pamatysiu po mėnesio, kai iššoks perkaitimo aliarmas.
        
        Tai trigeris nuo padidintos temp (slenkstinė reikšmė, o ne ribinė) ir
        gauni žinutę atkreipt dėmesį, atsidarai ir matai visą mėnesio grafiką,
        aktualių parametrų trendus.
        https://www.youtube.com/watch?v=QzqDWtjpHQA
        
        Attachments:
        
        signature.asc (834 Byte)
        
        Teisybes Dele, 12th Dec 2022 10:13 am GMT+0200 permalink
        
        On 12/11/2022 11:32 PM, Laimis wrote:
        
        Ok, reiškia nori sukurti custom analitiką?
        
        taip
        
        Grzegorz Brzęczyszczykiewicz, 13th Dec 2022 11:13 am GMT+0200 permalink
        
        2022-12-12 10:13, Teisybes Dele rašė:
        
        On 12/11/2022 11:32 PM, Laimis wrote:
        
        Ok, reiškia nori sukurti custom analitiką?
        
        taip
        
        tai tuomet log'ini toje pačioje sistemoje, o analizuoji su savo
        skriptais, bet iš to paies šaltinio.
        
        --
        Grzegorz
        
        Chrząszczyrzewoszyce, powiat Łękołody
  - Teisybes Dele, 11th Dec 2022 8:14 pm GMT+0200 permalink
    
    On 12/11/2022 6:32 PM, Grzegorz Brzęczyszczykiewicz wrote:
    
    Plius ta iš esmės asinchroninis procesas, vieni įrenginai atsakys
    greičįau, kiti - lėčiau. Dar kiti bus mirę ir blokuos visą programos darbą.
    
    pas mane nuoseklus procesas, skaitau po vieną IP ir renku duomenis su
    try/except. Jei kažkuris neatsako, užtrunka ilgiau, bet neblokuoja.
    
    rašyti į db aišku variantas, ko gero taip ir darysiu. Nenorėjau kurti db
    kol nebuvau tikras kad nuskaitysiu duomenis.
    - Grzegorz Brzęczyszczykiewicz, 11th Dec 2022 8:30 pm GMT+0200 permalink
      
      2022-12-11 20:14, Teisybes Dele rašė:
      
      pas mane nuoseklus procesas, skaitau po vieną IP ir renku duomenis su
      try/except. Jei kažkuris neatsako, užtrunka ilgiau, bet neblokuoja.
      
      aš labiau apie thread'us.
      Pvz jei timeout yra 1 minutė, apie tai, jog neveikia nei vienas iš 50
      įrenginių sužinosi po ... maždaug valandos.
      
      rašyti į db aišku variantas, ko gero taip ir darysiu. Nenorėjau kurti db
      kol nebuvau tikras kad nuskaitysiu duomenis.
      
      O Cacti kodėl nebetinka?
      
      --
      Grzegorz
      
      Chrząszczyrzewoszyce, powiat Łękołody
      - Teisybes Dele, 11th Dec 2022 10:29 pm GMT+0200 permalink
        
        On 12/11/2022 8:30 PM, Grzegorz Brzęczyszczykiewicz wrote:
        
        2022-12-11 20:14, Teisybes Dele rašė:
        
        pas mane nuoseklus procesas, skaitau po vieną IP ir renku duomenis su
        try/except. Jei kažkuris neatsako, užtrunka ilgiau, bet neblokuoja.
        
        aš labiau apie thread'us.
        Pvz jei timeout yra 1 minutė, apie tai, jog neveikia nei vienas iš 50
        įrenginių sužinosi po ... maždaug valandos.
        
        Kad neveikia nei vienas taip nebūna, neliktų niekur elektros.
        Timeout kelios sekundės.
        Na o dabar galiu visai nesužinoti (tuo labiau kad įrenginys gali būti
        pasiekiamas bet nedirbti ar dirbti blogai),
        Procesai nevyksta greitai, planuoju leisti skriptą kas tris valandas.
        
        Jei visai sugenda, yra priemonių tai pastebėti, man aktualu pokyčiai kai
        dar kažkiek dirba ir nėra aliarmų.
        
        O Cacti kodėl nebetinka?
        
        cacti ne mano žinioj bet kiek suprantu nepavežė tūkstančių įrenginių
        
        Grzegorz Brzęczyszczykiewicz, 11th Dec 2022 10:40 pm GMT+0200 permalink
        
        2022-12-11 22:29, Teisybes Dele rašė:
        
        Kad neveikia nei vienas taip nebūna, neliktų niekur elektros.
        
        arba switch'as numirė.
        
        Na o dabar galiu visai nesužinoti (tuo labiau kad įrenginys gali būti
        pasiekiamas bet nedirbti ar dirbti blogai),
        Procesai nevyksta greitai, planuoju leisti skriptą kas tris valandas.
        
        aktyvaus monitorinimo neišeina padaryti? SNMP ir pan?
        
        cacti ne mano žinioj bet kiek suprantu nepavežė tūkstančių įrenginių
        
        hm, keista.
        
        --
        Grzegorz
        
        Chrząszczyrzewoszyce, powiat Łękołody
        
        Teisybes Dele, 11th Dec 2022 10:52 pm GMT+0200 permalink
        
        On 12/11/2022 10:40 PM, Grzegorz Brzęczyszczykiewicz wrote:
        
        aktyvaus monitorinimo neišeina padaryti? SNMP ir pan?
        
        viskas kas svarbu yra monitorinama, bet man norisi daugiau sliekų surasti
ravikas, 11th Dec 2022 11:02 am GMT+0200 permalink

On 2022-12-10 16:00, Teisybes Dele wrote:

Sveiki,

bandau žaisti su Python, bet praktikos 0.

turiu txt failą su įrenginių IP adresais (adresų iki 50),
nuskaitau visus adresus iš karto,
tada suku ciklą kuriame nuskaitau kiekvino įranginio duomenis (duomenys:
10 vnt. tipo 'OK!' arba '99,9%'); duomenis dedu į list.

kilo klausimas kuris variantas teisingesnis:
1. po kiekvieno įrenginio nuskaitymo įrašyti eilutę į CSV failą
ar
2. kaupti visas 50 eilučių atmintyje ir baigus visų įrenginių duomenų
nuskaitymą, įrašyti viską į failą?

O jei įrenginių 500?

IMHO, duomenų kiekis labai mažas, tai tik viską rašyti vienu ypu. Jeigu
rašai po kiekvieno nuskaitymo, tai laikai atidarytą failą viso ilgo savo
proceso metu, o atidaryti/uždaryti failą rašant kas eilute nelogiška.
Šiaip tai jeigu norėsis analizės, tai patogiau būtų naudoti kokią DB,
galima SqlLite ar PostgreSql.
Laimis, 14th Dec 2022 2:50 am GMT+0200 permalink

Teisybes Dele rašė:

kilo klausimas kuris variantas teisingesnis:
1. po kiekvieno įrenginio nuskaitymo įrašyti eilutę į CSV failą
ar
2. kaupti visas 50 eilučių atmintyje ir baigus visų įrenginių duomenų
nuskaitymą, įrašyti viską į failą?

O jei įrenginių 500?

Paklausinėk ChatGPT:
https://www.youtube.com/watch?v=TIDA6pvjEE0

:o ;)
- Attachments:
- signature.asc (834 Byte)

Usenet @ RKM

durnas klausimas dėl duomenų kaupimo / raš ymo

A short format overview