Uutiset:

Kirjoittaja Aihe: Talologger apua tarvitaan  (Luettu 144354 kertaa)

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #400 : 07.04.18 - klo:15:39 »
Kokeilin nyt asennella tuon talologgerpi skriptin avulla tuon graafityökalun. Se toimii heittämällä ja alkaa piirtää sinikäyrää, tietokanta asentuu, webbiserveri asentuu jne.

Tietokanta on näköjään geneerinen, siitä papukaijamerkki olammille. En osaa sanoa geneerisen kannan tehokkuudesta kannan kasvaessa, mutta toivottavasti se ei hidastu ja heikkene merkittävästi.

.......

olen täysin vakuuttunut
http://lampopumput.info/foorumi/index.php/topic,18225.255.html

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #401 : 07.04.18 - klo:15:57 »
olen täysin vakuuttunut
http://lampopumput.info/foorumi/index.php/topic,18225.255.html

Mikä on "rockki" ?

Epäilyttävän lujaa vauhtia tuo tietokantatiedosto kasvaa ainakin. Loggaan 10 sekuntin välein, muuttujia on jo muutama kymmenen.

En ole toteutusta katsonut mutta veikkaan lonkalta että sinnepä saattaa mennä joka riville jokaisen muuttujan nimi stringinä.. toivottavasti olen väärässä!
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #402 : 07.04.18 - klo:16:24 »
Radxa Rock

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #403 : 07.04.18 - klo:16:35 »
Radxa Rock

Okei. Jos tuo tietokanta lopulta jumittuu niin sitten pitäisi varmaan jotenkin loggailla kauanko menee aikaa yhteen tietokantaan kirjoitukseen verrattuna loggausintervalliin. Talologgergraph ei kai aiheuta kuormaa niin kauan kun kukaan ei katsele webbisivua.

Oma loggausintervalli on sen verran tiuha että tuo miljoona riviä pitäisi tulla jossain neljässä kuukaudessa.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #404 : 07.04.18 - klo:17:39 »
kopioin nuo taloLoggerin antamat virhesanomat, ensin yksi, sitten kaksi, jne. en kylläkään näitä tietokantoja ymmärrä

tästä virheestä alkoi

02.04.2018 19:10:01: TaloLoggerThreadLogger: Unable to start data source query for module OWFS.
02.04.2018 19:20:00: TaloLoggerThreadLogger: Unable to start data source query for module OWFS.


02.04.2018 19:28:19: Persistent state directory: /home/talo/var/taloLogger/state
02.04.2018 19:28:19: Starting taloLogger.py (v1.7h).
02.04.2018 19:28:19: Initialized module OWFS
02.04.2018 19:28:19: Initialized module SHELL1
02.04.2018 19:28:19: Initialized module SHELL2
02.04.2018 19:28:19: Initialized module SHELL3
02.04.2018 19:28:19: Initialized module SHELL4
02.04.2018 19:28:19: Initialized module JSONFILE
02.04.2018 19:28:19: Initialized module FILESTORE
02.04.2018 19:28:19: Initialized module XMLFILE
02.04.2018 19:28:19: Initialized module SQLITEDB
02.04.2018 19:28:19: Initialized module SQLITEDB_B
02.04.2018 19:28:19: TaloLoggerThreadStore: Module state loaded.
02.04.2018 19:28:19: ReleasedVersionChecker:
######################################################################
#    There is a newer release version of taloLogger available in
#
#                  http://olammi.iki.fi/sw/taloLogger/
#
#    Current version: v1.7h    Available release version: v1.7j
######################################################################

kunnes

03.04.2018 01:22:00: SHELL3: ERROR: Error executing Shell data source command
  Command: /bin/cat /home/talo/log/kulutus.csv
  Command output: 3.529852962703167,116

  Command status: -1
03.04.2018 01:22:00: SHELL1: ERROR: Error executing Shell data source command
  Command: /usr/bin/python /home/talo/mbus.py
  Command output:
  Command status: -1
03.04.2018 01:24:00: SHELL3: ERROR: Error executing Shell data source command
  Command: /bin/cat /home/talo/log/kulutus.csv
  Command output:
  Command status: -1
03.04.2018 01:24:00: SHELL1: ERROR: Error executing Shell data source command
  Command: /usr/bin/python /home/talo/mbus.py
  Command output:
  Command status: -1
03.04.2018 01:26:00: SHELL3: ERROR: Error executing Shell data source command
  Command: /bin/cat /home/talo/log/kulutus.csv
  Command output:
  Command status: -1
03.04.2018 01:26:01: SHELL1: ERROR: Error executing Shell data source command
  Command: /usr/bin/python /home/talo/mbus.py
  Command output:
  Command status: -1
03.04.2018 01:30:00: TaloLoggerThreadLogger: Unable to start data source query for module SHELL4.
03.04.2018 01:30:00: TaloLoggerThreadLogger: Unable to start data source query for module SHELL2.
03.04.2018 01:30:00: TaloLoggerThreadLogger: Unable to start data source query for module OWFS.
03.04.2018 01:32:00: SHELL1: ERROR: Error executing Shell data source command

ja 10 min vlein, mittausväli

03.04.2018 08:20:01: TaloLoggerThreadLogger: Unable to start data source query for module SHELL4.
03.04.2018 08:20:01: TaloLoggerThreadLogger: Unable to start data source query for module SHELL1.
03.04.2018 08:20:01: TaloLoggerThreadLogger: Unable to start data source query for module SHELL2.
03.04.2018 08:20:01: TaloLoggerThreadLogger: Unable to start data source query for module OWFS.
03.04.2018 08:22:01: SHELL3: ERROR: Error executing Shell data source command
  Command: /bin/cat /home/talo/log/kulutus.csv
  Command output:
  Command status: -1
03.04.2018 08:24:01: SHELL3: ERROR: Error executing Shell data source command
  Command: /bin/cat /home/talo/log/kulutus.csv
  Command output:
  Command status: -1
03.04.2018 08:26:01: SHELL3: ERROR: Error executing Shell data source command
  Command: /bin/cat /home/talo/log/kulutus.csv
  Command output:
  Command status: -1


varmasti nämä minun cofigit on osa syy, jos ne osaisi hioa, optimoida, niin ainakin pidemmälle pääsisi

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #405 : 07.04.18 - klo:18:06 »
Tutkasin tuota talologgerin tietokannan toteutusta hieman ja kahden taulun toteutus siellä näyttäisi olevan. Toisessa on string-to-id mäppäys kuten toivoin. Minulla ei ole siihen nokan koputtamista. SQLiten tietokannassa on vaan overheadia, siksi se varsinainen datataulu kasvaa niin lujaa kyytiä.

jolla: miksi luet shell-skriptillä loggauksen aikana cat-komennolla jotain csv-tiedostoja? Mahtaako nuo csv-tiedostot olla isoja ja mikä tuossa on ideana?

Jos käytät sitä regexp häkkyrää joka parsii standardioutputtia niin sinun olisi paras syöttää sille rajallinen määrä dataa. Ei ole erityisen kevyttä ajaa regexpiä ison luetun tiedoston läpi. Jos tiedosto on pieni niin ei toki ole mitään ongelmaa ajella catilla se stdouttiin ja parsia siitä regexpillä. Jos tiedosto on iso ja mikäli kiinnostava tieto löytyy tiedoston lopusta niin käytä komentoa "tail". Jopa "tail -1 tiedostonnimi" mikäli se on aina viimeisellä rivillä.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #406 : 07.04.18 - klo:22:06 »
.............
jolla: miksi luet shell-skriptillä loggauksen aikana cat-komennolla jotain csv-tiedostoja? Mahtaako nuo csv-tiedostot olla isoja ja mikä tuossa on ideana?
.............

siellä .csv tiedostossa on vain pari lukua jotka tekee python scripti sqlite tietokannasta mittausten välillä ja kirjoittaa seuraavalla kerralla tietokantaan josta taas kyselyllä saan .csv tiedostoon jonka lähetän kotisivulle missä piirtyy graafi mittausvälin senhetkisestä bio/sähkö kulutuksesta (kulutus vuorokaudessa)
ihan hävettää, mutta en saanut/osannut yksinkertaisemmin taloLoggerilla sitä aikanaan toeteutettua se ei käsittääkseni pysty käsittelemään tietokantaa mittausten aikana
« Viimeksi muokattu: 08.04.18 - klo:07:53 kirjoittanut jolla »

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #407 : 08.04.18 - klo:14:23 »
^ Eipä se siitä sitten ole kiinni. Sitä tietokantaan syötön nopeutta siinä pitäisi kuitenkin loggailla, josko se pykii isommalla rivimäärällä.

Tuo geneerinen kanta on sellainen että se for loopissa tekee jokaiselle muuttujalle oman rivin. Kas näin:

Koodia: [Valitse]
for val in values:
                    cur = db.cursor()
   
                    posid = self.POSITIONS[val[0]]
                           
                    sqlstmt = "INSERT INTO " + self.DB_TABLE + " "
                    sqlstmt = sqlstmt + "(" + self.DB_TIMECOL + ", position_id, value) VALUES ("
                    sqlstmt = sqlstmt + "%s, %d, " % (timestr, posid)
                    sqlstmt = sqlstmt + checkDBValue(val[1]) + ")"

Eli jos on käytössä vaikka 30 muuttujaa, niin se tekee 30 riviä per loggaus, ja jos tietokanta sattuu olemaan tyyppiä joka hidastuu oleellisesti rivien määrän kasvaessa, niin tuo ongelma tulee sitten vastaan 30 kertaa nopeammin kuin jos kanta olisi vähemmän geneerinen ja kaikki 30 muuttujaa olisivat samalla rivillä. Tuo selittää myös sen hieman yllättävän ison overheadin suhteessa datan määrään, eli tietokantatiedosto kasvaa yllättävän nopeasti. Geneerisyys ei tule ilmaiseksi..

Pitää nyt vilkaista indeksoiko tuo kantaa. Jos indeksoi niin jumittelu loppunee poistamalla indeksointi. Graafien piirtäminen sitten taas voi hidastua.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #408 : 08.04.18 - klo:14:49 »
Jepjep:

Koodia: [Valitse]
CREATE_TALO_DATA_TIME_INDEX_1 = "CREATE INDEX IF NOT EXISTS i_talo_data_time ON talo_data (time)"
....
                sqlstmt = CREATE_TALO_DATA_TIME_INDEX_1
                cur.execute(sqlstmt)

Tässä vähän lisäinfoa:

https://stackoverflow.com/questions/15778716/sqlite-insert-speed-slows-as-number-of-records-increases-due-to-an-index

Tästä optimointivaihtoehtoja, jos indeksiä ei halua dropata tykkänään:

https://stackoverflow.com/questions/1711631/improve-insert-per-second-performance-of-sqlite

Näistä tuo transaktioiden käyttöönotto lienee se ensimmäinen ja loogisin juttu mikä kannattaa tehdä tuohon for-loopin ympärille. Taidan kokeilla sitä, tuuppaan pätsillä jos se toimii.

Ajattelin myös kokeilla ilman indeksiä. Voi kylläkin olla, että graafien työstö menee tuskaisen hitaaksi sitten.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #409 : 08.04.18 - klo:16:54 »
Nonni, selvittelin hieman. Transaktiot on python-sqlitessä käytössä jo implisiittisesti joten se ei siitä nysväämällä sen nopeammaksi enää muutu.

Indeksin voi dropata mutta sitten talologgergraph menee hitaaksi. Tein sen nyt kokeeksi, ans kattoo kauanko kestää että hermostun hitaammin ja hitaammin muodostuviin graafeihin. Indeksin voi toki luoda uudelleen, muutos ei ole peruuttamaton. Jos haluat jolla kokeilla, niin droppausrivi on tällainen:

DROP_TALO_DATA_TIME_INDEX_1 = "DROP INDEX IF EXISTS i_talo_data_time"

Ja sql-käskyn voi laittaa initPositions -funktioon tähän tapaan:

Koodia: [Valitse]
    def initPositions(self):
        if self.DB_SCHEMA == 1:
            self.POSITIONS = {}
            sqlstmt = ""
            try:
                db = SQLiteDb.connect(self.DB_NAME)
                cur = db.cursor()
                sqlstmt = DROP_TALO_DATA_TIME_INDEX_1
                cur.execute(sqlstmt)

Kompromissi voisi olla joku sellainen, että jakaa tietokannan kuukausittaisiin tiedostoihin. Joka kuukaudelle siis oma tietokantatiedosto. Silloin rivien määrä ei nouse liian isoksi.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #410 : 08.04.18 - klo:17:31 »
toistaiseksi pysyn yhden taulun tietokannassa, kyselyt helppoja toteuttaa enkä näe siinä muuta haittaa kun joutuu manuaalisesti lisäämään aina uuden
jos kahden kuukauden kahden taulun tietokanta on yhtä suuri kun yhden taulun neljän vuoden, niin en ihmettele jos takkuaa näissä korttikoneissa
päinvastoin, miksi? eikö yhden taulun kantaa pysty automaattiseksi tekemään?

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #411 : 08.04.18 - klo:18:04 »
päinvastoin, miksi? eikö yhden taulun kantaa pysty automaattiseksi tekemään?

Paha sanoa, en ole sql-osaaja ollenkaan, vaikka koodia olenkin vääntänyt. Kai tauluun voisi alter-tablella luoda lisää sarakkeita.

Nythän rivien määrän räjäyttää tuo per muuttuja schema. Eli joka muuttujalle tulee uusi rivi per loggauskierros. Se mäppäystaulu on mikroskooppinen, sillä ei ole merkitystä varsinaisesti.

Voisi sen kai tehdä niinkin että aina kun tulee uusi muuttuja logattavaksi niin alter tablella lisätään uusi id-value sarakepari sinne datatauluun. Tällöin rivin pituus kasvaisi, mutta tietokannan inserttejä hidastava indeksointi olisi vähäisempää koska rivejä tulisi vähemmän. Tietokanta olisi todennäköisesti myös kompaktimpi, koska jokaisella rivillä on oma overheadinsa.

Vielä kompaktimpaa olisi joku "sun sarakkeesi on sun indeksisi" tyyppinen ratkaisu. Tuollainen toimahtaisi ehkä niin kauan kun vain lisää muuttujia loppuun. Rivien määrä olisi tuossakin sama silti.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #412 : 10.04.18 - klo:09:46 »
Olen tuota nyt tovin pähkinyt ja löysin konstin jolla tietokannan saa sellaiseksi että se ei syö liikaa tilaa, rivejä ja on tehokas. Toteutus tosin puuttuu vielä. :)

Ensinnäkin data-taulun rakenne muutetaan sellaiseksi että sen sijaan että siellä on näin:
rowid, timestamp, id, value

Tehdäänkin niin että jatkossa on:
rowid, timestamp, id, value, id, value, id, value, id, value

Näin rivien määrä saadaan pienenemään. Mutta tämä vain siirtää ongelmaa myöhäisemmäksi. Tarvitaan siis jotain parempaa. Siispä muokataan vähän lisää. Nyt kun rivejä ei tule enää kuin yksi per timestamp, voidaan vaihtaa timestamp rowid-aliakseksi. Sehän on luonnostaan kasvava, uniikki ID. Eli näin:
timestamp, id, value, id, value, id, value, id, value..

Ja alter tablella kasvatetaan taulua silloin kun logattavien muuttujien määrä kasvaa.

Tästä on useita hyötyjä. Indeksiä ei enää tarvita. Insert-nopeus nousee. Myös hakujen pitäisi olla nopeammat:

"The data for rowid tables is stored as a B-Tree structure containing one entry for each table row, using the rowid value as the key. This means that retrieving or sorting records by rowid is fast. Searching for a record with a specific rowid, or for all records with rowids within a specified range is around twice as fast as a similar search made by specifying any other PRIMARY KEY or indexed value.

With one exception noted below, if a rowid table has a primary key that consists of a single column and the declared type of that column is "INTEGER" in any mixture of upper and lower case, then the column becomes an alias for the rowid. Such a column is usually referred to as an "integer primary key". A PRIMARY KEY column only becomes an integer primary key if the declared type name is exactly "INTEGER". Other integer type names like "INT" or "BIGINT" or "SHORT INTEGER" or "UNSIGNED INTEGER" causes the primary key column to behave as an ordinary table column with integer affinity and a unique index, not as an alias for the rowid. "

Talloggerin talo data taulun luonti pitäisi siis muuttaa sellaiseksi että siinä ei ole "id" primary keynä (tuo sarake poistetaan) vaan "time" ja näin "INTEGER PRIMARY KEY ASC". Se mikä hieman epäilyttää on josko tuo selviytyy kesäajasta. Todennäköisesti selviytyy, eiköhän timestap epochista pysy kuosissa vaikka kesäaikaan siirrytäänkin.

Muutokset talologgerin puolella eivät näytä vaikeilta mutta php-graafihäkkyrä onkin sitten toinen juttu.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #413 : 10.04.18 - klo:10:35 »
mikä vika tässä sitten on, toimii ja on kevyt, pitää vaan tehdä manualisesti

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #414 : 10.04.18 - klo:12:19 »
^Ei muuta kuin se että pitää tehdä manuaalisesti. Tuo geneerinen ratkaisu toimii paremmin sellaisille ihmisille joille taulun teko on vaikeaa. Sen geneerisenkin voi tehdä niin, ettei se hidastu.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa olammi

  • Konkari
  • *****
  • Viestejä: 506
  • Aircooled
Vs: Talologger apua tarvitaan
« Vastaus #415 : 10.04.18 - klo:20:42 »
Ainahan hifistelylle on varaa... ja YMMV. Suosittelen, että jos SQLite3-tietokannan indeksin hitaus tai koko alkaa vaivaamaan mieltä, niin siirtyy oikeaan MySQL- tai PostgreSQL-kantaan. Lennossa muuttuvia taulurakenteita en suosittelisi - paitsi, jos sellaisen erityisesti haluaa tehdä. SQLite on mukana lähinnä, että se on kompakti aloittaa lokitus. Vakavamielisempi laittaa kunnon kannan ja siten, että se ei ole Raspberryn SD-kortilla.  ;)

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #416 : 11.04.18 - klo:14:26 »
Totisesti, tyhmä paljon työtä tekee.. taidanpa aloittaa sillä että laitan laitokseni loggaamaan myös cpu-corejen kuormitusastetta. JOS ja vain jos siellä alkaa loadi nousta tappiin niin että joku core ei enää kerkiä lainkaan idlailla niin se indikoi ongelmia. Sitten voi kokeilla mysliä.

Raspissa minulla ei ole SD-korttia enää, olen niiden suhteen aika paranoidi. USB->SATA(SSD), ext4 jossa journal off.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #417 : 15.04.18 - klo:20:51 »
Noniin, nyt tämä neuroottisen tiuhaan loggaava laitokseni on päässyt 1,3 miljoonaan riviin. Mitään varsinaista ongelmaa ei sqliteen loggauksessa ole.. paitsi että graafien piirto on tuskaisen hidasta. Indeksiä kannassani ei ollut.

Laitoin indeksin siihen takas sitten. Seurailin loggauksen toimintaa ja vieläkään ei ollut mitään ongelmaa loggauksessa eikä top näyttänyt cpu corejen olevan missään määrin tukossa, ei sanottavasti edes kuormitettuja.

Indeksin kanssa graafien piirto hidastui entisestään ja tietokannan tiedoston koko paisui noin tuplaksi, ollen joku 80 megatavua jo. Että oliskohan sittenkin niin että tässä on nyt pullonkaulana levy-IO eikä mikään muu? Minulla siis USB-SSD käytössä. Varmatoiminen, mutta ei mikään raketti.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #418 : 15.04.18 - klo:20:57 »
 
^
laitappa haku tietokannasta joka loggauksen välillä

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #419 : 15.04.18 - klo:21:06 »
^No jos graafien piirto on mikään indikaattori niin haun teko on murhaa tuolle kannalle, tiedän sen kokeilemattakin.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa repomies

  • Vanha jäsen
  • ****
  • Viestejä: 462
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #420 : 17.04.18 - klo:09:07 »
^^ Enää en edes voi laittaa, WD SSD kesti vain noin viikon RasPI käyttöä.. enää ei pysty edes tietokoneeseen laitettuna partitioita luomaan eli täydellisesti hajosi.
AIT PWZSV9 suoraan lattiaan, KA 198m2 vm 2004 1-taso OKT Pirkkala, 230m kaivo

Poissa petripm

  • Nuorempi jäsen
  • **
  • Viestejä: 11
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #421 : 17.04.18 - klo:23:01 »
Nyt sain liitettyä ivt:n canusb:lla raspiin.

asetukset on nyt noin.

@DATASOURCE=REGOCAN:REGOCAN

@MEASURE = Outdoor:REGOCAN.Outdoor
@MEASURE = Warm water:REGOCAN.Warm water
@MEASURE = Heat fluid out:REGOCAN.Heat fluid out

@STOREFILTER=MYSQLDB:Outdoor
@STOREFILTER=MYSQLDB:Warm water
@STOREFILTER=MYSQLDB:Heat fluid out

....
# RegoCan device type (see regoCanSerial.py for available types)
REGOCAN:DEVICE = REGO800

# Serial port address/name where the Can232 device is connected
REGOCAN:SERIAL_PORT = /dev/ttyUSB0

# Serial port baudrate (optional, default is 57600) for the Can232 device
REGOCAN:BAUDRATE = 57600


nyt on tuommoiset asetukset, mutta ei tule arvoja tietokantaan, arvon tilalle lukee NULL.
tietokanta on siis MYSQL

mikähän mahtaa olla?

regocanserial.py tiedostossa on määritetty nämä rego800:lle. eikö 800:lle ole enemmän mittausarvoja saatavilla?

     'REGO800': [ 125, [ \
                                 [0x08000260, 'Heat carrier 1', TYPE_TEMP16], \
                                 [0x08004260, 'Outdoor', TYPE_TEMP16], \
                                 [0x08008260, 'Warm water', TYPE_TEMP16], \
                                 [0x0800c260, 'xxx800c', TYPE_TEMP16], \
                                 [0x08010260, 'Hot gas', TYPE_TEMP16], \
                                 [0x08014260, 'Heat fluid out', TYPE_TEMP16], \
                                 [0x08018260, 'Heat fluid in', TYPE_TEMP16], \
                                 [0x0801c260, 'Cold fluid in', TYPE_TEMP16], \
                                 [0x08020260, 'Cold fluid out', TYPE_TEMP16] \

liiitteenä dataa logista





Poissa petripm

  • Nuorempi jäsen
  • **
  • Viestejä: 11
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #422 : 20.04.18 - klo:22:49 »
Eikö muilla ole vastaavaa ivt:tä käytössä?
Onkohan jotain can monitorointi softaa linuksille, jolla sais haettua väylästä tietoa?

Lähetetty minun PLK-L01 laitteesta Tapatalkilla


Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #423 : 29.04.18 - klo:06:55 »
^No jos graafien piirto on mikään indikaattori niin haun teko on murhaa tuolle kannalle, tiedän sen kokeilemattakin.
tiedonpuutteesta johtuen minulla nuo menivät kokeiluun kantapään kautta, mutta kullä siinä geneerisessä on jotain tahmaavaa kirjoitettaessakin koska minulla ei tuolla edellä mainitun linkin tapauksessa ollut mitään hakuja siitä geneerisestä tietokannasta, se halvaannuttaa kasvaessaan mittaukset vaikka siihen vain kirjoittaa

bananapiM1 minulla on nyt pyörinyt tasan 2 vuotta kertaakaan kaatumatta, siinä on sata portissa ssd ja siihen menevät lähinnä valvontakameroiden kuvat ja toimii myös web serverinä ftp palvelimena ja laser tulostin on myös siinä kiinni. suosittelen luotettavuuden kannalta

bananapiM3 ei oikein ole vakuuttanut samoilla avuilla mutta on sitten kylläkin roimasti nopeampi

radxa rock on myös luotettavampi kuin raspi.....nand?

Poissa petripm

  • Nuorempi jäsen
  • **
  • Viestejä: 11
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #424 : 01.05.18 - klo:00:33 »


Nyt sain liitettyä ivt:n canusb:lla raspiin.

asetukset on nyt noin.

@DATASOURCE=REGOCAN:REGOCAN

@MEASURE = Outdoor:REGOCAN.Outdoor
@MEASURE = Warm water:REGOCAN.Warm water
@MEASURE = Heat fluid out:REGOCAN.Heat fluid out

@STOREFILTER=MYSQLDB:Outdoor
@STOREFILTER=MYSQLDB:Warm water
@STOREFILTER=MYSQLDB:Heat fluid out

....
# RegoCan device type (see regoCanSerial.py for available types)
REGOCAN:DEVICE = REGO800

# Serial port address/name where the Can232 device is connected
REGOCAN:SERIAL_PORT = /dev/ttyUSB0

# Serial port baudrate (optional, default is 57600) for the Can232 device
REGOCAN:BAUDRATE = 57600


nyt on tuommoiset asetukset, mutta ei tule arvoja tietokantaan, arvon tilalle lukee NULL.
tietokanta on siis MYSQL

mikähän mahtaa olla?

regocanserial.py tiedostossa on määritetty nämä rego800:lle. eikö 800:lle ole enemmän mittausarvoja saatavilla?

     'REGO800': [ 125, [ \
                                 [0x08000260, 'Heat carrier 1', TYPE_TEMP16], \
                                 [0x08004260, 'Outdoor', TYPE_TEMP16], \
                                 [0x08008260, 'Warm water', TYPE_TEMP16], \
                                 [0x0800c260, 'xxx800c', TYPE_TEMP16], \
                                 [0x08010260, 'Hot gas', TYPE_TEMP16], \
                                 [0x08014260, 'Heat fluid out', TYPE_TEMP16], \
                                 [0x08018260, 'Heat fluid in', TYPE_TEMP16], \
                                 [0x0801c260, 'Cold fluid in', TYPE_TEMP16], \
                                 [0x08020260, 'Cold fluid out', TYPE_TEMP16] \

liiitteenä dataa logista

Kellään ei ole vissiin apuja tähän?


Lähetetty minun PLK-L01 laitteesta Tapatalkilla


Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #425 : 12.05.18 - klo:15:46 »
^No jos graafien piirto on mikään indikaattori niin haun teko on murhaa tuolle kannalle, tiedän sen kokeilemattakin.
ihmisen muisti on lyhyt, ihmettelin taas mikä ihme sotkee mittaukset, ihan sama oire kuin ennenkin
ei ole edes mitään hakuja taloLoggerin geneerisessä kannassa, kirjoittaa vain sen siinä sivussa, 40000kt, niin silloin alkaa
kun muuttaa nimeä ja taloLogger tekee uuden, niin taas mentiin
no ei haittaa, taulukanta toimii moitteetta
vai johtuuko bedian wheezystä?

Poissa petripm

  • Nuorempi jäsen
  • **
  • Viestejä: 11
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #426 : 23.05.18 - klo:21:33 »

Kellään ei ole vissiin apuja tähän?


Lähetetty minun PLK-L01 laitteesta Tapatalkilla

Tuommoiset asetukset laitoin tuonne regocanserial.py tiedostoon.
osan sain selville katsomalla laitteesta ja vertaamalla siihen.

liitteenä trendiä.
"
                    'REGO800': [ 125, [ \
                                [0x9FFC010, 'Testi 1', TYPE_TEMP16], \
                                [0x10000010, 'T1 Menojohto', TYPE_TEMP16], \
                                [0x10004010, 'T2 ulkolampotila', TYPE_TEMP16], \
                                [0x9FFC001, 'Testi 4', TYPE_TEMP16], \
                                [0x10008010, 'T3 kayttovesi', TYPE_TEMP16], \
                                [0x10000001, 'Testi 6', TYPE_TEMP16], \
                                [0x1000C010, 'Testi 7', TYPE_UINT16], \
                                [0x10004001, 'T8 lammitysvesi meno', TYPE_TEMP16], \
                                [0x10010010, 'Testi 9', TYPE_TEMP16], \
                                [0x10008001, 'Testi 10', TYPE_TEMP16], \
                                [0x10014010, 'Testi 11', TYPE_TEMP16], \
                                [0x1000C001, 'Testi 12', TYPE_TEMP16], \
                                [0x8018010, 'Testi 13', TYPE_UINT8], \
                                [0x10010001, 'Testi 14', TYPE_TEMP16], \
                                [0x801C010, 'Testi 15', TYPE_UINT8], \
                                [0x10014001, 'T12 ilman lampotila', TYPE_TEMP16], \
                                [0x8020010, 'Testi 17', TYPE_UINT8], \
                                [0x8018001, 'Testi 18', TYPE_UINT8], \
                                [0x8024010, 'Testi 19', TYPE_UINT8], \
                                [0x801C001, 'Testi 20', TYPE_UINT8], \
                                [0x8010001, 'Testi 21', TYPE_UINT8], \
                                [0x8014001, 'Testi 22', TYPE_UINT8], \
                                [0x9FFC020, 'Testi 23', TYPE_UINT8], \
                                [0x9FFC030, 'Testi 24', TYPE_UINT8], \
                                [0x9FFC060, 'Testi 25', TYPE_UINT8], \
                                [0x19FFC240, 'Testi 26', TYPE_UINT8], \
                                [0x8020001, 'Testi 27', TYPE_UINT8], \
                                [0x8024010, 'Testi 28', TYPE_UINT8], \
                                [0x8018030, 'Testi 29', TYPE_UINT8], \
                                [0x9FFC0D0, 'Testi 30', TYPE_TEMP16], \
                                [0x1007C030, 'Testi 31', TYPE_TEMP16], \
                                [0x8020010, 'Testi 32', TYPE_UINT8], \
                                [0x8024001, 'Testi 33', TYPE_UINT8], \
                                [0x8024010, 'Testi 34', TYPE_UINT8], \
                                [0x10014001, 'Testi 35', TYPE_TEMP16], \
                                [0x80180010, 'Testi 36', TYPE_UINT8], \
                                [0x8018010, 'Testi 37', TYPE_UINT8], \
                                [0x8018030, 'Testi 38', TYPE_UINT8], \
                                [0x801c010, 'Testi 39', TYPE_UINT8], \
                                [0x8020010, 'Testi 40', TYPE_UINT8], \
                                [0x8024010, 'Testi 41', TYPE_UINT8], \
                                [0x10004001, 'Testi 42', TYPE_TEMP16], \
                                [0x10004010, 'Testi 43', TYPE_TEMP16], \
                                [0x10004040, 'Testi 44', TYPE_UINT16], \
                                [0x10008040, 'Testi 45', TYPE_UINT16], \
                                [0x10008001, 'Testi 46', TYPE_TEMP16], \
                                [0x10010001, 'Testi 47', TYPE_TEMP16], \
                                [0x10060030, 'Testi 48', TYPE_TEMP16], \
                                [0x8028001, 'Testi 49', TYPE_UINT8], \
                                [0x8028010, 'Testi 50', TYPE_UINT8], \
                                [0x802c001, 'Testi 51', TYPE_UINT8], \
                                [0x802c010, 'Testi 52', TYPE_UINT8], \
                                [0x8030001, 'Testi 53', TYPE_UINT8], \
                                [0x8030010, 'Testi 54', TYPE_UINT8], \
                                [0x8034001, 'Testi 55', TYPE_UINT8], \
                                [0x8034010, 'Testi 56', TYPE_UINT8], \
                                [0x8038001, 'Testi 57', TYPE_UINT8], \
"

Poissa Hepo

  • Tulokas
  • *
  • Viestejä: 1
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #427 : 09.09.18 - klo:20:01 »
Apua kaivataan.
Haluaisin kumulatiivisen mittauksen, jossa mitataan jännitettä minuutin välein. Tämä mittaustulos pitäisi siis aina lisätä edelliseen tulokseen. Ja syntynyt kasvava luku sitten piirtää nousevaa käyrää Talologgergraphissa.
Siellähän se syntyisi counterilla?

Miten moinen lukeman kasvatus onnistuu Talologgerissa? Virtual...?

Poissa tuxo

  • Nuorempi jäsen
  • **
  • Viestejä: 10
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #428 : 27.09.18 - klo:10:24 »
Moro,

Puhelimessa Chrome päivittyi ja talologgerin sivusto lopetti käppyröiden piirtämisen selaimella. Puhelimella täytyy nyt käyttää serverin piirtämiä kuvia, mitkä ei ole yhtä tarkkoja.

Tietokoneelta käsin toimii normaalisti.
Onkohan puhelimen chromessa joku asetus nyt poikittain? Javascript on asetuksissa sallittu.

Poissa Laturi

  • Tulokas
  • *
  • Viestejä: 1
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #429 : 28.09.18 - klo:13:41 »
Oon koittanu lukee foorumeita talologgerista. Mistään ei oo selvinnyt tai sitten en vain ole huomannut miten kwh saa luettua sähkömittarilta jossa 1000pulssia on 1kwh. Mikä lisälaite tarvitaan?

Poissa tkeskihe

  • Tulokas
  • *
  • Viestejä: 1
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #430 : 04.10.18 - klo:23:10 »
Asentelin tänään taloLoggerin Rasberry Pi 3B+ -laitteelle. Lisukkeeksi hommasin sille RS485-hatun DB9-liittimellä. Siitä kytkin Niben 1255 pumppuun piuhat, ja dataa alkoi kulkemaan. Kuitenkin osa arvoista on selvästi virheellisiä, ohessa pätkä logia. Mikä voisi olla vikana, virheelliset arvot tulevat samoille id:ille?

Ohessa pätkä logia ja tietokantaan päätyvät arvot.

Poissa artta

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #431 : 05.10.18 - klo:10:12 »
Asiaan auttaa pumppuun ajettava log.set https://www.maalampofoorumi.fi/index.php?topic=6051.0 tiedosto tai aiempi firmis.
Nibe 1255 1,5-6 + UKV40, 170m kaivoa
Rkv. 1987 131/188 m2, patterit ja kosteat tilat lattialämmitys
Valvonta ja monitorointi Talologgerilla

Poissa Gobi

  • Vanha jäsen
  • ****
  • Viestejä: 257
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #432 : 06.10.18 - klo:12:52 »
Kyselen apuna kun ei meinaa taloLoggerPi saa taloLoggerGraphiin tietoja tulemaan. Käytössä RaspberryPi 3 B ja I2C 1Wire-adapteri, lisäksi RS485-USB adapteri. Ensin pitäisi saada tuo 1Wire toimimaan.

1Wire-adapteri on tälläinen:

https://www.kiwi-electronics.nl/Raspberry-Pi-i2c-1-Wire-OWFS-Module?lang=en

Asennusohje siihen löytyy täältä:

https://wiki.m.nu/index.php/OWFS_with_i2c_support_on_Raspberry_Pi_(English_version)

Mikä tuossa on nyt oikea asennusjärjestys, ensin Strecth kortille, sitten tuon adapterin asennus ja viimeiseksi taloLoggerPi? Vakiona tuo 1Wiren mountpoint on /mnt/1wire, kun muutan sen /home/talo/owfs niin anturit tulevat kyllä näkymään, mutta lokiin tulee virhe että owfs ei saa tietoa antureilta. Onko seuraavat conf-tiedostot oikein?

taloLogger.conf
Koodia: [Valitse]
#############################################################################
# logger configuration
#############################################################################

CONSOLE_LOGGING = false
VERBOSE_LOGGING = false
DAEMON_MODE = false
LOGFILE = /home/talo/log/taloLogger.log
LOG_INTERVAL = 120
LOG_INTERVAL_LIMIT = 5
PERSISTENT_STATE_DIRECTORY = /home/talo/var/taloLogger/state

#############################################################################
# data sources
#############################################################################
@DATASOURCE=DUMMY:DUMMY
@OWFS:OWFS = PatMeno:1:/home/talo/owfs/28.FF1276C11705/temperature12


#############################################################################
# data stores
#############################################################################
@DATASTORE=SQLITEDB:SQLITEDB


#############################################################################
# SQLite Database data store configuration
#############################################################################
SQLITEDB:NAME = /home/talo/data/talo.db
SQLITEDB:DB_SCHEMA_VERSION = 1


#############################################################################
# Logged measurement points and data store key configuration
#############################################################################
@MEASURE = outdoor:DUMMY.AnyDummyValue
@MEASURE = patmeno:OWFS.PatMeno

taloLoggerGraph.conf
Koodia: [Valitse]
#############################################################################
# Data store configuration
#############################################################################

DB_TYPE = SQLITE
DB_TALOLOGGER_SCHEMA_VERSION = 1
SQLITEDB_NAME = /home/talo/data/talo.db


#############################################################################
# Calendar configuration
#############################################################################

# Whether to hide the calendar (true/false)
HIDE_CALENDAR = false


#############################################################################
# Cache configuration
#############################################################################

# Whether to cache images (true/false)
CACHE_IMAGES = false

# Cache location on file system
CACHE_DIRECTORY = /home/talo/public_html/tlgcache

# Cache location on web URL
CACHE_URL_PATH = tlgcache/


#############################################################################
# Graphing configuration
#############################################################################

# How to draw the result graphs
#    false - default, draw images server side (JpGraph)
#    true  - use javascript (d3js) in browser to visualize the graphs
JAVASCRIPT_CHARTS = true


#############################################################################
# Chart1 configuration
#############################################################################

*CHART*
TITLE = Temperatures
AXIS_1 = -30:80:10:5:C
SIZE = 800:694
LEGEND = 3:2

@SERIES = NORMAL:outdoor:outdoor:orange:1:1.0
@SERIES = NORMAL:patmeno:Patterimeno:red:1:1.0
@SERIES = STATE:outdoor:freezing:blue:%VALUE% < 0.0


#############################################################################
# Image1 configuration
#############################################################################

*IMAGE*
BACKGROUND = /var/www/html/talo/ghp_process.png
TITLE = 235:295:black:GHP process

@LABEL = 0:50:black:Outdoor
@POSITION = NORMAL:outdoor:50:50:VAL:1.0:blue:red:-20.0:20.0:C

edit: @POSITION puuttuu patmenolta, olikohan tuossa syy...
225m2 lämmintä + 75m2 varalla, 20kpl pattereita, Jämä Star RST Inverter 16 (Nibe 1255) + Jäspi GTV Hybrid 500, kaivo 300m 50x3mm Turbocollector

Poissa leppala

  • Tulokas
  • *
  • Viestejä: 3
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #433 : 14.10.18 - klo:16:07 »
Hei,

Epätietoinen taas kyselee tyhmiä...
Uudet versiot nettiselaimista kaipaavat nettisivuilta ssl-tukea eli tulisi olla salattu yhteys nettisivulle.

Olen päivittänyt muita nettisivujani toimimaan https-salattuna tässä samassa OrangePi-nettiserverissä ja käytän niihin Let's Encrypt sertiä.

Määritin OrangePi apache:en juurikansion /var/www/html/ mukaan lukien sen alikansiot käyttämään ssl:ää.
Ja muut alikansiot tuntuvat toimivan, mutta ei taloLogger:in talo-kansio (/var/www/html/talo/).
Kun yrittää avata sivun latautuu ainoastaan valkoinen ruutu ja on turvallinen käyttää selaimen mielestä eli Let's Encrypt serti toimii ja sen tiedot ovat ok. ;)

Onkohan tässä nyt joku määritys vielä jota en tiedä tai löydä, että saisin sivun toimimaan myös salattuna yhteytenä? ::)
Onko muilla käytössä https taloLoggerin nettisivuilla? Normaalisti ilman salausta toimii kuten pitääkin...

Poissa noble

  • Vanha jäsen
  • ****
  • Viestejä: 283
  • Maalämpöfoorumi
Vs: Talologger apua tarvitaan
« Vastaus #434 : 20.10.18 - klo:22:57 »
Mistähän etsiä vikaa kun Raspberry 2:sta 3B+:aan siirtyessä 1wire counteri on alkanut välillä herjaamaan näin:

Koodia: [Valitse]
TaloLoggerThreadStore: Received none or unknown data for command OWFS.kokonais
Virransyöttö on pysynyt USB-hubin perässä, kuten kakkosenkin aikana. Käyttis vaihtunut Jessieen.

Pulsseja on kertynyt jo 4 vuoden aikana mukavasti piiriin. Eikai 3B+ niin hätäinen ole ettei vastausta odota?
Itse kun cat komennolla kysyy arvoja, niin aina tulee nopeasti vastaus.

Yritin OWFS:PRECMD -komentoa käyttää, mutta silti ajoittain tulee tuota herjaa, eikä lukemaa saada ylös.

Toinen juttu. Minulla on USB-web-kamera raspissa. Tämä kolmonen ei boottaa sudo rebootilla jos kamera on kiinni raspissa. Kamera toimii ok.
Pitää käydä virrat nyppäämässä pois ja takaisin, niin taas pelittää. Mikähän kikka tuossa on?


EDIT: Vaihdoin OWFS:ien @MEASURE paikkoja. Nyt herja vaihtui seuraavaa listan ensimmäiseen olevaan???
Koodia: [Valitse]
TaloLoggerThreadStore: Received none or unknown data for command OWFS.talli.
« Viimeksi muokattu: 21.10.18 - klo:08:47 kirjoittanut noble »
Nibe 1245-8 / 180m kaivo

Poissa jolla

  • Täysjäsen
  • ***
  • Viestejä: 87
  • Maalämpöfoorumi
    • mittauksia
Vs: Talologger apua tarvitaan
« Vastaus #435 : 06.11.18 - klo:10:18 »
onko mahdollista ja helposti toteutettavissa riviltä, kun taloLogger ei tavoita jotain laitetta esim.
SHELL7:LOCATION = /usr/bin/curl
SHELL7:PARAMETERS = http://192.168.1.152/json|gawk '{print $2}'
@SHELL7:REGEXP = ^.*"pv_1",\s*(?P<pv_1>[0-9\.\-]+).*$


kun se tulostaa kantaan tyhjän, että se tulostaisikin nollan

tuo esimerkin laite on päällä vain lämmitettäessä