Uutiset:

Kirjoittaja Aihe: NSLU2 loggeriprojekti etenee  (Luettu 47390 kertaa)

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #40 : 13.03.09 - klo:22:48 »
Harmillista että rrd:n käpistely meinaa olla hieman hankalaa ajoittaisten verkkokatkoksien vuoksi. Nimittäin wlan tukiasema joka toimii client-bridgenä ja päätukiasema ovat talon äärilaidoilla. Näyttäisi vahvasti siltä että client-bridge kadottaa ajoittaisesti yhteyden päätukiasemaan (kai vaimo ja lapset varjostavat signaalia liikkeillään :)). Taidan siirtää rrd-tiedoston eri koneelle ihan pystyäkseni harjoittelemaan kannan manipulointia. Itse loggaukseen nämä "vaikeudet" eivät vaikuta, NSLU hyrisee ihan tyytyväisenä maalämpöpumpun konepellin päällä.

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #41 : 14.03.09 - klo:00:32 »
Lainaus
Lainaus
Kompuran käyntitieto ei näy kun en ole päässyt vielä täyteen selvyyteen miten käsitellä maskeja RRD:n rpn notaatiossa. Lähinnä etsiskelen miten AND ilmaistaan.. onkos se asteriksi vai mikä. Kovasti on tullut googlattua :) Vastaus on melkein _tässä_ .. Kyllä se käyntitieto sieltä tulee vielä.

Lukaisin nopsasti RPN:n manuaalisivun läpi. Ei ole bittioperaatioita listalla. AND:ia ei siis ole, mutta hätä ei ole tämän näköinen. Kaivetaan kokonaislukumatematiikka takataskusta. Koitapa seuraavaa (maski 16, kompressorin käyntitieto):

Koodia: [Valitse]
CDEF:kompura_status=kayntitieto,16,/,FLOOR,2,%
eli:  kompura_status = floor(kayntitieto / 16) mod 2, joka on joko 1 tai 0. 1, jos kompura on käynnissä ja 0, jos ei. Sähkövastuksen tilatietoa varten vaihdettaisiin 16 luvuksi 8.

Sinähän se varsinainen oraakkeli olet  ;D .. FLOOR-funktion käyttäminen ei tullut mielen viereenkään. Yritin muodostaa sellaista rpn-lauseketta mitä esitit pseudokoodina maskiselvennyksen yhteydessä vaan eihän siitä mitään tullut :).. Pitää käydä nukkumassa välissä. Great!

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #42 : 14.03.09 - klo:08:37 »
Heheee. Homma toimii. Pitää vain pikkuisen nostaa tai laskea käyntitiedon kohtaa ja kääntää tietobitti nurinpäin: nyt käyrään piirtyy kompura_seis eikä kompura_käy :)..



EDIT: homma toimii sittenkin oikein..
« Viimeksi muokattu: 15.03.09 - klo:08:26 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #43 : 15.03.09 - klo:09:03 »
Perustiedot alkavat käppyrässä olla ok:
http://picasaweb.google.com/lh/photo/AHw8VoyS6UTfheuqdTNeTQ?feat=directlink

Seuraavana to-do listalla:
1. bash-skriptin (tekee kuvaajan) ajastaminen ja talologgerin laittaminen ns. itsestään käynnistyvien sovellusten joukkoon
2. rrdgraph komentojen siirtäminen bash-skriptistä toimimaan rrdcgi:n kautta => antaa mahdollisuuden tehdä www-sivuja lennosta
3. kwh-mittarin S0-lähdön lukeminen rrd-kantaan ja graafin vääntäminen siitä. (ei etene ennenkuin löydän hobbyboardsin laskurin, joka pienikokoisena on jo ehtinyt mennä hukkaan :))
« Viimeksi muokattu: 15.03.09 - klo:11:14 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #44 : 16.03.09 - klo:16:54 »
USB-sarjaportti ei näköjään tykkää USB-hubista jonka lykkäsin eilen NSLU2:n ja sarjaportin väliin. Loggeri ryhtyi lykkäämää virhettä tänään iltapäivällä (huomasin homman kun kuvaajassa arvot romahtivat nollaan):

Koodia: [Valitse]
16.03.2009 16:20:02: FileStore: Inserting data to file: /home/larux/taloLogger/data.log
16.03.2009 16:20:02: RrdStore: Inserting data to rrd database: /var/lib/rrd/geoprosh2.rrd using command: /usr/bin/rrdtool update /var/lib/rrd/geopr$
16.03.2009 16:25:00: OumanSerial: Running oumanSerial query with id 18
16.03.2009 16:25:00: OumanSerial: Opened oumanSerial port: /dev/ttyUSB0
16.03.2009 16:25:00: OumanSerial: Closed oumanSerial port: /dev/ttyUSB0
16.03.2009 16:25:00: OumanSerial: Received ouman response: '\x02\x06\x04\x00\x12\x00n\x8a'
16.03.2009 16:25:00: OumanSerial: Running oumanSerial query with id 20
16.03.2009 16:25:01: OumanSerial: ERROR: Cannot open serial port.
16.03.2009 16:25:01: TaloLoggerThread: Received none or unknown data for command OUMAN.L1 menovesi. Retrying...
16.03.2009 16:25:02: OumanSerial: Running oumanSerial query with id 20
16.03.2009 16:25:03: OumanSerial: ERROR: Cannot open serial port.
16.03.2009 16:25:03: TaloLoggerThread: Received none or unknown data for command OUMAN.L1 menovesi. Retrying...

Pitänee pitää loggeri suoraan NSLU2:ssa kiinni ja muut laitteet hubissa :Z

EDIT: vaihdoin usb-serial piuhan pois hubista suoraan NSLU2:een kiinni ja hubiin vastavuoroisesti siirsin usb-levyn ja 1-wire muuntimen. Katsotaan miten nyt mennään.
« Viimeksi muokattu: 16.03.09 - klo:17:13 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #45 : 17.03.09 - klo:20:19 »
Ei näköjään auta mikään usb-serial kaatuiluun. Yritin kokeilla joskos portti toimisi stabiilisti ollessaan kytkettynä suoraan usb-liittimeen, mutta ei vaikutusta. Ongelmat alkoivat kun lisäsin usb-hubin ja 1-wire-usb-donglen.

Nyt systeemi on pysynyt toiminnassa vuorokauden - kaatui vasta hetki sitten.

Pitänee ostaa ns. oikean merkkinen usb-serial kaapeli. Tuo hinnat alkaen aparaatti on aivan käsittämättömän epästabiili.

Koodia: [Valitse]
43045570.680000] ch341 2-1:1.0: device disconnected
[43045571.420000] usb 2-1: new full speed USB device using ohci_hcd and address 12
[43045571.630000] usb 2-1: configuration #1 chosen from 1 choice
[43045571.640000] ch341 2-1:1.0: ch341-uart converter detected
[43045571.680000] usb 2-1: ch341-uart converter now attached to ttyUSB0
[43045571.690000] usb 2-1: New USB device found, idVendor=4348, idProduct=5523
[43045571.700000] usb 2-1: New USB device strings: Mfr=0, Product=2, SerialNumber=0
[43045571.710000] usb 2-1: Product: USB-SER!

Poissa olammi

  • Konkari
  • *****
  • Viestejä: 509
  • Aircooled
Re: NSLU2 loggeriprojekti etenee
« Vastaus #46 : 17.03.09 - klo:22:35 »
Lainaus
Pitänee ostaa ns. oikean merkkinen usb-serial kaapeli. Tuo hinnat alkaen aparaatti on aivan käsittämättömän epästabiili.

Niin se tuppaa olemaan, että jos haluaa halvan ja hyvän tuotteen, niin pitää ostaa kaksi eri vekotinta. Tosin tuossa saattaa sitten vaikuttaa myös se, että millä piirisarjalla oleva adapteri sattuu halppislaarista käteen. Joihinkin on parempi Linux-driverituki kuin toisiin. Itse tilasin joskus ebay.co.uk:n kautta jostain Hong Kongista 1,5 punnan vekottimen (+ postikulut), joka on toiminut vallan hienosti. Toisaalta joitakin halppisvekottimia varten on joskus pitänyt itse muutella USB-sarjaporttiajuri-kernelkoodia ja kääntää driverimoduulit uusiksi. Kaikkia vendor/laitekoodeja kun ei ole koodissa tiedossa ja nämä halppikset joskus toimivat kyllä jollain tunnetun vehkeen ajurilla (kun ovat kopioita tms.).

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #47 : 22.03.09 - klo:09:09 »
NSLU2 projektin status:
-- loggeri on stabiili, ei kaatuile
-- usb-serial rautakin on pysynyt toiminnassa jo jonkin aikaa
-- wlan-verkkoyhteys nslu2 <-> muu verkko on erittäin epävakaa => usein antaa ilmoituksen "no route to host" tai jotain muuta.

To-do: olen valmistellut CAT6 kaapelin vetämistä mlp-huoneen ja työhuoneen välille. Saapi quson kulkemaan kunnolla ja viitsii räplätä ahkerammin taas tuota hommaa. Samalla tulee edistettyä huushollin verkottamista . Kaapeloinnin myötä NSLU2 saa myös oman IP:n ulkopuoliseen nettiin ja täten täyden näkyvyyden muuallekin päin.
« Viimeksi muokattu: 22.03.09 - klo:09:10 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #48 : 26.03.09 - klo:19:59 »
tilannetieto:
-- Sain vihdoin Saksasta (ebay.de) tilaamani Linksys WRT54G/dd-wrt wlan-tukiaseman. Nyt yhteys välillä makuuhuone(pannuhuoneen ethernet) <-> työhuone on _nopea_ .. Ent saanut aiemmalla raudalla wds:ää toimimaan vaan vehkeet oli client-bridge asetuksilla => yhteys pätki ihan pahissti. Nyt ei enää pätki, oikeastaan nopeuksien perusteella NSLU2 vaikuttais olevan tuossa työpöydällä.
-- Tästä riemastuneena nysvään cgi-bin härvelin logidatan kaivelemiseksi asap => alkuun saa kuitenkin pelkkä graafiskripti riittää
-- Muuten: taloLogger (tai itseasiassa usb-serial kaapeli) on toiminut kaatumatta jo usean päivän ajan. PHienoa!

EDIT(s): http://maalampo.dy.fi/ (sivulla on näkyvillä 12h, päivä ja viikko) [wlan yhteys näyttää kaatuilevan]
« Viimeksi muokattu: 27.03.09 - klo:08:43 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #49 : 27.03.09 - klo:13:56 »
Tänään:
-- crontab on korjattu. Bash skriptien ajaminen oli toteutettu väärin
-- portin uudelleen ohjaus osoitti väärään paikkaan, kun uusi wlan-purkki oli keksinyt antaa kesken kaiken uuden ip-osoitteen NSLU2:lle.

Nyt kaikki toimii :D

Seuraavaksi pitäisi ryhtyä tekemään systeemistä hieman "hienompaa" ja kytkeä mm. kwh-mittauksia mukaan. Saattaa jonkun aikaa vierähtää ennen tätä seuraavaa vaihdetta, sen verran on muutakin puuhaa tässä :) (tämä nyt piti saada kuitenkin jotenkin toimimaan)

EDIT: Nyt toimii kuten pitääkin, kun muutin crontabin  24h kohdalta  12h kaltaiseksi..

Crontab:
Koodia: [Valitse]
# m h  dom mon dow   command
*/30 * * * * bash /home/larux/graph_12h.sh
*/30 * * * * bash /home/larux/graph_24h.sh
* * * * 0-6 bash /home/larux/graph_week.sh
« Viimeksi muokattu: 27.03.09 - klo:18:22 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #50 : 30.03.09 - klo:12:05 »
to-do:

Lueskentelin rrdtoolin dokumentointia ja hoksasin seuraavan asian:

-- käyntitietojen purkaminen pitää muuttaa rrd-tietokannan päivittämisen yhteyteen (toteutetaan COMPUTE käskyn avulla, joka otetaan käyttöön kun kanta luodaan - eli data tulee häviämään, mutta mitäs siitä). Tällöin käyntitiedot voi tallettaa kantaan COUNTER tyypillä, kun nyt ne ovat purkamatta GAUGE tyypin alla.
-- COUNTER tyypin käyntitieto mahdollistaa mm. käyntiaikasuhteiden ym. helpon laskemisen..

=> Lisäksi olen kirjoittelemassa www-sivua koko projektista, jossa selkokielellä kuvataan case ja rrd:n erityispiirteet (Suomeksi ei ole matskua rrd:stä juurikaan saatavilla)

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #51 : 09.04.09 - klo:12:16 »
Lainaus
Ihan mielenkiinnosta, että minkälaista näyttöteknologiaa meinasit laittaa? Eli oikein joku interaktiivinen kosketusnäyttö vai vain näyttö?

Aiemmin kirjoittelin siitä owfs+1wire+lcd näyttöyhdistelmästä. Nyt sille löytyi varsin mielenkiintoinen haastaja, nimittäin lcd4linux.

http://ssl.bulix.org/projects/lcd4linux/

Mielenkiintoisia viritelmiä ovat tuolla tehneet :)

Poissa Jyrki

  • Täysjäsen
  • ***
  • Viestejä: 109
  • Thermia Diplomat TWS8, 160m
Re: NSLU2 loggeriprojekti etenee
« Vastaus #52 : 17.04.09 - klo:11:38 »
VINKKI!

NLSU2 linux ohjeita löytyy täältä aika hyvin:

http://unslung.blogspot.com/
http://nslu2guide.blogspot.com/
« Viimeksi muokattu: 17.04.09 - klo:11:39 kirjoittanut McHilly »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #53 : 25.04.09 - klo:08:53 »
Lainaus
VINKKI!

NLSU2 linux ohjeita löytyy täältä aika hyvin:

http://unslung.blogspot.com/
http://nslu2guide.blogspot.com/

Juu. Tuo ylempi on unslung -jakelulle ja alempi Debianille. Itse olen kokeillut molempia ja pidän tuosta Debianista enemmän. NSLU2guide (debian) oli minulle uusi - pitää kahlata läpi! Kiits.

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #54 : 04.05.09 - klo:16:04 »
NSLU2 loggeri on ollut useamman viikon ajan nyt offline. Tuntemattomasta syystä johtuen laite katosi verkosta eikä uudelleenkäynnistäminenkään mokomaa linjoille ole tuonut. Ajanpuutteen vuoksi en ole ennättänyt tutkia mikä härvelillä on hätänä :(

Jahka saan seitsemän mäntyä pilkottua polttopuiksi (ja tehtyä tuhat muuta asiaa) palaan NSLU2-projektin pariin
« Viimeksi muokattu: 04.05.09 - klo:18:31 kirjoittanut larux »

Poissa seppaant

  • Konkari
  • *****
  • Viestejä: 5 227
  • L-Ässä V-7
Re: NSLU2 loggeriprojekti etenee
« Vastaus #55 : 04.05.09 - klo:16:12 »
Lainaus
Jahka saan seitsemän mäntyä pilkottua polttopuiksi
Mihinkä sinä vielä tarvitset noin paljon polttopuita, kun sinulla on hyvä maalämpöpumppu?

ATS
L-Ässä V-7.0 vm.2007
Kaivo 163m, akt.153m
Talo 150m2, patterit, v.1975
Aurinkopaneelit 2x10x275 W=5,5 kWp, kaakko/lounas
Arvioitu vuosituotanto 4500 kWh

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #56 : 04.05.09 - klo:18:29 »
Lainaus
Lainaus
Jahka saan seitsemän mäntyä pilkottua polttopuiksi
Mihinkä sinä vielä tarvitset noin paljon polttopuita, kun sinulla on hyvä maalämpöpumppu?

ATS

Sitäpä en kunnolla itsekään tiedä ;-). Saunan pesään, takkaan, pihakeittiöön.. Piha oli (ja on edelleen) täynnä mäntyjä - pakko niitä on kaataa hiljalleen pois.

Säästäisihän se aavistuksen verran lämmityskulujakin jos takalla tukisi lämmitystä kovimpina pakkasina. Meidän takkamme on vain mallia "avo" :-(

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #57 : 25.05.09 - klo:23:16 »
Puut on (melkein) pilkottu: olen tänään ehtinyt selvitellä mikä wds-wlan-reititintä riivaa - Nyt on verkko ylhäällä ja taas mennään. TaloLogger-RRD kombinaatio heitti muinoin jotain herjaa, mutta nyt näyttäis kaikki pelaavan ok. Ainoastaan graafiskripti ei anna tallentaa graafeja, mutta se on pikku juttu.

Koodia: [Valitse]
nslu2temp:/home/larux/taloLogger# python taloLogger.py
25.05.2009 23:02:44: OumanSerial: Running oumanSerial query with id 1
25.05.2009 23:02:44: OumanSerial: Opened oumanSerial port: /dev/ttyUSB0
25.05.2009 23:02:44: OumanSerial: Closed oumanSerial port: /dev/ttyUSB0
25.05.2009 23:02:44: OumanSerial: Received ouman response: '\x02\x0e!\x00\x01\xb8\x07t\x00202SrFeb  8 07\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\xc8'
25.05.2009 23:02:44: OumanSerial: Received Ouman device ID: 202SrFeb  8 07
25.05.2009 23:02:44: Starting taloLogger.py (v1.0a) as daemon.
nslu2temp:/home/larux/taloLogger# ls

Pyrin värkkäilemään paremman rrd-seurannan kesän/syksyn aikana. maalampo.dy.fi on toistaiseksi vielä alhaalla - kerätään nyt ensin pikkuisen lukemia talteen.
« Viimeksi muokattu: 25.05.09 - klo:23:18 kirjoittanut larux »

Poissa ew04

  • Tulokas
  • *
  • Viestejä: 2
  • Maalämpöfoorumilta tietoa
Re: NSLU2 loggeriprojekti etenee
« Vastaus #58 : 19.07.09 - klo:10:13 »
Nyt on Debian-Linux asennettuna NSLU2:een. Tarkoitus olisi pistää se Ekowellin sarjaporttiin kiinni kerämään dataa sekä lukea joitakin 1-wire -antureita. Data tallenetaan MySQL -kantaan.
Aiemmin tässä ketjussa LaruX kertoi epäkelvon USB-Serial -adapterin aiheuttaneen ongelmia. Olisiko kellään vinkkiä mikä tuote on havaittu hyvin toimivaksi? Entä aiheuttaako USB-hubi ongelmia? Jos aikoo saada sekä Ekowellin sarjaportin että 1-Wire USB adapterin kiinni NSLU2:een loppuu USB-liitännät kesken kun toisessa on muistitikku kiintolevynä.

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #59 : 19.07.09 - klo:12:00 »
Minulla on usb-serial nykyisin suoraan NSLU2:ssa kiinni. Muut hilppeet ovat sitten usb-hubissa (kiintolevy, 1-wire adapteri)

Usb-serial on ollut taas useamman viikon vakaa. Hankala sanoa mistä se johtuu (tai kaatuilu) - oiskos tullut päivityksiä joihinkin moduuleihin tms?

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #60 : 15.09.09 - klo:23:43 »
Ryhdyin taas värkkäämään seurantasysteemin kanssa. Tänään tein läpimurron tilatiedon tallentamisessa. Aiemmassa rrd-tietokannassa tilatieto on ollut epämääräinen varsinkin sähkövastuksen ja kompuran käydessä yhtäaikaa (tilabittien laskutoimitus on tehty rrd-kantaan tallennetuista tilatiedon keskiarvoista).

Hoksasin hiljattain käyttää COMPUTE-toimintoa laskemaan  tilabitit vastuksen ja kompuran käynnille jo ennen kantaan tallentamista jonka ansiosta täst'edes kantaan menee vain 0 tai 1 riippuen käykö ao. laite vai ei. Tämä helpottaa merkittävästi käyntitiedon esittämistä graafisesti ja tekstinä.

 :D

Koodia: [Valitse]
'DS:tilatieto:GAUGE:600:U:U'
'DS:kompura_status:COMPUTE:tilatieto,16,/,FLOOR,2,%',
'DS:vastus_status:COMPUTE:tilatieto,8,/,FLOOR,2,%',
« Viimeksi muokattu: 15.09.09 - klo:23:48 kirjoittanut larux »

Poissa TomiN

  • Täysjäsen
  • ***
  • Viestejä: 111
  • Geopro SH13+SHAK1002 porskuttamassa
Re: NSLU2 loggeriprojekti etenee
« Vastaus #61 : 17.09.09 - klo:12:06 »
Onko kukaan saanut toimimaan yhdistelmään NSLU-2 + Debian + Saunalahden nettitikku (A-Link Turbo 3G)? Huaweille ohjeita löytyy mutta A-Linkki ei ota toimiakseen...

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #62 : 09.01.10 - klo:18:02 »
Loggeriprojekti on ollut jo pidemmän aikaa tauolla, koska minulla oli erittäin suuria vaikeuksia wlan-linkin signaalien kanssa. Nyt yhteys on kunnon kuparia (CAT6) ja quso kulkee.

Koodia: [Valitse]
larux@nslu2temp:~/taloLogger$ python taloLogger.py

Seuraavaksi koitan asennella toosaan djangon ja ryhtyä rakentelemaan graafista puolta oikein tosissaan.

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #63 : 11.01.10 - klo:22:33 »
W00T. Pohjatyöt on nyt tehty.

1. NSLU2 on alennettu pelkäksi loggeriksi. En enää pyri värkkäämään graafin generointia alitehoiselle raudalle, kun parempaakin on käytettävissä. NSLU saa toimia erilaisten anturointien keruupisteenä: rs232, 1-wire ym.
2. Hylkäsin RRD:n toistaiseksi, sillä on omat vahvutensa, mutta ennenkaikkea rajoituksensa. Keräämällä kaikki data mysql-kantaan erilaisten yhteenvetojen tekeminen on huomattavasti kätevämpää (Django ja Ruby on Rails ovat kääntäneet pääni)
3. Graafien generointi ja webbiserverin pyörittäminen tulee tapahtumaan ns. vasemmalla kädellä uuden karhean MythTV-serverin toimesta (3ghz dual core Linux). Eli rauta on nyt ihan eri tasolla ja mahdollistaa aiempaa kunnianhimoisemmat suunnitelmat.

Tarkoituksena on yrittää tunkea tuohon trendigeneraattoriin vähän kaikenlaista foorumin keskusteluissa pyörinyttä.

Sain tänään asennettua Pythonin Django lajennuksen ja siirrettyä loggauksen mysql-tietokantaan. Eli NSLU2/TaloLogger pukkaa dataa tietokantaan ja vireillä oleva graafipiirturi hakee dataa tietokannast verkon ylitse. Hyvin pikapuoliin ensimmäiset loggukset on taas online.
« Viimeksi muokattu: 11.01.10 - klo:22:38 kirjoittanut larux »

Poissa olammi

  • Konkari
  • *****
  • Viestejä: 509
  • Aircooled
Re: NSLU2 loggeriprojekti etenee
« Vastaus #64 : 12.01.10 - klo:12:08 »
Lainaus
Sain tänään asennettua Pythonin Django lajennuksen ja siirrettyä loggauksen mysql-tietokantaan. Eli NSLU2/TaloLogger pukkaa dataa tietokantaan ja vireillä oleva graafipiirturi hakee dataa tietokannast verkon ylitse. Hyvin pikapuoliin ensimmäiset loggukset on taas online.

Millä komponentilla/kirjastolla meinaat piirrellä graafit?

Poissa Jyrki

  • Täysjäsen
  • ***
  • Viestejä: 109
  • Thermia Diplomat TWS8, 160m
Re: NSLU2 loggeriprojekti etenee
« Vastaus #65 : 12.01.10 - klo:12:21 »
Olisin asiantuntijoilta kysynyt millä piirtäisitte käppyrät flat file kannasta? Itsellä on tällä hetkellä Thermiassa Husdata joka tallettaa QNAP:n verkkolevylle lokia flat file muodossa.

Husdata kyllä pystyy tekemään joitain kuvatuksia muttei kovinkaan hyvin. Tuohon QNAPiin pystyisi (kai) asentamaan RRD:n mutta tukeeko se vain SQL kantoja?

Poissa eko

  • Tulokas
  • *
  • Viestejä: 0
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #66 : 12.01.10 - klo:12:21 »
Lainaus
W00T. Pohjatyöt on nyt tehty.

1. NSLU2 on alennettu pelkäksi loggeriksi. En enää pyri värkkäämään graafin generointia alitehoiselle raudalle, kun parempaakin on käytettävissä. NSLU saa toimia erilaisten anturointien keruupisteenä: rs232, 1-wire ym.
....
3. Graafien generointi ja webbiserverin pyörittäminen tulee tapahtumaan ns. vasemmalla kädellä uuden karhean MythTV-serverin toimesta (3ghz dual core Linux). Eli rauta on nyt ihan eri tasolla ja mahdollistaa aiempaa kunnianhimoisemmat suunnitelmat.

....
Sain tänään asennettua Pythonin Django lajennuksen ja siirrettyä loggauksen mysql-tietokantaan. Eli NSLU2/TaloLogger pukkaa dataa tietokantaan ja vireillä oleva graafipiirturi hakee dataa tietokannast verkon ylitse. Hyvin pikapuoliin ensimmäiset loggukset on taas online.

Jako todella järkevä ja antaa uusia mahdollisuuksi myös Non-LINUX-miehelle - Vastaavasti tyhmemmälle XP-miehelle  tekemäsi NSLU logger ja grafiikkapuoli / www sitten samassa verkossa olevalla Msure:lla (http://www.msure.se) (jos vielä saisi xAP lähetyksen...)

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #67 : 12.01.10 - klo:13:35 »
Lainaus
Olisin asiantuntijoilta kysynyt millä piirtäisitte käppyrät flat file kannasta? Itsellä on tällä hetkellä Thermiassa Husdata joka tallettaa QNAP:n verkkolevylle lokia flat file muodossa.

Husdata kyllä pystyy tekemään joitain kuvatuksia muttei kovinkaan hyvin. Tuohon QNAPiin pystyisi (kai) asentamaan RRD:n mutta tukeeko se vain SQL kantoja?


rrdtool on itsessään tietokanta. Uusin versio tukee tietokannan + graafien luomista samantien Mysql-kannasta. Eli rautalangasta:

Uusi tapa: Data tallennettuna mysql kantaan -> rrdtool lukee halutun datan mysql-tietokannasta -> luo lennosta "rrd-tietokannan" -> vääntää graafin [ei se OIKEA tapa käyttää rrdtoolia, mutta yhdistää mysql ja rrdn hyvät puolet]

Vanha tapa: loggeri, grabberi tms. datan keruuohjelma tallentaa datan rrdtool-kantaan -> kanta hallinnoi dataa omintakeisella tavallaan (pysyy aina samankokoisena, yllekirjoittaa vanhaa dataa etc. ) -> rrd-kantaa luetaan joko rrdtoolilla suoraan tai sitten esim. perlillä, rubylla tai pythonilla koodatulla ohjelmaa (rrdtool tukee niitä)

ELI: tarvitset Husdatan ja RRDtoolin väliin jonkun daemonin tuuppimaan Husdatan mittauksia rrd-tietokantaan. Flatfilestä ne eivät sinne mene. Yksinkertaistaen:

FLatfile: csv, txt tms. tiedosto
Tietokanta: sqlite (flatfile kyllä itsessään), mysql, rrd...

Lisätietoja löytyy tästä ketjusta johon itse kysymyksiä esitit :-)
« Viimeksi muokattu: 12.01.10 - klo:14:05 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #68 : 12.01.10 - klo:13:38 »
Lainaus
Jako todella järkevä ja antaa uusia mahdollisuuksi myös Non-LINUX-miehelle - Vastaavasti tyhmemmälle XP-miehelle  tekemäsi NSLU logger ja grafiikkapuoli / www sitten samassa verkossa olevalla Msure:lla (http://www.msure.se) (jos vielä saisi xAP lähetyksen...)

Niin, minä en ole taloLoggerin (Python logger) tekijä, vaan olen ollut mukana sitä koekäyttämässä ja ideoimassa viime keväänä.

Sen sijaan pyrin värkkäämään "softan" jolla tuon taloLoggerin keräämäää dataa voisi vääntää käppyröiksi ja triviatiedoksi :)  
« Viimeksi muokattu: 12.01.10 - klo:14:02 kirjoittanut larux »

Poissa olammi

  • Konkari
  • *****
  • Viestejä: 509
  • Aircooled
Re: NSLU2 loggeriprojekti etenee
« Vastaus #69 : 12.01.10 - klo:13:39 »
Lainaus
Olisin asiantuntijoilta kysynyt millä piirtäisitte käppyrät flat file kannasta? Itsellä on tällä hetkellä Thermiassa Husdata joka tallettaa QNAP:n verkkolevylle lokia flat file muodossa.

Husdata kyllä pystyy tekemään joitain kuvatuksia muttei kovinkaan hyvin. Tuohon QNAPiin pystyisi (kai) asentamaan RRD:n mutta tukeeko se vain SQL kantoja?

Tyypillisesti käppyräpiirtojutut eivät lue suoraan mistään tiedostosta eivätkä kannasta. Eli noihin pitää koodata sovellus soveltuvalla ohjelmointikielellä (Python, php, Java, Perl, ...), joka hakee datat jostain, tekee datasta jonkinlaista XY-dataa ja sitten vie sen XY-datan graafikomponentille, joka piirtelee siitä kuvaa. Mysql-tietokantaa käytän itse vain siksi, että sieltä on sitä dataa helppo hakea erilaisilla hakuehdoilla.

Helpoin flat-file-kuvaajanpiirto on MS Excel. Tosin sillä ei kuvien piirto onnistu mitenkään reaaliajassa esim. www-sivuille tuottaen. Flattitiedosto avataan exceliin ja siitä tehdään sitten chart käsin.

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #70 : 12.01.10 - klo:13:45 »
Lainaus
Lainaus
Sain tänään asennettua Pythonin Django lajennuksen ja siirrettyä loggauksen mysql-tietokantaan. Eli NSLU2/TaloLogger pukkaa dataa tietokantaan ja vireillä oleva graafipiirturi hakee dataa tietokannast verkon ylitse. Hyvin pikapuoliin ensimmäiset loggukset on taas online.

Millä komponentilla/kirjastolla meinaat piirrellä graafit?

Oops. Jäit näemmä välistä. Niin.

Kuten olen jo kertonutkin, olen asentanut Python-Djangon MythTV-koneelle.

Grafiikoita aion tuottaa joko:
1. Python Google Chart Wrapperilla (simppeli, mutta monipuolinen): http://code.google.com/p/google-chartwrapper/
2. ReportLabilla (tarkoituksena ei ole kuitenkaan tuottaa pdf-raportteja vaan jpg/png kuvia. Kuvien tuottaminen onnistuu yllättäen myös..):
http://code.djangoproject.com/wiki/Charts
tai 3. MatPlotLibillä (runsaudensarvi, huono django dokumentaatio)
http://matplotlib.sourceforge.net/
... Sitten on vielä joitakin Flash-kikkareita tuottavia kirjastoja, mutta en oikein viitsi fläshiä nyt kuitenkaan..

Joku saattoi unohtua.. Mutta tuossa ainakin joitakin ehdokkaita..
« Viimeksi muokattu: 12.01.10 - klo:13:48 kirjoittanut larux »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #71 : 12.01.10 - klo:18:09 »
Noniin, homma taas nitkahti askeleen eteenpäin:

Koodia: [Valitse]
>>> from smarthome.grapher.models import lvilog
>>> temps = lvilog.objects.all()
>>> for p in temps:
...      print p.aika
...
2010-01-11 19:55:03
2010-01-11 19:57:32
2010-01-11 20:00:01
2010-01-11 20:02:31
2010-01-11 20:05:02

Sehän toimii. Enää tarvitaan "pikkuisen" lisää koodia :D :D

Poissa mikaora

  • Täysjäsen
  • ***
  • Viestejä: 134
  • Nibe 1140/8kW + 180m reikä, 03/09-&gt;
Re: NSLU2 loggeriprojekti etenee
« Vastaus #72 : 13.01.10 - klo:12:08 »
Itsellä vastaava systeemi suunnitteilla. Oisko vinkkiä mistä ottaa kompressorin käyntitieto Nibe:ssä? Erillinen sähkömittari on pumpulle ja siitä saan pulssilähdön ulos joten voi sen varmaan tehdä sillä päättelemällä otetusta tehosta. Mutta onko muuta "turvallista" keinoa? Samoten pitäisi saada vaihtoventtiilin tilatieto jotenkin, sen ehkä uskaltanee jollain kytkennällä ottaa ohjauspiuhasta mikä venttiilille menee.

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #73 : 14.01.10 - klo:11:20 »
Lainaus
Itsellä vastaava systeemi suunnitteilla. Oisko vinkkiä mistä ottaa kompressorin käyntitieto Nibe:ssä? Erillinen sähkömittari on pumpulle ja siitä saan pulssilähdön ulos joten voi sen varmaan tehdä sillä päättelemällä otetusta tehosta. Mutta onko muuta "turvallista" keinoa? Samoten pitäisi saada vaihtoventtiilin tilatieto jotenkin, sen ehkä uskaltanee jollain kytkennällä ottaa ohjauspiuhasta mikä venttiilille menee.

Vastasin kysymykseesi aloittamalla uuden ketjun: http://www.maalampofoorumi.fi/index.php?topic=3074
« Viimeksi muokattu: 06.11.12 - klo:08:44 kirjoittanut Forum Admin »

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #74 : 17.01.10 - klo:01:22 »
Homma etenee. MatPlotLibiäkin olen jo katsellut "sillä silmällä" :) Kohta pitäis käppyrää piirtyä. Nyt lähden kuitenkin tästä nukkumaan..
« Viimeksi muokattu: 17.01.10 - klo:01:28 kirjoittanut larux »

Poissa eko

  • Tulokas
  • *
  • Viestejä: 0
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #75 : 17.01.10 - klo:04:49 »
Oman MSure-projektin tutkinta edelleen käynnissä :-/ , mutta vanha systeemi up-and-running

Voi olla hiemam off-topic, mutta....
Oletko koskaan ajatellut tallentaa mittauksia (myös lämpötiloja) event-pohjaisesti? Datan määrä olisi murto-osa, mutta analysionti / käppyröiden piirtäminen haasteellisempaa. Tällä hetkellä mulla aika-perusteinen systeemi, mutta datan määrä jo nyt (temp, RH, wind) nyt 1.84 Miljoonaa arvoa (25MB) 1:ssä kk:ssa (josta suurin osa edellisen toistoa).

ruottista yritin asiaa ihmetellä, mutta menivät mykäksi  :(
http://www.msure.se/forum/index.php/topic,729.0.html

vaikkapa tätä ihmettelin (käännös lienee turhaa):
Lainaus
time      temp (C-deg)      power (in 20Wh step)
 00:00                              1000
 00:00   -20.1
 00:02                              1020
 00:10   -20.0
 00:12   -19.9
 00:13                              1040

That should be considered as
 00:00 - 00:02:00 -20.1 vs. 20*(60/2)
 00:02:01 - 00:10 -20.1 vs. 20*(60/11)
 00:10: - 00:11:59 -19.9 vs. 20*(60/11)
 00:12: - 00:13 -19.9 vs. 20*(60/11)
and average/curve accordingly

Ajatuksia / kokemuksia, onko tästä "säästämisessä" mitään järkeä?

mn. kaikki data tarkoitus säästää tuleville sukupolville :P

Poissa Larux

  • Nuorempi jäsen
  • **
  • Viestejä: 8
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #76 : 17.01.10 - klo:08:21 »
Lainaus
Oman MSure-projektin tutkinta edelleen käynnissä :-/ , mutta vanha systeemi up-and-running

Voi olla hiemam off-topic, mutta....
Oletko koskaan ajatellut tallentaa mittauksia (myös lämpötiloja) event-pohjaisesti? Datan määrä olisi murto-osa, mutta analysionti / käppyröiden piirtäminen haasteellisempaa. Tällä hetkellä mulla aika-perusteinen systeemi, mutta datan määrä jo nyt (temp, RH, wind) nyt 1.84 Miljoonaa arvoa (25MB) 1:ssä kk:ssa (josta suurin osa edellisen toistoa).

ruottista yritin asiaa ihmetellä, mutta menivät mykäksi  :(
http://www.msure.se/forum/index.php/topic,729.0.html

vaikkapa tätä ihmettelin (käännös lienee turhaa):
Lainaus
time      temp (C-deg)      power (in 20Wh step)
 00:00                              1000
 00:00   -20.1
 00:02                              1020
 00:10   -20.0
 00:12   -19.9
 00:13                              1040

That should be considered as
 00:00 - 00:02:00 -20.1 vs. 20*(60/2)
 00:02:01 - 00:10 -20.1 vs. 20*(60/11)
 00:10: - 00:11:59 -19.9 vs. 20*(60/11)
 00:12: - 00:13 -19.9 vs. 20*(60/11)
and average/curve accordingly

Ajatuksia / kokemuksia, onko tästä "säästämisessä" mitään järkeä?

mn. kaikki data tarkoitus säästää tuleville sukupolville :P

Juu, jos ymmärsin oikein, haluaisit tallentaa mahd. paljon dataa mahd.pienessä tilassa ns. järkevällä tavalla.

Vastaus siihen on Robin Round Table -tietokanta (RRD) - ylempänä tässä ketjussa olen käpistellyt RRD:tä.. Itselläni RRD on nyt hieman jäähyllä, koska sen perustoiminnoissa ei ole nyt enää niinkään opittavaa.

RRD:n etuna ovat kompaktit tietokannan koko ja sen toimintaperiaatteen järkevyys: vain uusimmista mittauksista on vaikapa 2min tarkkuudella arvot ja seuraava kehä voisikin olla vaikka tunnin tarkkuudella ja sitten vuorokauden tarkkuudella ja sitten vaikkapa viikon tarkkuudella etc.

Tällaistakos kaipailit?

Poissa olammi

  • Konkari
  • *****
  • Viestejä: 509
  • Aircooled
Re: NSLU2 loggeriprojekti etenee
« Vastaus #77 : 17.01.10 - klo:16:12 »
RRD ei täytä tuota vaatimusta "kaikki data tarkoitus säästää tuleville sukupolville".

25 MB/kuukausi => Yhdelle yksipuoliselle DVD-levylle (hinta jotain euron luokkaa) mahtuu n. 34 vuoden datat. En näe mitään järkeä lähteä "säästelemään" tuossa kapasiteetissa ylimääräisillä kikkailuilla. Jos datat tallettaa sopivaan varastoon (= esim. oikein konfiguroitu tietokanta), ei isosta määrästä ole haittaa edes datan hakemisen hitauden takia.

Kiintolevyn elinikä ei varmasti ole 34 vuotta, joten datasta pitää tehdä välitallennuksia, jos sen oikeasti aikoo säilyttää.

Poissa eko

  • Tulokas
  • *
  • Viestejä: 0
  • YaBB 1G - SP1 on Kuningas!
Re: NSLU2 loggeriprojekti etenee
« Vastaus #78 : 17.01.10 - klo:16:34 »
Tuota olen vähän itsekin epäillyt, mutta tulevaisuudessa tarkoitus olisi saada tietää entistä tarkemmin, milloin muutos alkaa. Nyt tallennus 35sek välein (25M kuussa), tulevaisuudessa iso osa signaaleista 1s pollauksella / muutostalletuksella (joo, tiedän että anturin viive vaikkapa 17sec.). Saattaa olla täysin turhaa, mutta  :D :D
 ( samalla saisi laitetta helposti tietokantaa hintoria-dataa, esim 1v kulutuksen, joka aika ennen loggeria... )

Tämän visi varmaan toteuttaa myös kahdella tiedonkeruulla, mutta harva ohjelma joustaa mihin tahansa?

Poissa olammi

  • Konkari
  • *****
  • Viestejä: 509
  • Aircooled
Re: NSLU2 loggeriprojekti etenee
« Vastaus #79 : 17.01.10 - klo:17:00 »
Esim. 1-wire-väylän laitteita on melko mahdoton laittaa 1 sek pollausvälille. Itse mittaustapahtuma ottaa sen sekunnin antureiden tekniikasta johtuen. Anturi varaa väylän mitatessaan. Jos antureita on useita (N), niin yksi mittaussyksi kestää pahimmillaan N sekuntia. Pollausväli ei voi tuolloin olla ainakaan pienempi kuin N sek.