I order to facilitate a somewhat simpler searchexperience for our accountants, we needed to build a simple webinterface for them. We built a small and simple app in Blazor that features a simple search box and a response of all the costfacets found for that particular level of noise:
Behind the scenes we use a HTTPClient to perform calls to our azure search service in an async manner.
Splashpage
Below the result of the search is displayed on the page. You can see all the different cost values for events with the decibel trigger of 100
For å få et bedre bilde av hva som skjer i Oslofjorden sammler vi inn data fra sensorer og eksterne kilder.
Vi har i en tidligere blogg beskrevet innsamling av sensordata i datavers samt hvordan vi har presentert dette på en fin måte. Dette i seg selv burde kvalifisere til utmerkeslen Datamining.
Det er mange relevante eksterne datakilder men en sentral er havnivå, eller tidevann. Vi har laget en logic app som går regelmessig for å samle inn data om havnivå til gitt sted og tid.
Resultatet av api querien er json med alle havninvå endringer fordelt over tid. Som vist:
Vi generer deretter en CSV fil fra Json og har benyttet denne som datakilde til PowerBI
At havninvået på denne lokasjonen endret seg så drastiskt er en spennende observasjon. Vi har derfor sammenstilt resultatet med fotgrafi fra ett kamera med bevegelsessensor på samme sted og tidspunkt.
Vi har desverre ikke anledning til å følge opp denne observasjonen på hackaton men vi har allerede, i hackatonnet, helt klart bevist at innsamling og sammenstilling av data i vår prototyp gir høy forretnings- og forskningsverdi.
Som del av prosjektet med å kartlegge trusler i Oslofjorden er det også viktig å kartlegge artsmangfoldet i fjorden for å vurdere hvilke arter som potensielt er truet og på den måten kartlegge risiko. I sensor-hubene har Bombshells satt inn kamera som trigges av sonarsensoren for å ta bilder av dyrelivet i området. Ved å bruke AI gjenkjenner vi ulike arter av skillpadder som potensielt vil være sårbare for vannforurensning og heve alvorlighetsgraden ved en hendelse.
Vi har trent opp en AI model i Power Apps til og identifisere tre ulike typer skilpadder, landskilpadder, havskilpadder og sumpskilpadder. Vi har matet AI med bilder av tre typer skillpadder i sine respektive miljø.
Vi bruker bilder for og trene modellen minimum 256 x 256 piksler som er kravet for og trene modellen. Bildet nedenfor viser hvordan bildene med ulike typer markeres og kategoriseres.
Etter vi har markert alle bildene vi ønsker og bruke som treningsgrunnlag, trener vi modellen og får en ytelse score. Her er den publiserte modellen etter den er ferdig trent.
Til slutt for å teste systemet har vi bygget en PowerApp som holder på en enkel komponent som laster inn et bilde og sender det til AI for identifisering. Resulatet vises i form av at et gjenkjent objekt markeres og betegnes med riktig kategori i grensesnittet, sammen med en score på hvor sikker AI er på at resultatet er riktig.
Kilde til risikoanalyse
Med disse dataene knyttet opp mot lokasjonsdata vil man kunne hente inn og sammenstille beregninger som brukes i risikovurdering av en hendelse.
We have dumped historical events into a blobstorage for simple storage over time. The accountants at TMNT hq want to known what expenses each event incurred.
To facilitate them a simple search for cost by parameter we have built an azure search on top of the blobstorage. The blobs are indexed every hour so that any new events added to the search and the accountants can perform their accounting on the cost facet of the events.
The image below demonstrates how the backend search looks, the query in question returns the cost facet for every event where the triggering factor have been a loud sound (100dB).
If the search had returned two events for 100dB where the cost was equal, the count value would be 2.
Simple searching can also provide quick overviews over how a triggering event relates to the other data our sensors capture. Below we can see that all the events that triggered for 100dB triggered at a distance of 144cm from the sensorrig.
I Oslofjorden er det plassert ut sensorer for å detekere forurensing.
Sensorene er koblet til en pc og kommuniserer mot port COM3. Vi har derfor utviklet en tjeneste som kjører lokalt på pcen og lytter på COM3. Når sensorene detekterer en hendelse så sendes det en melding over port COM3 og servicen våkner, validerer input og sender informasjonen til Azure Event Hub.
Årsaken til at vi har valgt å benytte Azure Eventhub 1) Vi ser for oss at vi på sikt skal motta mye sensor data i realtime 2) Kommuniksajonen skal kun gå en vei, dvs fra sensorer til eventhub
Det utføres en validering om Turtels skal sendes ut og redde miljøet.
Når turtels er ute på oppdrag ønsker vi at de skal kunne kommunisere med hverandre. Derfor hatr vi tatt utgangspunkt i eksempel app og modifisert denne til å funger fort vårt case.
Given that we cannot deploy a sensor rig to every inch of the Oslofjord, much less the world, involving the local community is vital. We have achieved this through a simple app that lets the locals report any pollution/monster -event they encounter. We’ve built it on Xamarin to enable us to easily deliver it to both android and apple users. For ease of use the app will use the device’s built in sensors to construct the event payload before sending it through to the event hub.
Anyone can report an incident in this manner. The message is fed straight into our eventhub, from there we alert the necesary ninja turtles to their duty (if necesary).
Fremgang er stikkordet når Bombshells raser i gang med dag 2. Gjennom dagen har vi lagt inn mange claims for nye badges.
Excellent User Experience
Data er oljen i vår løsning. Første dag gikk i stor grad til å samle inn data fra sensorene, behandle og flytte disse dataene inn i Dataverse. Siden prosessen med å få mengder av data har laget jobbet med å fremstille alternative data visuelt både gjennom rapporter, apper og andre flater. Bombshells har som et sosialt tiltak en bucketlist med drømmer som de ønsker skal bli virkelighet. Sammen med disse har de lagt til litt ekstra informasjon som kategoriserer punktene på listen, viser sannsynlighet for at de går i oppfyllelse osv.
Power BI
Med kanskje tidenes styggeste layout har Donatello fremstilt en rapport i PowerBI hvor han forsøker å vise detaljer rundt punktene på listen. Som del av denne rapporten har han lagt inn en enkel canvas-app som laster inn valgt rad fra tabellen og lar brukeren gjøre endringer i sin drøm.
Visually appealing and an engaging experience surpassing expectations of simplicity, attractiveness and a look that just speaks of blings.
Most Extreme Business Value in Real World Scenarios
Vi ønsker med vår teknologi å “Tenke globalt, handle lokalt”. Slagordet stammer fra den gangen Gro Harlem Brundtland deltok i det store verdensmøtet om klima og miljø. Slagordet står den dag i dag. Sammen med 1.6 millioner mennesker bor alle på team Skill bombshell rundt Oslofjorden. Oslofjorden er i en elendig tilstand der alt liv snart er borte. Vi ønsker derfor i dette hackatonnet å å lage en prototyp som simmulerer miljøovervåking av Oslofjorden. Når det oppstår en hendelse av uønsket karakter skal innbyggere blir varslet via SMS mens de som kan komme å ordne opp blir varslet på flere kanaler som SMS og teams varsler.
Vi benytter det siste innen teknologi som sensorer, maskinlæring. Vi henter i data fra eksterne kilder som høyvann og lavvann for å kunne utføre bedre predikeringer av hva utslipp kan medføre. Alle tjenester er i Microsoft azure og rulles automatisk via CI/CD av kode og infrastruktur. Prototyåen skal derfor kunne rulles ut enkelt til andre lokasjoner i verden.
Vi mener derfor at vår løsning har en ekstrem forteningsverdi for samfunnet lokalt, men også på sikt globalt. Selv om det antagligvs finnes øknomiske modeller for hva liv i oslofjorden er verdt i kroner og øre, mener vi at dette er uerstattelig. Gjennom innovasjonnorge og private aktører vil vi påsta at det er det penger til å fortsette prosjektet etter endt hackaton.
Rock Solid Geeknes
Sensorene vi benytter som en protyp skal kunne erstattes med real word sensorer som er beregnet for hav. Det vi her ønsker å teste er en flyt fra ende til ende. Det Rock Solid Geeknes vi holder på med er sensorene. Sensorene sender verdier til Azure Eventhub. Videre har vi satt opp maskinlæring som predikerer samt varsler om uønskede hendelser pr SMS (for befolkning) eller via SMS og Teams (for de som skal ut å redde Oslofjorden)
Vi har gått over fra noen ikke 100% vellykkede forsøk på å få sensorriggen opp på interwebz via wifi, til å sikre at vi kan bruke et mellomledd til å for at vi kan fange dataene over på en maskin som så fører dataene til sin endelige destinasjon. Der kan de bli håndtert som nødvendig.
Vi har i løpet dagen trent ai-modeller på både pizza og skilpadder. Den endelige konklusjonen er at de to ikke bør blandes (pizzaen blir litt ulækker).
Når vi populerte med data fikk også en liten utilsiktet bonus E2E test på flyten av data inn i eventhub og hele veien ut til varslingene i teams. Vi håper at ingen turtles fikk ødelagt lunsjen sin som følge av falske alarmer.
Monitorering av planten på pulten har avdekket at fuktinnholdet i jorden i potta synker med ca. 5% i løpet av en dag. Det er uklart hvor mye planten har inntatt og hvor mye som har fordampet.
Til slutt har vi geeket ut for å få flest mulig badges og jobber fortsatt med å skaffe det komplette settet (selv dooooh).
Killer App
Det er en tøff kamp å redde Oslofjorden. Det er derfor viktig at det sammles inn hva som motiverer den enkelte ansatt slik at de kan utføre en god jobb. Derfor har vi laget følgende killer-app
Som Rema 1000 sier; “Det enkle er ofte det beste!” Apper er ikke noe unntak. Donatello lever etter mottoet “if it doesn´t add any value, it doesn´t belong there. Derfor strippet han bort alle elementer som ikke hører hjemme i canvas-appen som er integrert i PowerBI. Alle elementene som skal spille inn mot appen lever i rapporten og det eneste brukeren trenger å gjøre er å endre noe og trykke “Oppdater drømmen min”. En så enkel app at den nesten tar livet av deg. Rett og slett en killer app.
Badges
Liste over badges vi har jobbet med fredag før kl 17.
