Både Point Taken og AITC benytter IoT enheter som Raspberry PI og knytter disse mot Lego sine motorer som primært går på Bluetooth. Sammen har vi diskutert og delt erfaring knyttet til å det koble seg til disse motorene fra Lego. Vi har også vært dypt i praten om hvordan vi skal unngå at disse Bluetooth Low Energy (BLE) ikke skal skru seg av mellom omgangene vi kjører scriptene våre.
Vi diskuterte også hvilke teknologier de har benyttet i forkant av dette, hvorfor de brukte Python fremfor Node.js. Her har begge partene hadde en “lang” vei i forkant, og det å dele disse erfaringene har vært svært kunnskapsrikt.
It’s important to keep branding consistent across SharePoint Sites. Family members can create travel sites and it will be provisioned with the correct colors, icons and travel lists.
We have crated a Site Script and a site design and deployed it to the SharePoint site for D365 Family Engagement Hub. When a family is planing a new vaication or travel they can create a new site that already have lists they need to plan their stay.
Site Script
First we set the script by identifying the lists with name, description and fields.
Then the final line to add the script
Add-SPOSiteScript -Title “Family Travel Site” -Content $site_script -Description “Create a list for to keep up with traveling family memebers”
The response was a site script with ID
The ID we used in the adding a site design with the site script
Add-SPOSiteDesign -Title “D365 Family Engagement Hub – Travel Site” -WebTemplate “64” -SiteScripts “1131785c-864c-4262-a3ae-b2c9664bfcb6” -Description “The travel site is for planning a trip or travel for the family”
Response
The result was a site design that we can use from the user interface or use another live of powershell to set on a site:
This script will exclude access to all users but those who are members of this specific user group (email enabled) “family Members”
Doing the Get to validate that the permissions were set.
When the users NOT in this group try to use the site design they will not see it – making it possible to family users only to access the site script and site design.
I de ulike åkerne til bonden Emmet finner vi et sett med ulike sensorer som loggfører fuktighet, tempratur og jordfuktighet. Dette er løst ved å bruke en arduino ESP8266 og rommen ESPEasy.
ESP8266, DHT22, Capacitive Soil Moisture sensor v2.0Skjermbilde av konfigurasjon av sensorer.
Dataene blir så sendt videre til en controller i modulen som sender disse til et endepunkt for IOT devicer på API Management
Vi har gjort ferdig sensor til jordene som viser temperatur og fuktighet for de ulike jordene, videre viser den fuktighet i jorden som gjør at bonden har full kontroll på vekstforhold. Dette er gjort gjennom bruk av ESP8266 arduino chip som er billig og stabil. Denne sender videre data til en logic app via API Management for trygg kommunikasjon.
ESP8266 med soil sensor og tempratur/fuktighet
Lego Power Bricks
Vi har lage ten Power BI rapport som visser data fra sensorene, denne er fortsatt under utvikling og for øyeblikket kun i øyemed å vise aktiviteten i stream analytics. Dette skal videre
Provisorisk PowerBI rapport som viser aktivitet Even hub
Queen Watevra Wa-Nabi
I både React Native Appen for mobil og Blazor Appen bruker vi Felleskjøpet farger og knapper for at brukeren skal kjenne seg igjen og føle at han jobber i samme løsning. Vi er også opptatt av brukere skal få god oversikt i de ulike løsningene
Lego autobots
API Management for å ta i mot meldinger fra sensorer. Autentisering ved bruk av Vipps. Vi følger også selvsagt utvikling gjennom god praksis i github som vanlig.
Lego Shark Tank
Appene som er under arbeid vil gi bonden en veldig stor nytte gjennom å overvåke og varsle bonden om ulike tiltak som må gjøres. Fabrikken kan også overvåke vekstforholdene og kunne se vekstforholdene hos ulike bønder og når vi kommer litt videre frem i løsningen.
Dashboard på gang med personlig utvikling for brukeren. Vi jobber med å hente inn data fra ulike kilder, og foreløpig henter denne rapporten inn “antall pushups”, dagsform og produktivtet. De to siste kategoriene innhentes fra vår chatbot, der bruker får spørsmål om dette. Data sendes så over til Sharepoint med en Power Automate Flow. Pushups-data blir generert i vår egen app, og lagret i Dataverse. Øverst har vi lagt på et par filter for brukervennlighet.
Vi vil ha inn flere ting også, men se gjerne hva vi har fått på plass så langt i skjermbildene nedenfor. Hva synes du vi bør få inn i dashboardet?
Alle modulene som Klossmajorene leverer i den store pakken Dynamics 365 Family Engagement bygger på samme plattform og jobber sammen. Navet er Microsoft 365, Power Platform, Dataverse og Azure AD. Identitet til de forskjellige medlemmene i familien er sentralt, og familierelasjoner er håndteres gjennom relasjoner i Dataverse-databasen slik at alle moduler entydig kjenner disse relasjonene. Eksterne applikasjoner som kobler seg på kan kjenner også disse familierelasjonene via det eksterne API-et eksponert gjennom Azure API Management.
Alle modulene vi lager spiller rundt grunntanken om å forenkle hverdagen for en familie med barn der man ser behovet for støttesystemer som både hjelper med daglige gjøremål med gamification av oppgaver, men også mer lek og moro som legobyggespill.
I modulen for oppgaver i hjemmet kan barn både med og uten egen mobil få påminnelse om hva de skal gjøre med infoskjerm med oppgaver og opplesing av oppgaver på Sonos.
Som en tilleggsmodul som ikke er utviklet ennå ser vi for oss at man kan håndtere utbetaling av ukepenger eller betaling for oppgaver via Vipps.
Vi ser for oss at med disse verdipakkene så vil det kunne være en viss betalingsvillighet for å kjøpe Dynamics 365 Family Engagement. Dette kan enten være betalt av arbeidsgiver eller kjøpt av den ansatte selv.
When your cohabitant or kids are annoying you while you’re trying to work it can be nice to give them a challenge or two as a distraction. Make them do some simple lego challenges for example!
Simple lego figures
By using AI-builder on the Power Apps platform we can teach an AI-model to recognize some simple lego figures to validate if the challenge is completed. To do this you have to build the lego figures, take a minimum of 15 images of each figure, tag which figure or figures that are in each image and feed this into the AI-builder using the ObjectDetection AI-model. It is recommended to use more than 50 images of each object.
To teach the AI-model we have to manually tag a set of images with the figures shown in the images
More tagged images means a better calibrated AI-detector. The AI calculates a score on the image taken from 0-100%. 30% means the AI think it might be detecting the right object. 90% means the AI is pretty certain it has recognized the right object.
Gjennom å integrere oss mot SharePoint, function app og ACS (Azure Cognitive Services)
I den tekniske løsningen vår benytter vi en integrasjon mot SharePoint, for å detektere at en ny fil har blitt lagt til, samt uthenting av denne filens innhold.
Videre har vi en integrasjon mot Function App som vi kjører et POST-kall mot tjenesten som gir oss 64 objekter tilbake.
Disse 64 objektene sendes til Azure Cognitive Services for analysering av innholdet.
Deretter blir dataen(Sjakkbrettet) prosessert og sendt til DataVerse ved en create.
Flow:
Ved å bruke Power Automate sin Cloud Flow har vi opprettet en Flow som trigges ved opprettelse av en ny fil i SharePoint i en mappe vi har kalt “Moves”. Ved å bruke en standard funksjon i Flow som henter innholdet i filen, får vi en string som vi kan sende til function app.
CRM / Dataverse
CRM gir oss en visuell fremstilling av sjakktrekkene og gir oss et digitalt sjakkbrett for å verifisere at AI har plukket opp riktig sjakktrekk.
Visuell fremstilling av sjakktrekkene Digital fremstilling av sjakkbrettet som vil vise siste gjennomført sjakktrekk
Function-app
Function appen mottar en string gjennom HTTP protokollen og deretter kutter opp bildet i 64 objekter, samt legger metadata på hver enkelt objekt for å identifisere hvor plasseringen er. Deretter blir disse sendt tilbake til flowen gjennom HTTP.
Power BI
Vi har påbegynt Power BI rapporten som henter ut data fra hvert sjakkparti. Fra rapporten under ser dere hvem som spiller mot hverandre, vinnersjanse, sjakktrekk og lokasjonen til Fredrik og Mathias.
Rapporten er under utvikling
Lego-armen
Vi har begynt å bygge armen som skal flytte legobrikkene / Sjakkbrikkene. Armen er enda ikke komplett som dere ser, men vi har fått armen til å bevege seg.
Do you ever wonder where your dog are when you are out of the house? Ask boten Anna and get an answer.
Traning images for AI
We are working on a solution using AI to find where the family dog are in different surveillance camera images, and notifying the user where the dog are.
This solution will be expanded to also detect mess, to see if the kids have been cleaning their room.
We are creating micro services for analysis, using Azure Functions, Logic App, APIM and CI/CD through devops.
