Utilisez-vous R ? Voici comment importer les données de Campbell Scientific sur R

Vous connaissez peut-être R pour le traitement et l'analyse des données. Mais savez-vous comment importer facilement des données qui sont au format TOA5 de Campbell Scientific dans R ? Dans cet article, je vais brièvement vous décrire R et TOA5, puis partager une fonction pour créer un Dataframe R de votre TOA5.

R – Calcul statistique et graphique

R est un puissant logiciel libre pour le calculs statistiques et les graphiques. Il est également populaire pour sa capacité à produire des documents de qualité destinés aux publications avec les symboles mathématiques et les formules nécessaires à l'aide de plates-formes UNIX, Windows et MacOS.

Fichier au format TOA5

Le format de fichier TOA5 est le format par défaut utilisé pour les données collectées à partir de n'importe quelle centrale de mesure récente de Campbell Scientific. Ce format est un simple fichier texte délimité par des virgules qui possède une extension .dat.

Le format de fichier TOA5 comprend un en-tête ASCII à quatre lignes avec des informations sur la centrale de mesure que vous utilisez pour collecter vos données. En outre, l'en-tête décrit les valeurs de données avec les noms des variables et les unités de mesure, si elles sont disponibles.

Les quatre lignes de l'en-tête sont les suivantes :

• La première ligne contient des informations sur l'enregistreur de données, telles que le numéro de série et le nom du programme.
• La deuxième ligne est ce que la plupart des gens verraient comme l'en-tête de données, car il contient les noms des variables stockées dans la table.
• La troisième ligne se compose des unités pour les variables - si elles ont été définies dans la centrale de mesure.
• Dans la quatrième ligne, il y a une abréviation pour les traitements effectués par la centrale de mesure (par exemple, échantillonnage, moyenne, écart type, maximum, minimum, etc.).

Comment importer un fichier TOA5 dans R

Vous trouverez le code complet de la fonction d'importation à la fin de cette section. Il suffit de copier le code dans un fichier ou la ligne de commande R. Un appel à cette fonction R a un paramètre requis - le nom du fichier, ainsi qu'un paramètre facultatif - l'option de retour (RetOpt) :

importCSdata(“filename.dat”, “RetOpt”)

Si vous voulez simplement les données avec un en-tête simple, tout ce que vous avez besoin est une ligne de code comme ceci :

myData ‹- importCSdata(“CR1000_HourlyWeather.dat”)

Le paramètre RetOpt facultatif est par défaut "data", comme dans la ligne ci-dessous :

myData ‹- importCSdata(“CR1000_HourlyWeather.dat”, “data”)

Lorsque le paramètre RetOpt (Return Option) est omis ou est "data", une trame de données R est créée avec la deuxième ligne du fichier de données brutes utilisé pour les noms. Le TIMESTAMP est converti en ce que R reconnaît comme date et horodatage afin que ces informations puissent être utilisées dans la représentation graphique, l'analyse de séries temporelles ou l'agrégation de données en fonction de la date ou de l'heure.

Parce qu'il y a beaucoup de bonnes informations dans l'en-tête du fichier TOA5, vous pouvez aussi simplement importer l'en-tête comme documentation pour votre traitement en utilisant la syntaxe ci-dessous:

myData.Info ‹- importCSdata(“CR1000_HourlyWeather.dat”, “info”)

Le code complet de la fonction d'importation :

importCSdata ‹- function(filename,RetOpt="data"){
	if(RetOpt=="info"){
		# bring in entire header of CSI TOA5 data file for metadata
		stn.info ‹- scan(file=filename,nlines=4,what=character(),sep="\r")
		return(station.info)
	} else {
		# second line of header contains variable names
		header ‹- scan(file=filename,skip=1,nlines=1,what=character(),sep=",")
		# bring in data
		stn.data ‹- read.table(file=filename,skip=4,header=FALSE, na.strings=c("NAN"),sep=",")
		names(stn.data) ‹- header
		# add column of R-formatted date/timestamps
		stn.data$TIMESTAMP ‹- as.POSIXlt(strptime(station.data$TIMESTAMP,"%Y-%m-%d %H:%M:%S"))
		return(stn.data)}
}

Vous pouvez télécharger ce programme.

Informations supplémentaires

Il y a beaucoup trop d'informations disponibles au sujet de R pour les énumérer, mais voici quelques-unes pour commencer ou pour en savoir plus :

• DataCamp : alors qu'ils font beaucoup de choses, voici un lien vers un tutoriel gratuit sur l'importation de données
  
  • www.datacamp.com/community/tutorials/r-data-import-tutorial
• Quick-R : beaucoup d'informations basiques et faciles d'accès
  
  • www.statmethods.net/
• Cookbook pour R : version en ligne gratuite par un auteur différent que le livre avec un titre similaire
  
  • www.cookbook-r.com/
• Les bonnes feuilles par les gens de RStudio
  
  • www.rstudio.com/resources/cheatsheets/
• Cookbooks : Bien que ce ne soit pas gratuit, j'ai trouvé les livres de recettes d'O'Reilly R très utiles
  
  • R Cookbook by Paul Teetor
  • R Graphics Cookbook by Winston Chang
• Et, bien sûr, la recherche sur Internet “how do I ____ in r”

Conclusion

J'espère que vous trouverez cette fonction utile pour vos traitements de données et vos analyses. N'hésitez pas à poster vos commentaires sur votre expérience, ou vos suggestions, ci-dessous.

Bonne analyse !

Credits: Le logo R est © 2016 par la fondation R. Le logo a été utilisé sans modification et avec la permission conformément aux termes du Creative Commons Attribution-ShareAlike 4.0 International license (CC-BY-SA 4.0).