CBOC Officials Survey - Report of Findings

CBOC Officials Survey – Report of Findings
                                        June 2018

In March 2017 the Canadian Basketball Officials Commission (CBOC) conducted a survey of its
membership seeking information on members’ knowledge, opinions and suggestions for
improvement as it concerns the National Officials Certification Program (NOCP). This short
report, prepared by Dave Dolson of the Ottawa Valley Board, Lisa Halma, Alberta, Paul
Johnson, Hamilton Board, Vince Amato, Montreal and led by Nadine Crowley, member of the
CBOC Board of Directors, presents a high level summary of survey findings, noting next steps
that might be suggested by these findings.

The report provides no background information on the NOCP, assuming the reader is generally
familiar with the NOCP: its purpose, goals, structure, support mechanisms and administration.
Similarly there are no annexes or supporting tables or graphs included. However, a considerable
amount of supporting information is available upon request. For example, the survey questions,
frequency distributions of responses to quantitative questions (in both tabular and graphical
form), and textual responses (edited as needed to protect respondent confidentiality) to open
ended questions are available and can be accessed at the CBOC Internet site at
http://basketball.ca/en/officials/nocp.

Survey Methodology and Data Quality

The survey included 27 questions which in addition to basic demographics covered the following
broad themes.

       Knowledge of the use and promotion of NOCP in their province or territory
       Whether the respondent feels they understand various aspects of the NOCP
       Respondent concerns about the NOCP
       Whether the respondent feels the NOCP meets the needs of developing officials
       Respondent suggestions for improvement to: the NOCP itself, the certification process,
       its supporting documentation, its means of promotion and support, etc.

Using an Internet survey administration and analysis tool called Survey Monkey, survey
invitations were sent to approximately 4000 members across Canada via Mail Chimp. Responses
were received from 390 officials across the country; this represents about 10% of registered
basketball officials in Canada. A detailed analysis of the responding sample has been conducted
which found the responses to be of good quality with very little item nonresponse. Without doubt
there are some demographic groups (province, NOCP level, age group, years refereeing, sex)
that are over or under represented and no weighting has been done to compensate. That said,
respondents do appear to be broadly representative of the basketball referee population in
Canada and the opinion of the analysis team is that the data from this survey provide useful
information from which good quality inferences can be made at the national level.

Main Findings

While there are large groups of the population that know and understand the NOCP there are also
significant minorities that do not.
        31% are unsure if their province uses the NOCP.
        23% do not understand the certification process.
        33% do not understand the requirements.
        45% do not understand how to advance.
        54% feel that the NOCP is not well promoted.

Comments from those in the above negative groups can be summarized in four main themes:
     Lack of clarity regarding the process
     A need for more explanation
     Lack of adequate communication
     Lack of local engagement

A number of suggestions were provided for improving communication and expanding vectors for
communication. Some of the more consistent suggestions were as follows:
     Create benchmarks, checklists and specific requirements by level
     Develop a how to guide (i.e. how to advance)
     Create materials designed for use at the local level
     Make guidelines and information clearer
     Post expanded information on Internet sites (CBOC, provincial/territorial, local)
     Communicate directly to officials
     More frequent communications
     Create video training material
     Promote the use of video in evaluation
     Provide on-line training including videos of training sessions
     Create PowerPoint decks that local trainers can use

Concerns about the certification process tended to be centred on limited opportunities for
certification, particularly for those not living in major population centres, whilst suggestions for
improvement focused on a need for improved standardization across provinces and for
evaluators. This again touches on communication items noted above and the need for improved
strategies for the training of evaluators.

Approximately 72% feel the NOCP meets the needs of developing officials; leaving a significant
minority (28%) who feel it does not. Assorted suggestions on how to better meet the needs of
developing officials were offered not only in direct response to this question but also in various
other locations in the questionnaire. These suggestions tended to focus on levels 1, 2 and 3.

Many respondents shared the view that level 2 is much too broad and that changes should be
made to these levels such as:
       Split up level 2
       Insert a level between levels 1 and 2
       Insert a level between levels 2 and 3

A particularly articulate comment from one respondent suggested:

“I would combine level 4 and 5, as it seems pointless to me to have a national level that we do
not administer. Also, there are undoubtedly fewer distinctions between a level 4 and 5 official
then there are between an official that is barely lvl 2 and an official who is nearly lvl 3. To that
end I would create another level between 1 and 2. This would better address the skill differential
between the worst level 2 officials and the best level 2 officials. Also, it could provide a greater
sense of achievement for developing officials and thereby provide greater incentive for
improvement.”

On the topic of barriers to advancement and whether the NOCP provides incentive to advance,
comments include:
       Difficulty getting three person experience
       Lack of opportunities to be evaluated – both from the perspective of suitable games and
       evaluator availability
       Ageism
       Scarcity of opportunities for certification at higher levels
       Again, living outside major population centres is a barrier
       “perceived difficulty to advance outweighs the actual incentive”

As evidenced above survey respondents offered many improvement suggestions. It is important
to note they also provided many positive comments regarding the current NOCP assessment tool,
including:
        It is simple, clear and standard
        It is relevant and specific while also being subjective
        It gives a clear indication of required competencies
        It needs to be aligned better to current FIBA standards
        Something needs to be added regarding game control/management

Next Steps

What are we doing with all of this information? This information will be shared with the various
CBOC sub-committees to inform and guide the work that needs to be done over the next few
years. For example, the findings pertaining to the relevance of the assessment tool is beneficial

to the NOCP Review Committee as it updates the NOCP document/guide to ensure that the
mandatory criteria and necessary competencies to advance between levels is clearly articulated.

The Development and Education Sub-Committee is using this information to design the Referee
Development Pathway and using the feedback to ensure that the training material is varied to
meet the learning and educational needs of referees and to make it accessible in both rural and
suburban areas. Furthermore, the sub-committee is using the feedback to design the appropriate
communication structures to ensure that educational material and ongoing updated information is
delivered to our members in an efficient and timely manner.

This survey has given a voice to members from across Canada who shared their ideas as to how
to strengthen and align our officiating system. Our work on updating the NOCP and the efforts
of the various sub-committees will help us move in that direction. We are open to receiving your
ongoing input as to how we can continue to improve our system to ensure a gold standard of
quality. Please feel free to email Nadine Crowley at: ncrowley@basketball.ca

Thank you to the members of the Survey sub-committee and the Development & Education sub-
committee for your work on this project.

Résultats du sondage pour les officiel(le)s de la CABC
                                                 Juin 2018

Au mois de mars 2017, la Commission des arbitres du basketball canadien (CABC) a réalisé un sondage
auprès de ses membres afin de recueillir des informations sur leurs connaissances, opinions et suggestions
dans le but d’améliorer le Programme national de certification des officiel(le)s (PNCO).Ce bref rapport,
préparé par Dave Dolson du Conseil de la vallée de l’Outaouais, Lisa Halma de l’Alberta, Paul Johnson
du Conseil de Hamilton, Vince Amato de Montréal et mené par Nadine Crowley, membre de Conseil
administratif, présente un sommaire de haut niveau des résultats et de la marche à suivre qui en résulte.

Supposant que le lecteur du rapport est déjà familier avec le PNCO, le rapport ne contient aucun
renseignement général sur le Programme: sa raison d’être, ses buts, sa structure, ses mécanismes de
soutien et son administration. De même, il ne contient aucune annexe, tableau ou graphique. Par exemple,
les questions du sondage, la distribution des fréquences aux questions quantitatives (sous forme de
tableaux et de graphiques) et les réponses textuelles (éditées pour raison de confidentialité) à des
questions ouvertes sont accessibles sur le site web de la CABC: http://basketball.ca/fr/officials/nocp.

Méthodologie et qualité des données du sondage

Le sondage comprend 27 questions lesquelles, en plus de traiter des données démographiques de base,
couvrent les thèmes suivants:

•   Connaissance de l’usage et de la promotion du PNCO dans la province ou le territoire concerné.
•   Si le répondant croit comprendre les différents aspects du PNCO
•   Les préoccupations du répondant au sujet du PNCO
•   Si le répondant trouve que le PNCO répond aux besoins des officie(le)s aspirant(e)s
•   Les suggestions du répondant en ce qui a trait au PNCO même, au processus de certification, aux
    documents à l’appui, aux moyens de promotion et de soutien, etc.

Au moyen de l’outil de sondage Survey Monkey, 4000 membres à travers le Canada ont été invités par
Mail Chimp à participer au sondage. 390 officiel(le)s canadien(ne)s ont répondu; ce nombre représente
environ 10% des officiel(le)s de basketball au Canada. Une analyse détaillée de l’échantillon des
répondants a révélé la qualité des questions dont un très petit nombre n’ont pas été répondues. Il existe
évidemment quelques groupes démographiques (province, niveau de PNCO, groupe d’âge, nombre
d’années d’expérience en arbitrage, sexe) dont la représentation n’est pas égale et aucune mesure n’a été
prise pour compenser. Ceci étant dit, les répondants semblent être suffisamment représentatifs de la
population des arbitres du Canada et, au dire des membres de l’équipe qui ont analysé les réponses, les
données du sondage aideront à tirer des conclusions valables au niveau national.

Principaux résultats

Bien qu’il existe plusieurs groupes de la population qui connaissent et comprennent le PNCO il y a aussi
des minorités importantes que ne le connaissent pas.
    • 31% sont incertains si leur province se sert de PNCO
    • 23% ne comprennent pas le processus de certification
    • 33% ne comprennent pas les exigences

• 45% ne comprennent pas comment progresser
    • 54% sont d’avis que le PNCO n’est pas suffisamment médiatisé

Les commentaires du groupe négatif mentionné ci-haut peuvent être résumés en quatre principaux
thèmes:
    • Le manque de clarté du processus
    • Le besoin de plus d’explication
    • Le manque de communication efficace
    • Le manque de participation locale

Des suggestions ont été soumises dans le but d’améliorer la communication et de développer les moyens
de communication. En voici quelques-unes:
    • Établir des points de repère, des listes de contrôle et les exigences spécifiques de chaque niveau
    • Développer un guide explicatif (c’est-à-dire comment passer au prochain niveau)
    • Créer des documents d’information conçus pour usage local
    • Clarifier les lignes directrices et l’information.
    • Publier l’information détaillée sur les sites d’internet (CABC, provincial/territorial, local)
    • Communiquer directement avec les officiel(le)s
    • Communications plus fréquentes
    • Développer du matériel pour vidéo de formation
    • Promouvoir l’usage de vidéo pour l’évaluation
    • Fournir de la formation en ligne avec des sessions de formation sur vidéo
    • Créer des présentations PowerPoint qui peuvent servir aux formateurs locaux

Des inquiétudes ont été exprimées en ce qui concerne les possibilités limitées du processus de
certification surtout pour ceux qui vivent éloignés des grands centres alors que des suggestions visent
surtout le besoin de standardiser les exigences à travers les provinces pour les évaluateurs. Ceci touche
une fois de plus les questions de communication ci-haut mentionnées et le besoin de stratégies améliorées
pour la formation des évaluateurs.

Environ 72% croient que le PNCO répond aux besoins des officiel(le)s en formation; ce qui laisse une
minorité importante (28%) qui ne sont pas de cet avis. Diverses suggestions ont été soumises sur la façon
de mieux répondre aux besoins des officiel(le)s en formation, non seulement en réponse à cette question
mais aussi à d’autres parties du questionnaire. Ces suggestions visent surtout les niveaux 1, 2 et 3.
Plusieurs répondants étaient d’avis que le niveau 2 est trop étendu. Les changements suivants ont été
proposés:
    • Diviser le niveau 2
    • Introduire un niveau entre les niveaux 1 et 2
    • Introduire un niveau entre les niveaux 2 et 3

Un commentaire explicite a été suggéré par un répondant:
“Je combinerais les niveaux 4 et 5 puisqu’il semble inutile d’avoir un niveau national que nous
n‘administrons pas. De plus, la distinction entre les officiel(le)s des niveaux 4 et 5 est moindre que celle
qui existe entre un officiel(le) qui est tout juste au niveau 2 et l’officiel(le) qui est tout juste au niveau 3.

Pour cette raison je créerais un niveau entre 1 et 2, ce qui aborderait mieux la question d’écart
d’habileté entre les mauvais officiel(le)s et les plus compétents du niveau 2.
Aussi, ceci permettrait aux officiel(le)s en voie de formation un plus grand sens d’accomplissement et
inciterait à des améliorations.”

Sur la question des obstacles à l’avancement et à savoir si le PNCO fournit la motivation à progresser, les
commentaires incluent:

    • La difficulté d’avoir trois personnes d’expérience
    • Le manque d’occasions valables pour être évalué - que ce soit lors de parties appropriées et/ou de la
      disponibilité d’un évaluateur
    • Âgisme (discrimination en ce qui concerne l’âge)
    • Pénurie d’occasions pour la certification aux niveaux supérieurs
    • Encore une fois, le fait de résider en dehors des grands centres est un obstacle
    • “La difficulté perçue pour progresser dépasse la motivation réelle”

Tel qu’indiqué plus haut, les répondants au sondage ont offert plusieurs suggestions d’amélioration. Il
importe de souligner qu’ils ont aussi fourni plusieurs commentaires positifs en ce qui concerne l’outil
d’évaluation actuel du PNCO tel que:

    •   Il est simple, claire et standard
    •   Il est pertinent et spécifique tout en étant subjectif
    •   Il donne une indication claire des compétences requises
    •   Quelque chose doit être fait en ce qui concerne le contrôle et la gestion des parties

Prochaines étapes

Que faire avec toute cette information? Cette information sera partagée avec tous les sous-comités de la
CABC et servira à informer et à guider le travail qui doit être accompli au cours des prochaines années.
Par exemple, les résultats concernant la pertinence de l’outil d’évaluation sont avantageux pour le Comité
de révision du PNCO puisqu’il met à jour le document/guide du PNCO afin d’assurer que les critères
obligatoires et les compétences requises pour l’avancement soient clairement énoncés.

Le sous-comité Développement et Éducation se sert de cette information pour concevoir le système de
perfectionnement des officiel(le)s (Referee Development Pathway) et en se servant des réponses il
s’assure que le matériel de formation répond aux besoins d’apprentissage et d’éducation des officiel(le)s
et qu’il soit également accessible en milieu urbain aussi bien qu’en milieu rural. De plus, le sous-comité
se sert des commentaires pour développer des moyens de communication qui assureront que l’information
courante soit livrée à nos membres d’une façon efficace et opportune.

Le sondage a permis aux membres de partout au Canada de s’exprimer et partager leurs idées visant à
renforcer et harmoniser notre système d’arbitrage. Nos efforts visant à la mise à jour du PNCO et le
travail des divers sous-comités nous aideront à aller de l’avant. Nous vous encourageons à nous faire part
de vos idées pour l’amélioration de notre système afin que nous soyons en mesure d’assurer un produit de

la plus haute qualité possible. N’hésitez pas à communiquer par courriel avec Nadine Crowley à l’adresse
suivante: ncrowley@basketball.ca

Merci aux membres du sous-comité du sondage et du sous-comité Développement et
Éducation pour vos contributions à ce projet.