<div dir="auto">Thanks William,<div dir="auto"><br></div><div dir="auto">Your rewrite of the text is really comprehensive.</div><div dir="auto"><br></div><div dir="auto">A do have with you aside 2 - copyleft licenses are problematic due to their infectious nature and many companies restrict those. They also are incompatible with other licenses. So even if you stay within academic environment at some point you will encounter issues with some licenses based on copyleft.</div><div dir="auto"><br></div><div dir="auto">Also you added some text about proprietary software at the end. Recall that any copyright statement makes software proprietary. And recall that open source code is generally based on copyright law, so perhaps some revision is needed there.</div><div dir="auto"><br></div><div dir="auto">Instead of:</div><div dir="auto">We further recommend that models published in this way should<br>not require proprietary software or resources in order to be<br>used<br></div><div dir="auto"><br></div><div dir="auto">Use:</div><div dir="auto"><br></div><div dir="auto">We further recommend that models published with intention to be reused by others avoid restrictions on resources, software costs and other hard to handle dependencies.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Yet it seems that despite slight differences we are able to converge to similar opinions and I think we can reuse your response text with some modifications. I think I can proceed and merge  the response from here on, so unless anyone wants to continue this discussion, we should be good to proceed and answer the review point.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">        Jacob</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><br><br><div class="gmail_quote" dir="auto"><div dir="ltr" class="gmail_attr">On Sat, Jan 1, 2022, 06:25 William Waites <<a href="mailto:wwaites@ieee.org" rel="noreferrer noreferrer noreferrer" target="_blank">wwaites@ieee.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I agree with Sheriff’s sentiment but find the voice confusing.<br>
For example, most of the authors of *this* paper were not<br>
involved in “our reproducibility study”. It is also unclear if<br>
“we decided to continue with CC0” refers to BioModels or the<br>
present paper.<br>
<br>
I would prefer an explanation from first principles with<br>
BioModels as a good example. Something like the text below.<br>
<br>
(Aside #1. I removed the word “sophisticated” from Sheriff’s<br>
text. Feel free to put it back. I’ve observed the pattern,<br>
particularly around the pandemic, of pointing to complicated<br>
models as better evidence of something than can be got with<br>
simpler models. As though being complicated is a virtue. This<br>
is more akin to the original meaning of the word sophisticated<br>
which is a scientific anti-pattern. That’s not what Sheriff<br>
meant, but I’d like to avoid using that word at all, especially<br>
in a context that suggests it’s something good.)<br>
<br>
(Aside #2. For software, I personally prefer copyleft licenses<br>
and not usually public domain. In the academic sphere this<br>
*should* not pose a problem because of the norm that says you<br>
have to make your code available otherwise the paper that <br>
crucially relies on it isn’t worth the bits it’s encoded in.<br>
However it’s not at all obvious that it’s enough to rely on<br>
good practice for this since there’s plenty of bad practice<br>
out there. There is some progress with journals and funders<br>
enforcing better practice. This is just an alternative mechanism<br>
to the legal jiu-jitsu of copyleft.)<br>
<br>
Best wishes for the new year,<br>
-w<br>
<br>
<br>
<br>
—<br>
<br>
There are practical and moral reasons why models should be<br>
freely available. To ensure a high standard of scientific<br>
work, it is important to be able to reproduce and verify<br>
results. This requires software and data for models to be<br>
freely available and that the barriers to running them <br>
be minimal. To facilitate scientific progress, it is<br>
ideal to be able to build upon the work of others. This<br>
requires not only that software and data are available but<br>
that reuse and modification is allowed. Finally, there is<br>
a moral argument that work produced using public funds <br>
should be publicly available. This concept is well embedded<br>
in some segments of the community, for example in the case<br>
of federally funded work in the United States, but we hold<br>
it as a general principle.<br>
<br>
Models are a combination of software and data. The legal <br>
treatment of these differs across jurisdictions with software<br>
generally subject to copyright law and data subject to database<br>
rights. This is not universal. The common denominator is the<br>
maximally permissive concept of “public domain” which exists<br>
in some jurisdictions where no restrictions are placed on use,<br>
reuse,  modification and creation of derivative works, and, <br>
crucially, combination of multiple (possibly derivative) works<br>
into a new whole. However, the public domain does not exist<br>
as a concept in all jurisdictions and in others it is not<br>
possible to simply place a work in it. To solve this problem,<br>
the CC0 license (formulated with respect to copyright law<br>
and database rights) emulates the public domain in jurisdictions<br>
where this is necessary. We therefore recommend that models,<br>
and their associated data are published under CC0 terms.<br>
<br>
An example of this approach is the BioModels database. BioModels provides model curation and annotation service, where the models’<br>
reproducibility is assessed and annotated with controlled<br>
vocabularies. BioModels aims to make models discoverable. The <br>
BioModels database offers search engines to search and locate<br>
models and model components (<a href="https://www.ebi.ac.uk/biomodels/parameterSearch" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">https://www.ebi.ac.uk/biomodels/parameterSearch</a>). The BioModels<br>
reproducibility study ( Tiwari et al. 2021,<br>
<a href="https://doi.org/10.15252/msb.20209982" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">https://doi.org/10.15252/msb.20209982</a>), strongly recommends<br>
that authors make their models public, but more specifically <br>
through public repositories such as BioModels (<a href="https://www.ebi.ac.uk/biomodels" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">https://www.ebi.ac.uk/biomodels</a>).<br>
We also recommend that authors submit model codes, parameter sets,<br>
and simulation conditions needed to reproduce simulation<br>
studies. Overall this will greatly facilitate model reuse.<br>
<br>
We further recommend that models published in this way should<br>
not require proprietary software or resources in order to be<br>
used. Requiring such resources greatly hampers reproducibility, verification and reuse. To achieve these goals, such <br>
dependencies typically require rewriting the models ab initio<br>
with the original model code serving the much less useful <br>
(but still not worthless) function of documentation. While<br>
there are benefits to reformulating existing models — a <br>
reimplementation might be more efficient or clearer and more<br>
elegant — a hard requirement to do so in all cases simply<br>
leads to wasted resources.<br>
<br>
</blockquote></div></div>